买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉炜烨智算(北京)科技有限公司申请的专利一种可用于异构集群的大模型自适应并行训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119938327B 。

龙图腾网通过国家知识产权局官网在2025-07-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510021206.0，技术领域涉及：G06F9/50；该发明授权一种可用于异构集群的大模型自适应并行训练方法是由黄振宇设计研发完成，并于2025-01-07向国家知识产权局提交的专利申请。

本一种可用于异构集群的大模型自适应并行训练方法在说明书摘要公布了：本发明公开了一种可用于异构集群的大模型自适应并行训练方法，涉及并行计算技术领域，本技术方案解决了资源利用不均和效率低下的问题；通过动态计算数据并行值和张量并行配置，自动调整模型层与硬件的分配，优化设备间性能匹配和协同工作，提高资源利用率并消除性能瓶颈；同时，该方法通过实时监测和动态调整存储需求匹配指数Cpp和处理时长Csc，最优化利用每个设备的显存和计算能力，解决显存空间限制问题；此外，本方案还包括持续监测实时性能数据并动态调整流水线并行中的参数，如数据传输速度和计算任务重新分配，提高了训练的灵活性和效率，确保并行训练配置始终适应当前集群的实际运行状况。

本发明授权一种可用于异构集群的大模型自适应并行训练方法在权利要求书中公布了：1.一种可用于异构集群的大模型自适应并行训练方法，其特征在于：包括以下步骤： 步骤一：使用通用计算框架对异构集群内的各种硬件设备进行计算性能与网络性能的自动化测量，用于实时测量不同硬件的计算能力和网络带宽，并依据测量结果实时更新数据驱动的训练配置； 步骤二：基于步骤一中所测得的设备显存和计算能力，动态计算数据并行值Dps和张量并行配置，并通过自动调整模型层与硬件的分配，调整设备性能匹配情况，其中数据并行值Dps的具体计算公式如下： 其中，N为设备总数，GPUmi为第i个设备的显存容量，α为训练精度需求显存量折算系数，S为模型总层数，Layerk为第k层的参数量； 步骤三：根据调整后的设备性能匹配情况，预设异构模型训练的并行配置方案，通过采用流水线并行技术调整计算延时与整体训练的时长，其中流水线的动态配置适应各设备的计算速率和响应时间； 步骤四：在训练开始前对预设的并行配置方案进行显存和时间代价的预估，计算每种并行配置方案的预期存储需求匹配指数Cpp和预期处理时长Csc，接着拟合预期存储需求匹配指数Cpp和预期处理时长Csc，获取每种并行配置方案的方案可选系数Fkxs并评估，最后使所选的并行配置方案在当前的硬件配置下运行的同时在时间效率上也为最优选择； 步骤五：在实际运行中验证步骤四中的并行配置方案，包括运行训练过程以及校准预估的模型参数，监测并防止在训练过程中出现显存溢出及其他性能问题，同时通过计算评估批次数据的实际计算时长T验证时间效率的预估准确性。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人炜烨智算(北京)科技有限公司，其通讯地址为：100080 北京市海淀区上地信息路26号5层501室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。