买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉本溪钢铁(集团)信息自动化有限责任公司申请的专利基于动态资源调度的大语言模型分布式训练方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120278283B 。

龙图腾网通过国家知识产权局官网在2025-09-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510764976.4，技术领域涉及：G06N5/04；该发明授权基于动态资源调度的大语言模型分布式训练方法及系统是由郝迅;高洋;张世躔;秦斌;艾启东;赵彩凤;贾峰;王忠博;崔天一;张帆;于雷设计研发完成，并于2025-06-10向国家知识产权局提交的专利申请。

本基于动态资源调度的大语言模型分布式训练方法及系统在说明书摘要公布了：本发明提供一种基于动态资源调度的大语言模型分布式训练方法及系统，通过以周期性时间间隔采集各计算节点的资源状态数据，从而在当前训练批次，将大语言模型的训练任务划分为多类子任务，并基于各计算节点的资源状态数据以及各类子任务的任务描述数据，利用强化学习策略将各类子任务以最优比例分配至最优的计算节点；此外，采用梯度压缩算法对计算节点上产生的梯度数据进行压缩，并结合所述计算节点的当前网络带宽利用率动态调整所述梯度数据的压缩率；参数服务器进而基于参数同步间隔对不同计算节点压缩后的梯度数据进行加权融合，基于融合结果更新全局模型参数，并将全局模型参数广播至各个计算节点，能够显著提升大语言模型的训练效率。

本发明授权基于动态资源调度的大语言模型分布式训练方法及系统在权利要求书中公布了：1.一种基于动态资源调度的大语言模型分布式训练方法，其特征在于，包括： 针对包含异构计算节点的分布式训练集群，以周期性时间间隔采集各计算节点的资源状态数据；所述资源状态数据包括GPU算力利用率、显存占用率、网络带宽剩余量及梯度数据分布特征； 在当前训练批次，将大语言模型的训练任务划分为多类子任务，并基于各计算节点的资源状态数据以及各类子任务的任务描述数据，利用强化学习策略将各类子任务以最优比例分配至最优的计算节点；所述任务描述数据包括计算强度、显存需求、通信依赖、执行延迟和任务类型标签； 采用梯度压缩算法对计算节点上产生的梯度数据进行压缩，并结合所述计算节点的当前网络带宽利用率动态调整所述梯度数据的压缩率； 参数服务器基于参数同步间隔对不同计算节点压缩后的梯度数据进行加权融合，基于融合结果更新全局模型参数，并将全局模型参数广播至各个计算节点； 所述方法还包括： 以预设时间间隔保存全量检查点的快照和增量检查点的快照，所述增量检查点仅存储与前一次快照之间的梯度差异数据；所述梯度差异数据是通过差异编码算法压缩得到的； 通过心跳检测机制监控计算节点的存活状态，基于连续未响应次数确定所述计算节点是否为故障节点； 针对故障节点，基于所述故障节点对应的最新全量检查点的快照和最新增量检查点的快照恢复模型参数，将所述故障节点的未完成任务加入任务迁移优先级队列，以基于未完成任务的优先级将未完成任务迁移至备用节点，并通过一致性协议校验模型参数的完整性。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人本溪钢铁(集团)信息自动化有限责任公司，其通讯地址为：117021 辽宁省本溪市平山区广裕路130号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。