买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东南大学申请的专利一种结合冻结机制的异构集群混合并行训练方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121145971B 。

龙图腾网通过国家知识产权局官网在2026-02-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511690946.X，技术领域涉及：G06N3/084；该发明授权一种结合冻结机制的异构集群混合并行训练方法及系统是由张竞慧;邹宗霖;钱旭威;钟艾佳;沈典;东方设计研发完成，并于2025-11-18向国家知识产权局提交的专利申请。

本一种结合冻结机制的异构集群混合并行训练方法及系统在说明书摘要公布了：本发明公开了一种结合冻结机制的异构集群混合并行训练方法及系统，属于神经网络技术领域。本发明结合目标异构硬件集群的特性，预测模型中各层在不同类型硬件上的不同硬件上的计算时间和存储需求；采用动态规划求解最优的流水线分割与数据并行配置，得到混合并行训练方案；训练过程中当冻结状态变化时，系统重新分配释放的显存与算力资源，动态调整并行方案，实现负载均衡与训练效率提升。本发明有效降低资源占用，提高异构环境下的大规模模型训练性能。

本发明授权一种结合冻结机制的异构集群混合并行训练方法及系统在权利要求书中公布了：1.一种结合冻结机制的异构集群混合并行训练方法，其特征在于，包括如下步骤： 步骤1，模型解析：接收深度学习模型，解析模型网络结构，并结合目标异构硬件集群的特性，预测模型中各层在不同类型硬件上的不同硬件上的计算时间和存储需求，并考虑冻结状态对存储需求和计算时间的影响； 步骤2，方案规划：根据模型层冻结情况，模型解析结果和异构硬件信息，采用动态规划求解最优的流水线分割与数据并行配置，得到混合并行训练方案；动态规划过程中，需要同时满足分配在特定GPU设备上所有模型层的显存占用不超过设备上限的约束；具体包括如下过程：方案规划优化的目标为以最小化单个训练批次的预期总时间，其中由启动阶段时间、稳定阶段时间和结束阶段时间构成： ，，，，对模型在训练过程中实际占用的显存大小进行条件约束： ，其中，为瓶颈阶段，分别为阶段在分配的异构GPU上的前向和反向传播时间，,分别代表阶段的前向和反向传播时间，代表阶段的反向传播时间，为微批次数量，为阶段涉及的参数集合在设备组上的All‑Reduce开销，为GPU设备device的最大显存容量，为模型的总层数，即网络中包含的所有卷积层、残差块以及全连接层的数量总和，为模型第层，为层的冻结状态，为模型解析步骤中计算得到的考虑冻结状态后的第层显存需求，为异构GPU集合； 先识别流水线瓶颈阶段，再采用动态规划求解最优混合并行配置；当模型的冻结状态变化时，将结合冻结层释放的资源进行再规划；定义问题目标函数为: ，，，其中，为模型的总层数，即网络中包含的所有卷积层、残差块以及全连接层的数量总和，冻结状态列表将影响各阶段的计算与通信时间，为总GPU数量，为异构GPU集合，为层数分割点，为分配的GPU数量，为具体的GPU子集，优化过程需考虑中GPU的异构性和它们之间的互联带宽，表示从所有GPU集合中选出个GPU的所有组合；在预测层级计算时间时，考虑冻结状态对计算的影响：若层处于冻结状态，则其前向传播仍需执行但不参与反向传播，反向传播时间=0； 在计算资源方面，冻结层的梯度与优化器状态内存需求归零，冻结释放的内存和计算资源被重新分配； 使用动态规划的思想解决问题得到最优解； 在训练过程中监测模型层的冻结状态变化；当有层被冻结或解冻时，重新评估各流水线阶段的计算负载和内存占用；根据更新后的负载和可用资源，重新计算并应用最优的混合并行方案； 步骤3，模型训练：执行混合并行训练方案的训练过程，训练过程中当冻结状态变化时，系统重新分配释放的显存与算力资源，动态调整并行方案，实现负载均衡与训练效率提升。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东南大学，其通讯地址为：210000 江苏省南京市江宁区东南大学路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。