买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京大学申请的专利一种适用于异构集群的深度学习模型自动并行训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119440841B 。

龙图腾网通过国家知识产权局官网在2025-12-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411558728.6，技术领域涉及：G06F9/50；该发明授权一种适用于异构集群的深度学习模型自动并行训练方法是由李武军;林昊;吴轲;李杰设计研发完成，并于2024-11-04向国家知识产权局提交的专利申请。

本一种适用于异构集群的深度学习模型自动并行训练方法在说明书摘要公布了：本发明公开一种适用于异构集群的深度学习模型自动并行训练方法，接受训练所需的异构集群与深度学习模型为输入；对于深度学习模型，获取其在训练系统上的执行性能信息；对于训练所需集群，获取集群的执行性能信息，并生成集群的最大同构节点集合与节点集合划分；随后遍历每种节点集合划分，对于其内部包含的所有节点集合，求解该节点集合的最大吞吐量；随后通过基于整数二次规划方法的负载均衡算法求解当前节点集合划分的最大吞吐量，从而求解出所有节点集合划分中的最优策略并输出。本发明支持在异构集群设置下求解给定深度学习模型的最优并行策略。可应用于由同构或异构设备组成的单机多卡、多机多卡等多种分布式训练环境。训练效率高，能耗少。

本发明授权一种适用于异构集群的深度学习模型自动并行训练方法在权利要求书中公布了：1.一种适用于异构集群的深度学习模型自动并行训练方法，其特征在于，步骤如下： 步骤S1，输入深度学习模型和异构集群信息； 步骤S2，对于异构集群，利用最大同构节点集合生成算法，生成最大同构节点集合列表； 步骤S3，利用最大同构节点集合列表通过深度优先搜索算法，生成节点集合划分方案集合； 步骤S4，对于节点集合划分方案集合内的每一个节点集合划分，枚举其所有最大同构节点集合，求解每次迭代所花费时间，利用基于整数二次规划方法的负载均衡算法计算得到节点集合划分的TPI，比较并更新目前的最优策略； 步骤S5，输出在异构集群上的深度学习模型的最优策略； 所述的步骤S2，对于给定异构集群生成最大同构节点集合列表，包括： 利用最大同构节点集合生成算法，对于给定异构集群，枚举得到该异构集群的所有最大同构节点集合，从而得到最大同构节点集合列表； 所述的最大同构节点集合生成算法，包括初始化一个以节点类型为键，最大同构节点集合为值的哈希表为空哈希表；遍历整个异构集群，对于异构集群中的每个节点，如果哈希表中存在当前节点的节点类型的键值对，则更新哈希表中对应的集合，插入节点；否则，向哈希表中插入键值对；最后令最大同构节点集合列表等于前述哈希表的值列表并输出最大同构节点集合列表； 所述的整数二次规划方法的负载均衡算法具体包括： 确立目标函数：保证每个节点集合分配的批量大小的指示向量与该节点集合的每轮迭代耗时的乘积一致； 确立批量大小约束：设深度学习模型训练过程中的小批量大小为，无论如何分配不同节点集合的批量大小，所有节点集合分配得到的批量大小的总和必须为； 确立并行度约束：保证负载均衡后分配给每个节点集合的批量大小都可以直接被每个节点集合的工作设备数量整除； 从而以整数二次规划的方法求解出指示每个节点集合分配的批量大小的指示向量，实现节点集合之间的负载均衡。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京大学，其通讯地址为：210023 江苏省南京市栖霞区仙林大道163号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。