北京智源人工智能研究院敖玉龙获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京智源人工智能研究院申请的专利分布式并行策略的自动调优方法、装置、介质及程序产品获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120449991B 。
龙图腾网通过国家知识产权局官网在2025-11-21发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510591179.0,技术领域涉及:G06N3/098;该发明授权分布式并行策略的自动调优方法、装置、介质及程序产品是由敖玉龙;何咏哲;曹州;赵英利设计研发完成,并于2025-05-08向国家知识产权局提交的专利申请。
本分布式并行策略的自动调优方法、装置、介质及程序产品在说明书摘要公布了:本申请提供了一种分布式并行策略的自动调优方法、装置、介质及程序产品,该方法包括:通过搜索器根据模型信息和集群信息构建搜索空间;通过剪枝器基于显存模型和历史调优结果进行剪枝操作,并计算剪枝率;若剪枝率大于或等于设定的剪枝率阈值,则通过生成器生成可执行的配置脚本;通过预估器对可执行的配置脚本进行性能预估,并输出预估的性能信息;通过记录器记录性能信息,并发送到剪枝器执行遍历操作;在搜索空间的遍历操作完成后,根据遍历操作的结果对比所有可运行的配置脚本,得到最优的分布式训练配置脚本并自动执行,启动大规模分布式训练。本申请的技术方案实现快速地获取高效的大模型训练配置,从而节省了训练成本。
本发明授权分布式并行策略的自动调优方法、装置、介质及程序产品在权利要求书中公布了:1.一种分布式并行策略的自动调优方法,其特征在于,包括: 通过搜索器根据模型信息和集群信息构建搜索空间; 通过剪枝器基于显存模型和历史调优结果进行剪枝操作,并计算剪枝率; 若剪枝率大于或等于设定的剪枝率阈值,则通过生成器生成可执行的配置脚本; 将所述可执行的配置脚本输入到预估器,通过所述预估器对所述可执行的配置脚本进行性能预估,并输出预估的性能信息; 通过记录器记录所述预估器输出的性能信息,并将记录的所述性能信息发送到所述剪枝器执行遍历操作; 在所述搜索空间的遍历操作完成后,通过执行器根据所述遍历操作的结果对比所有可运行的配置脚本,得到最优的分布式训练配置脚本; 自动执行所述最优的分布式训练配置脚本,启动大规模分布式训练; 将所述可执行的配置脚本输入到预估器,通过所述预估器对所述可执行的配置脚本进行性能预估,并输出预估的性能信息,包括: 通过单进程模拟器启动一个进程,模拟所述进程在分布式训练中的执行过程; 计算执行过程中单卡的开销; 根据所述单卡的开销预估所述可执行的配置脚本的性能信息,并输出预估的性能信息。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京智源人工智能研究院,其通讯地址为:100084 北京市海淀区成府路150号5层501号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励