买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京大学申请的专利一种面向人工智能大模型高效训练的并行策略搜索方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116680301B 。

龙图腾网通过国家知识产权局官网在2025-08-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310781759.7，技术领域涉及：G06F16/2453；该发明授权一种面向人工智能大模型高效训练的并行策略搜索方法是由李武军;林昊;吴轲设计研发完成，并于2023-06-29向国家知识产权局提交的专利申请。

本一种面向人工智能大模型高效训练的并行策略搜索方法在说明书摘要公布了：本发明公开了一种面向人工智能大模型高效训练的并行策略搜索方法，步骤如下：输入大模型；获取系统执行性能信息和大模型的执行性能信息；利用代价模型估计大模型在当前系统上的执行时间开销和存储开销；以流水线并行训练的每次迭代所花费的时间为优化目标，建立用于自动搜索大模型的并行训练策略的混合整数二次规划数学模型并求解；输出最优的大模型的并行训练策略。本发明支持流水线并行、数据并行、张量并行和优化器并行，策略空间大，搜索时间短，可应用于大模型的单机多卡并行训练和多机集群的分布式训练，提升大模型的训练效率。

本发明授权一种面向人工智能大模型高效训练的并行策略搜索方法在权利要求书中公布了：1.一种面向人工智能大模型高效训练的并行策略搜索方法，其特征在于，包括以下步骤： 步骤S1、输入人工智能大模型； 步骤S2、获取系统执行性能信息和人工智能大模型的执行性能信息； 步骤S3、利用代价模型估计人工智能大模型在当前系统上的执行时间开销和存储开销； 步骤S4、以流水线并行训练的每次迭代所花费的时间为优化目标，建立用于自动搜索大模型的并行训练策略的混合整数二次规划数学模型并求解； 步骤S5、输出最优的人工智能大模型的并行训练策略； 所述步骤S2具体为： 设定All-Reduce的通信量，统计All-Reduce的通信时间，从而获取系统的All-Reduce通信效率； 设定P2P的通信量，统计P2P的通信时间，从而获取系统的P2P通信效率； 设定All-Reduce的通信量，分别统计单独执行All-Reduce的All-Reduce通信时间，以及同时执行All-Reduce和矩阵乘法计算时的All-Reduce通信时间，从而获取系统的计算-通信重叠因子； 统计大模型每一层的前向执行时间； 统计除模型和优化器占用的显存以外，大模型每一层的激活显存和加载大模型所需要的额外显存； 步骤S3中所述的执行时间开销具体包括以下步骤： 利用代价模型估计大模型的层的所有候选数据并行、张量并行和优化器并行策略的计算及通信时间之和； 利用代价模型估计大模型的边所对应的层和层的所有候选数据并行、张量并行和优化器并行策略对之间的同一流水线阶段的通信时间； 利用代价模型估计大模型的边所对应的层和层的所有候选数据并行、张量并行和优化器并行策略对之间的跨流水线阶段的P2P通信时间； 所述步骤S4具体为： 步骤S4.1、枚举所有合法的流水线阶段数量和合法的微批量数量，选取最小的每次迭代所花费时间，及其对应的流水线并行策略、数据并行策略、张量并行策略和优化器并行策略的一种或多种； 步骤S4.2、基于一个非流水线并行策略，建立并求解以数据并行、张量并行和优化器并行每次迭代所花费时间为优化目标的混合整数二次规划数学模型，搜索的内容为数据并行策略、张量并行策略和优化器并行策略的一种或多种； 步骤S4.3、基于一个给定的流水线并行策略，建立并求解以流水线并行、数据并行、张量并行和优化器并行训练的每次迭代所花费时间为优化目标的混合整数二次规划数学模型，搜索的内容为流水线并行策略、数据并行策略、张量并行策略和优化器并行策略的一种或多种。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京大学，其通讯地址为：210023 江苏省南京市栖霞区仙林大道163号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。