买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京信息工程大学;中科南京信息高铁研究院申请的专利一种多模态大模型的流水线并行训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120179416B 。

龙图腾网通过国家知识产权局官网在2025-08-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510639216.0，技术领域涉及：G06F9/50；该发明授权一种多模态大模型的流水线并行训练方法是由李传坤;刘文杰;刘晓东;郭志鹏;方铭;张昕怡设计研发完成，并于2025-05-19向国家知识产权局提交的专利申请。

本一种多模态大模型的流水线并行训练方法在说明书摘要公布了：本发明公开了一种多模态大模型的流水线并行训练方法，属于模型训练技术领域。该方法通过计算多模态大模型中每一层的执行时间和显存占用数据，根据各层的执行时间和显存占用数据，计算多模态大模型每一层分配的权重，得到初始阶段划分结果；利用改进的禁忌搜索方法对初始阶段划分结果进行优化，得到优化后的解，将该解作为多模态大模型最终划分结果，利用该最终划分结果对多模态大模型进行流水线并行训练。本发明更加高效地利用显存资源并平衡计算负载，显著减少多模态大模型训练时间，且适用性更强，可以在显存受限等复杂的情况中保持较高的训练吞吐量。

本发明授权一种多模态大模型的流水线并行训练方法在权利要求书中公布了：1.一种多模态大模型的流水线并行训练方法，其特征在于，包括如下步骤： 计算多模态大模型中每一层的执行时间和显存占用数据； 根据各层的执行时间和显存占用数据，计算多模态大模型每一层分配的权重，基于权重计算累计值，并按照设备数量平均分配，得到初始阶段划分结果； 利用改进的禁忌搜索方法对初始阶段划分结果进行优化，得到优化后的解，将该解作为多模态大模型最终划分结果，利用该最终划分结果对多模态大模型进行流水线并行训练； 得到初始阶段划分结果的过程包括： 计算多模态大模型每一层分配的权重，公式为： ， 式中，为第k层的权重，和分别表示执行时间和显存占用数据的调节系数，且；表示第k层的固定显存占用，表示第k层的总执行时间； 按照层的顺序依次累加各层权重，当累加权重首次超过总权重的时，，将第一层至当前层分为第一阶段，依次类推，分成p个阶段，记为，每个阶段分配一个GPU设备； 利用改进的禁忌搜索方法对初始阶段划分结果进行优化的步骤包括： 步骤301，将初始阶段划分结果作为当前解，清空禁忌表，设置最大调整步长； 步骤302，生成邻域解：对于当前解，以步长调整相邻阶段Si和Si+1的分割点b，生成邻域解集合； 步骤303，对邻域解集合中的每个领域解，计算对应划分方案中每个GPU设备的显存占用情况；若未超过GPU设备的上限，则跳转至步骤304；否则，采用贪心的方法对该邻域解进行重计算优化； 步骤304，评估解质量，根据成本筛选最优解； 步骤305，筛选解：计算当前邻域解的成本，如果当前邻域解的成本低于最优解的成本，则将当前邻域解作为新的最优解，将当前邻域解放入禁忌表；如果没有邻域解的成本低于当前最优解的成本，则按照概率选择次优解，然后将次优解放入禁忌表中；其中P为随机生成的介于0到1之间的值，T为当前温度参数； 步骤306，更新禁忌表：若连续若干次迭代未发现更优解，则触发多样化操作，将温度T提升至，清空一半的禁忌表，随机生成初始解；否则按指数冷却策略降低温度至；其中，为预设的温度上限，为升温系数，为降温系数； 步骤307，重复迭代步骤302至步骤306，直至满足终止条件，得到优化后的阶段划分方案。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京信息工程大学;中科南京信息高铁研究院，其通讯地址为：210044 江苏省南京市江北新区宁六路219号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。