清华大学深圳国际研究生院;鹏城实验室张盛获国家专利权
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
龙图腾网获悉清华大学深圳国际研究生院;鹏城实验室申请的专利用于大规模模型训练的流水线并行划分与内存优化方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119336489B 。
龙图腾网通过国家知识产权局官网在2025-09-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411258643.6，技术领域涉及：G06F9/50；该发明授权用于大规模模型训练的流水线并行划分与内存优化方法是由张盛;刘方明;马月;王博闻;贺澎;岳知润设计研发完成，并于2024-09-09向国家知识产权局提交的专利申请。
本用于大规模模型训练的流水线并行划分与内存优化方法在说明书摘要公布了：本发明提供一种用于大规模模型训练的流水线并行划分与内存优化方法，包括如下步骤：S1.识别并划分模型算子；S2.计算算子内存占用并编号；S3.构建目标函数，通过动态规划最小化内存差值；S4.从单算子开始，逐步构建并搜索最优划分策略；S5.分析并优化内存占用，平衡各阶段设备内存。本发明使用动态规划算法实现了模型的自动划分，解决了在流水线并行中各阶段内存占用不均衡的问题。利用模型层间的同构性减少了动态规划算法的搜索空间，从而降低搜索最优解需要的时间。将模型划分的最小单元缩小到算子，提高了模型划分的精细度，使得算法可以搜索到更优的划分策略。
本发明授权用于大规模模型训练的流水线并行划分与内存优化方法在权利要求书中公布了：1.一种用于大规模模型训练的流水线并行划分与内存优化方法，其特征在于，包括以下步骤： S1.识别模型中的各个算子，并根据算子的精细度将模型划分为多个部分； S2.对每个算子在每轮训练中所占用的内存进行计算，并根据模型的前向传播顺序为算子编号，构建内存占用数据模型，为动态规划算法提供输入； S3.构建模型划分的目标函数，以通过所述目标函数最小化不同阶段设备上内存占用的最大差值，并建立动态规划算法的递归调用关系，以便于模型划分策略的搜索； S4.使用动态规划算法，从最基本的划分单元即单个算子开始，逐步构建更复杂的模型划分策略，并通过递归调用和差值最小化策略，搜索并确定最优的模型划分方案； S5.根据最优的模型划分方案，分析各阶段的内存占用情况，识别内存占用不平衡的问题，并调整模型划分策略，优化内存占用，以使各阶段设备内存占用尽可能平衡。
如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人清华大学深圳国际研究生院;鹏城实验室，其通讯地址为：518071 广东省深圳市南山区桃源街道丽水路2279号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由AI智能生成
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号