买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学申请的专利面向流水线并行训练的重计算感知模型拆分方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119847767B 。

龙图腾网通过国家知识产权局官网在2025-08-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510322959.5，技术领域涉及：G06F9/50；该发明授权面向流水线并行训练的重计算感知模型拆分方法及系统是由何水兵;张文捷;陈平设计研发完成，并于2025-03-19向国家知识产权局提交的专利申请。

本面向流水线并行训练的重计算感知模型拆分方法及系统在说明书摘要公布了：本发明公开了一种面向流水线并行训练的重计算感知模型拆分方法及系统，属于计算机科学人工智能领域。本发明方法具体为：使用dijkstra算法以及两层二分搜索，计算重计算感知模型拆分下流水线microbatch的前向传播和反向传播时间之和最小值；并使用搜索过程中dijkstra算法得到的中间结果计算并输出一种重计算感知的近似最优的模型拆分策略。本发明利用Trasformer大模型的模型特征、流水线并行模式的特征，设计了模型拆分方法和系统，对模型非均匀拆分到流水线各个阶段，保证开启重计算时各流水线阶段计算负载均衡，从而提高了大模型流水线并行训练整体性能和集群设备的利用效率。

本发明授权面向流水线并行训练的重计算感知模型拆分方法及系统在权利要求书中公布了：1.一种面向流水线并行训练的重计算感知模型拆分系统，其特征在于，所述系统包括： 信息采集模块：用于配置模型的结构、并行训练策略和超参数，将已定义的模型在真实GPU上部署，预跑数轮训练迭代并采集数据；所述数据包括模型算子的数量、计算时间、输出大小以及算子依赖；所述并行训练策略包括：Tensor并行、流水线并行的设置； 模型拆分模块：用于提供重计算策略感知的模型拆分机制，以实现在多设备间实现均匀分配工作负载；所述重计算策略感知的模型拆分机制通过dijkstra算法以及两层二分搜索实现，其中，第一层二分搜索对流水线各阶段中训练一个microbatch的前向传播和反向传播时间之和的最大值的理论最小值的近似解进行二分搜索，所述反向传播时间包括重计算时间；第二层二分搜索是所述第一层二分搜索中“以Tmid为限制条件，计算每个阶段能支持的最大子模型规模”的计算方式，根据子模型最后一个计算单元结构，分别二分搜索在“以Tmid为限制条件”下，各个阶段能支持的最大子模型规模，其中Tmid为代表第一层二分搜索过程中的区间中间值的临时变量；所述dijkstra算法用于判断第一层二分搜索的过程中间结果是否满足要求，以及用于最后结果的计算； 模型训练模块：根据所述模型拆分机制将模型拆分策略以及各个设备的重计算策略配置到训练策略中。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。