浙江大学何水兵获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江大学申请的专利一种大模型流水线并行训练下的二维序列拆分方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119883383B 。
龙图腾网通过国家知识产权局官网在2025-07-01发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510379220.8,技术领域涉及:G06F9/38;该发明授权一种大模型流水线并行训练下的二维序列拆分方法及系统是由何水兵;张文捷;陈平设计研发完成,并于2025-03-28向国家知识产权局提交的专利申请。
本一种大模型流水线并行训练下的二维序列拆分方法及系统在说明书摘要公布了:本发明公开了一种大模型流水线并行训练下的二维序列拆分方法及系统,属于计算机科学人工智能领域。本发明包括:数据收集模块获取设备基本信息和模型配置信息,包括GPU间带宽、设备显存大小、设备CPU内存大小、GPU‑CPU间带宽、模型维度、模型层数、输入数据序列长度;决策器根据获取的数据生成最优决策;决策内容包括冗余序列长度、保存在GPU的冗余序列比例、保存在CPU的冗余序列比例、时间维度拆分数;深度学习训练模块将所述最优决策整合于模型训练过程,提高系统整体训练性能。本发明结合空闲的显存空间和GPU‑CPU之间的带宽实现了时间空间两个维度上的序列拆分及高效训练,同时最大化了流水线并行训练的训练效率。
本发明授权一种大模型流水线并行训练下的二维序列拆分方法及系统在权利要求书中公布了:1.一种大模型流水线并行训练下的二维序列拆分方法,其特征在于,包括如下步骤: S1、使用真实RingAttention负载测试并收集GPU间带宽、设备显存大小、设备CPU内存大小、GPU-CPU间带宽、模型维度、模型层数、输入数据序列长度; S2、根据所述步骤S1收集的信息进行智能决策,其中,决策内容包括冗余序列长度、保存在GPU的冗余序列比例、保存在CPU的冗余序列比例、时间维度拆分数; S3、根据所述时间维度拆分数和每个子序列的长度,将输入序列拆分为长度递减的第一子序列,将子序列进一步拆分为等长的M份第二子序列,并将M份第二子序列分布到M个序列并行组内的GPU上;将第二子序列输入至使用二维序列并行算子优化的Transformer大模型中训练;其中,在训练过程中使用所述冗余序列长度、保存在GPU的冗余序列比例、保存在CPU的冗余序列比例作为参数输入至二维序列并行算子中,并在训练时根据上述参数指导执行:保存冗余序列至GPU、从GPU转移冗余序列至CPU、从CPU转移冗余序列至GPU。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江大学,其通讯地址为:310058 浙江省杭州市西湖区余杭塘路866号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。