河海大学叶保留获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉河海大学申请的专利一种基于双向分割的神经网络流水线并行训练方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115952856B 。
龙图腾网通过国家知识产权局官网在2025-12-12发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211545031.6,技术领域涉及:G06N3/084;该发明授权一种基于双向分割的神经网络流水线并行训练方法及系统是由叶保留;崔凌云;屈志昊设计研发完成,并于2022-12-04向国家知识产权局提交的专利申请。
本一种基于双向分割的神经网络流水线并行训练方法及系统在说明书摘要公布了:本发明公开了一种基于双向分割的神经网络流水线并行训练方法及系统,所述方法包括:对神经网络模型进行实机测试,获得神经网络模型的相关参数;基于神经网络模型的相关参数,以及分布式各个节点的硬件约束,通过以找到一个使得流水线执行时间最小的最优分割方案为目标的双向模型分割算法得出每个节点上需要计算的前向传播以及反向传播范围,作为模型分割的结果;根据模型分割的结果,在每个节点上部署相应部分的神经网络模型,根据前向传播和反向传播分别分割的结果,进行迭代训练,直至神经网络模型收敛。本发明提高了流水线模型并行训练系统的训练效率。
本发明授权一种基于双向分割的神经网络流水线并行训练方法及系统在权利要求书中公布了:1.一种基于双向分割的神经网络流水线并行训练方法,其特征在于,包括以下步骤: 对神经网络模型进行实机测试,获得神经网络模型的相关参数; 基于神经网络模型的相关参数,以及分布式各个节点的硬件约束,通过以找到一个使得流水线执行时间最小的最优分割方案为目标的双向模型分割算法得出每个节点上需要计算的前向传播以及反向传播范围,作为模型分割的结果;所述双向模型分割算法以Ai1,j1,i2,j2,m代表在m个节点上执行神经网络训练前向传播范围从第i1层到第j1层、反向传播范围从第i2层到第j2层的执行时间,其中1≤i1,j1,i2,j2≤L,L为神经网络层数最大值,通过动态规划的思想,将求解问题Ai1,j1,i2,j2,m分解为求解两个子问题Ai1,s1,i2,s2,m-m′和As1+1,j1,s2+1,j2,m′,其中利用三元组s1,s2,m′对母问题进行分割,i1≤s1≤j1,i2≤s2≤j2,1≤m′≤m,s1分割了前向计算范围[i1,j1],s2分割了反向计算范围[i2,j2],m’分割了设备数量; 根据模型分割的结果,在每个节点上部署相应部分的神经网络模型,根据前向传播和反向传播分别分割的结果,进行迭代训练,直至神经网络模型收敛。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人河海大学,其通讯地址为:211100 江苏省南京市江宁区佛城西路8号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励