中山大学陈武辉获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中山大学申请的专利模型参数更新方法、装置、存储介质及计算机设备获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119557103B 。
龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411780957.2,技术领域涉及:G06F9/50;该发明授权模型参数更新方法、装置、存储介质及计算机设备是由陈武辉;蒋亚鹏;郑子彬设计研发完成,并于2024-12-05向国家知识产权局提交的专利申请。
本模型参数更新方法、装置、存储介质及计算机设备在说明书摘要公布了:本申请提供的模型参数更新方法、装置、存储介质及计算机设备,包括:采用流水线并行的方式对目标模型进行迭代训练,并基于线性规划将每一阶段中的优化器状态划分为第一优化器状态、第二优化器状态和动态优化器状态,在每次迭代中,当触发参数更新时,对于每个阶段,将该阶段的动态优化器状态加载至GPU上以在GPU中执行参数更新,将该阶段的动态优化器状态卸载至CPU,并加载CPU中更新后的参数至GPU中以生成该阶段的模型参数。通过将动态优化器状态设置为可以动态加载于GPU和CPU之间的优化器状态,这样可以在GPU空闲时加载动态优化器状态至GPU上执行参数更新,提高参数更新阶段GPU的利用率,进而提高模型的训练效率。
本发明授权模型参数更新方法、装置、存储介质及计算机设备在权利要求书中公布了:1.一种模型参数更新方法,其特征在于,所述方法包括: 采用流水线并行的方式对目标模型进行迭代训练,所述目标模型划分为多个阶段进行训练; 以最小化第一个阶段的参数更新时间为优化目标构建目标函数,并依据所述目标函数确定其对应的约束条件;所述目标函数以各个阶段的第一优化器状态、第二优化器状态和动态优化器状态作为决策变量,所述第一优化器状态是指位于CPU的优化器状态,所述第二优化器状态是指位于GPU的优化器状态,动态优化器状态是指动态加载于CPU和GPU之间的优化器状态; 基于所述约束条件对所述目标函数进行求解,以确定达到所述优化目标时各个阶段的优化器状态划分情况,所述优化器状态划分情况包括第一优化器状态、第二优化器状态和动态优化器状态三者的划分数值; 根据达到所述优化目标时各个阶段的优化器状态划分情况确定每一阶段中的第一优化器状态、第二优化器状态和动态优化器状态; 在每次迭代中,当触发参数更新时,对于每个阶段,确定该阶段对应的GPU和CPU,并将该阶段的动态优化器状态从所述CPU加载至所述GPU上,以在所述GPU中基于该阶段的第二优化器状态和动态优化器状态执行参数更新; 基于该阶段的第一优化器状态在所述CPU中对该阶段的第一优化器状态对应的参数进行更新; 将该阶段的动态优化器状态卸载至所述CPU,并加载在所述CPU中更新后的参数至所述GPU中,以生成该阶段的模型参数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中山大学,其通讯地址为:510275 广东省广州市海珠区新港西路135号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励