上海人工智能创新中心叶浩晨获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉上海人工智能创新中心申请的专利深度学习优化器封装方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115373652B 。
龙图腾网通过国家知识产权局官网在2026-03-06发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211019033.1,技术领域涉及:G06F8/30;该发明授权深度学习优化器封装方法是由叶浩晨;吕成器;张文蔚;陈恺设计研发完成,并于2022-08-24向国家知识产权局提交的专利申请。
本深度学习优化器封装方法在说明书摘要公布了:本发明提供了一种深度学习优化器封装方法,包括:进行优化器封装;通过优化器封装将不同深度学习后端、不同硬件的优化器封装成通用的接口,以降低使用者的学习成本;根据不同深度学习后端的特性,通过优化器封装选择最优优化器功能,以降低使用特定优化功能的学习成本。
本发明授权深度学习优化器封装方法在权利要求书中公布了:1.一种深度学习优化器封装方法,其特征在于,包括: 进行优化器封装; 通过优化器封装将多个深度学习后端、以及多个硬件的优化器封装成通用的接口;以及 根据所述多个深度学习后端的特性,在统一接口的前提下,设计不同后端优化器封装的继承层级; 其中优化器封装子类与基类接口一致,对不同深度学习后端的优化器进行封装,实现和基类优化器封装相同的接口;优化器封装子类功能包括: 开启混合精度训练,由于不同深度学习后端开启混合精度训练的流程不同,根据不同后端选择开启混合精度训练的方式;以及 支持梯度累加,并优化分布式训练时梯度累加的效率,加速分布式训练下的梯度累加; 其中根据不同后端选择开启混合精度训练的方式包括: 能够通过初始化参数开启混合精度训练;以及 能够通过上下文的方式开启混合精度训练; 其中还包括: 实现和基类优化器封装相同的接口包括:子类基于对应的后端实现参数更新、优化器封装上下文、梯度反向传播、步进、梯度清零、加载状态字典、获取参数组、获取学习率、获取动量; 开启混合精度训练包括:如果对应的后端能够通过初始化全局变量开启混合精度训练,则无需派生额外混合精度子类,如果需要重载数量多于阈值的接口,则进一步派生对应后端的子类,实现混合精度训练;同时在网络前向推理之前开启优化器封装上下文接口的上下文,以保证各后端优化器封装开启混合精度训练的方式一致; 通过优化器封装基类实现梯度累加功能; 在不开启梯度累加的默认情况下,分布式训练时每次参数更新都会进行梯度同步,因此优化器封装子类需要根据后端特性优化梯度同步逻辑,避免梯度累加时发生非必要的梯度同步,以加速梯度累加的过程; 加速梯度累加需要在模型前向推导时开启优化器封装上下文。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人上海人工智能创新中心,其通讯地址为:200232 上海市徐汇区云锦路701号37、38层;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励