山东浪潮科学研究院有限公司陈其宾获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉山东浪潮科学研究院有限公司申请的专利全整型神经网络模型推理方法、装置、设备及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116579374B 。
龙图腾网通过国家知识产权局官网在2025-10-21发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310603962.5,技术领域涉及:G06N3/042;该发明授权全整型神经网络模型推理方法、装置、设备及存储介质是由陈其宾;段强;姜凯;李锐设计研发完成,并于2023-05-25向国家知识产权局提交的专利申请。
本全整型神经网络模型推理方法、装置、设备及存储介质在说明书摘要公布了:本申请公开了全整型神经网络模型推理方法、装置、设备及存储介质,应用于支持整型计算的嵌入式设备,涉及神经网络领域,包括:利用预设方法对所述嵌入式设备中部署的训练好的神经网络模型进行量化,以得到所述神经网络模型的权重系数;基于预设规则将算子进行分类,以得到若干种类型的算子;对所述若干种类型的算子进行相应的计算,得到与各种类型的算子对应的各中间数据;各所述中间数据的数据类型均为目标整型数据;基于所述中间数据以及所述神经网络模型的权重系数进行全整型神经网络模型的计算推理。这样一来,本申请便可以在只支持硬件计算的嵌入式设备上部署神经网络模型。
本发明授权全整型神经网络模型推理方法、装置、设备及存储介质在权利要求书中公布了:1.一种全整型神经网络模型推理方法,其特征在于,应用于支持整型计算的嵌入式设备,包括: 利用预设方法对所述嵌入式设备中部署的训练好的神经网络模型进行量化,以得到所述神经网络模型的权重系数; 基于每种类型算子的计算方式将所述算子分为进行量化和逆量化计算的第一类型算子、通过移位方式计算的第二类型算子以及通过查表方式计算的第三类型算子; 对所述若干种类型的算子进行相应的计算,得到与各种类型的算子对应的各中间数据;各所述中间数据的数据类型均为目标整型数据; 基于所述中间数据以及所述神经网络模型的权重系数进行全整型神经网络模型的计算推理; 所述对所述若干种类型的算子进行相应的计算,得到与各种类型的算子对应的各中间数据,包括: 对任一第一类型算子进行计算时,若当前输入为另一个所述第一类型算子的输出,则由所述任一第一类型算子直接进行相应的卷积计算或矩阵相乘的计算,以得到所述任一第一类型算子对应的所述中间数据;若当前输入为所述第二类型算子或所述第三类型算子的输出,则对所述任一第一类型算子进行量化操作,然后进行相应的卷积计算或矩阵相乘的计算,以得到所述任一第一类型算子对应的所述中间数据;若当前输出为另一个所述第一类型算子的输入,则对所述任一第一类型算子进行逆量化操作以及乘以预设的中间表示常数中的data分量,以得到所述任一第一类型算子对应的所述中间数据; 对所述第二类型算子进行计算时,基于不同的移位操作执行相应的计算,以得到所述第二类型算子的所述中间数据; 对所述第三类型算子进行计算时,基于哈希表获取所述第三类型算子的所述中间数据; 所述中间表示常数为基于所述data分量以及shift分量构建的常数,其中,所述shift分量表征整型计算时进行右移的位数,所述data分量为以2为底数、以所述shift分量为指数得到的数值; 所述对所述若干种类型的算子进行相应的计算,得到与各种类型的算子对应的各中间数据的过程中,还包括: 利用预先创建的数据溢出检测模块检测当前在计算所述中间数据时是否发生溢出,若溢出,则调小所述shift分量。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人山东浪潮科学研究院有限公司,其通讯地址为:250000 山东省济南市高新浪潮路1036号S02号楼;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励