买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州海康威视数字技术股份有限公司申请的专利应用于边缘设备的推理加速方法、装置及电子设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120633870B 。

龙图腾网通过国家知识产权局官网在2025-11-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511113382.3，技术领域涉及：G06F18/214；该发明授权应用于边缘设备的推理加速方法、装置及电子设备是由张凯;李哲暘;谭文明;任烨;任文奇设计研发完成，并于2025-08-08向国家知识产权局提交的专利申请。

本应用于边缘设备的推理加速方法、装置及电子设备在说明书摘要公布了：本申请提供应用于边缘设备的推理加速方法、装置及电子设备。本申请通过将预训练模型的权重矩阵N个权重子块，将预训练模型的激活矩阵划分为M个激活子块，以对预训练模型中权重子块以及该权重子块对应的激活子块进行量化处理，得到目标模型；若至少两个权重子块的量化位宽相同，则基于该至少两个权重子块对应的权重值量化超参以及各权重子块对应的激活子块对应的激活值量化超参，将该至少两个权重子块作为一个整体进行量化处理。其中，将相同量化位宽的权重子块以及对应的激活子块进行了整体处理，在加载这些子块时，内存访问模式从随机跳变变换为顺序读写，同时对权重值和激活值进行了量化，提高了模型的推理速度，降低了模型占用的存储空间。

本发明授权应用于边缘设备的推理加速方法、装置及电子设备在权利要求书中公布了：1.一种应用于边缘设备的推理加速方法，其特征在于，该方法包括： 将预训练模型的权重矩阵划分为N个权重子块；其中，N大于1，各权重子块具有对应的量化位宽； 将预训练模型的激活矩阵划分为M个激活子块；其中，M小于或等于N；各激活子块被配置了对应的量化位宽；任一激活子块对应至少一个权重子块； 对预训练模型中权重子块以及该权重子块对应的激活子块进行量化处理，得到目标模型；所述目标模型被部署在边缘设备，以用于任务的加速推理；其中，在对权重子块以及该权重子块对应的激活子块进行量化处理时，若至少两个权重子块的量化位宽相同，则将量化位宽相同的权重子块作为一个整体，将相同量化位宽的权重子块物理连续存储，将相同量化位宽的权重子块对应的激活子块物理连续存储，并基于该至少两个权重子块对应的权重值量化超参以及各权重子块对应的激活子块对应的激活值量化超参，对所述至少两个权重子块以及所述至少两个权重子块对应的激活子块进行量化处理。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州海康威视数字技术股份有限公司，其通讯地址为：310051 浙江省杭州市滨江区阡陌路555号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。