买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉深圳平安通信科技有限公司申请的专利模型量化推理加速方法、装置、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120086355B 。

龙图腾网通过国家知识产权局官网在2025-07-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510525474.6，技术领域涉及：G06F16/334；该发明授权模型量化推理加速方法、装置、设备及介质是由瞿晓阳;王健宗;陶伟;卢昊骋设计研发完成，并于2025-04-25向国家知识产权局提交的专利申请。

本模型量化推理加速方法、装置、设备及介质在说明书摘要公布了：本发明涉及人工智能技术领域，可应用于医疗健康及金融科技等业务场景中，公开了一种模型量化推理加速方法、装置、设备及介质，包括：将输入文本划分为多个处理块，对非首个处理块进行重要性评分，按评分结果分配计算精度格式，确定每个处理块的统一量化配置；将网络模块划分为配置共享组，组内共享对应处理块的量化配置；根据统一量化配置执行块级量化推断，生成模型推理结果。本发明通过基于token重要性分数统一确定每个处理块的量化配置，并在网络模块组内复用该配置，实现了块级别的精度分配与并行量化推理，在保障推理精度的同时大幅降低显存开销和配置时间开销，有效提升长文本推理任务中的执行效率与显存利用率。

本发明授权模型量化推理加速方法、装置、设备及介质在权利要求书中公布了：1.一种模型量化推理加速方法，其特征在于，包括以下步骤： 将输入文本划分为多个处理块，将首个处理块的处理精度格式固定为高精度格式，并禁用对所述首个处理块的量化处理； 对所述多个处理块中除首个处理块以外的其他处理块，通过语言模型生成每个其他处理块的自注意力矩阵，并确定所述自注意力矩阵中每个token位置对应列的全体元素数值之和，并将所述全体元素数值之和作为每个token位置的重要性分数； 将重要性分数大于第一阈值的token位置分配为高精度格式，将重要性分数处于第二阈值之上且处于第一阈值之下的token位置分配为中等精度格式，将重要性分数小于第二阈值的token位置分配为低精度格式； 统计每个处理块内被分配为高精度格式、中等精度格式及低精度格式的token位置的数量，选择数量最多的精度格式作为对应处理块的统一量化配置； 将所述语言模型的网络模块划分为多个配置共享组，每个配置共享组至少包含两个网络模块； 在每个配置共享组内将第一个网络模块对应的处理块的统一量化配置共享给同一配置共享组内的其他网络模块； 根据每个处理块对应的统一量化配置，对所有处理块执行块级批量量化并完成模型推理，生成模型推理结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人深圳平安通信科技有限公司，其通讯地址为：518000 广东省深圳市前海深港合作区南山街道兴海大道3048号前海自贸大厦2701(04单元)；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。