买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安明赋云计算股份有限公司申请的专利融合混合精度量化与硬件加速的AI推理方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121352034B 。

龙图腾网通过国家知识产权局官网在2026-03-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511896629.3，技术领域涉及：G06N5/04；该发明授权融合混合精度量化与硬件加速的AI推理方法及系统是由刘楠;黄健晨;徐朝;王强设计研发完成，并于2025-12-16向国家知识产权局提交的专利申请。

本融合混合精度量化与硬件加速的AI推理方法及系统在说明书摘要公布了：本发明属于人工智能的技术领域，具体涉及一种融合混合精度量化与硬件加速的AI推理方法及系统，以解决现有技术中混合精度量化破坏算子融合且量化开销较大、推理效率较低的技术问题。推理方法包括：S1，针对计算图的各计算层，计算得到适宜性分数；S2，确定各计算层的目标量化比特宽度；S3，根据各计算层的目标量化比特宽度，搜索预设的硬件内核库；S4，根据节点链的输入节点与输出节点的量化比特宽度，从备选高位宽整型格式中确定目标整型格式。本发明的推理方法在保证模型精度的前提下，实现了推理速度和硬件资源利用率的平衡。

本发明授权融合混合精度量化与硬件加速的AI推理方法及系统在权利要求书中公布了：1.融合混合精度量化与硬件加速的AI推理方法，其特征在于，包括： S1，获取预训练的浮点神经网络模型，并将其解析为计算图；针对计算图的各计算层，综合量化敏感度、在目标硬件上的执行时延及与相邻计算层的数据格式转换开销，计算得到适宜性分数； S2，基于适宜性分数与各计算层的激活值分布，构建以全局推理时延最小为目标、模型整体精度损失不超过预设阈值为约束的优化问题，求解该优化问题以确定各计算层的目标量化比特宽度； S3，根据各计算层的目标量化比特宽度，搜索预设的硬件内核库；当计算图中某一连续算子序列的算子组合与比特宽度分配，与硬件内核库中某一融合硬件内核模板相匹配，且连续算子序列中各计算层的适宜性分数的加权平均值大于或等于预设的融合门限值时，则将该连续算子序列替换为对应的融合硬件内核； S4，在经S2和S3处理后的计算图中，识别由去量化节点、中间浮点计算节点及再量化节点构成的节点链；根据节点链的输入节点与输出节点的量化比特宽度，从备选高位宽整型格式中确定目标整型格式；当中间浮点计算节点的数值范围未超出目标整型格式的表示范围时，则将节点链合并为单一的、在目标整型格式下执行的计算内核。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安明赋云计算股份有限公司，其通讯地址为：710000 陕西省西安市高新区锦业路6号绿地中央广场智海3幢11501室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。