买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国平安人寿保险股份有限公司申请的专利网络模型推理加速的方法、装置、设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114219091B 。

龙图腾网通过国家知识产权局官网在2025-11-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111536025.X，技术领域涉及：G06N5/04；该发明授权网络模型推理加速的方法、装置、设备及存储介质是由蒋佳峻;成杰峰设计研发完成，并于2021-12-15向国家知识产权局提交的专利申请。

本网络模型推理加速的方法、装置、设备及存储介质在说明书摘要公布了：本申请涉及人工智能技术领域，提供一种网络模型推理加速的方法、装置、设备及存储介质，包括：在网络模型开始执行推理任务时，检测是否存在图形处理器；在存在图形处理器时，确定网络模型的文件中目标计算结构；目标计算结构包括矩阵乘法；确定与目标计算结构关联的目标张量；在目标张量的源程序格式要求不满足预设计算统一设备架构并行程序格式要求时，按照预设计算统一设备架构并行程序格式要求对目标张量的源程序格式进行修改；基于图形处理器根据修改后的目标张量的源程序对推理任务进行预测推理。可将目标计算结构中关联的张量，转变为GPU加速的张量。可自动适配GPU进行加速推理，从而提高了对网络模型进行加速推理的便捷性。

本发明授权网络模型推理加速的方法、装置、设备及存储介质在权利要求书中公布了：1.一种网络模型推理加速的方法，其特征在于，应用于部署网络模型的终端设备，所述方法包括： 在所述网络模型开始执行推理任务时，检测是否存在图形处理器； 在存在所述图形处理器时，确定所述网络模型的文件中目标计算结构；所述目标计算结构包括矩阵乘法； 确定与所述目标计算结构关联的张量，作为目标张量，所述目标张量包括同一数据类型元素的多维矩阵，所述目标计算结构关联的张量是所述目标计算结构中计算需要用到的张量； 检测所述目标张量的源程序格式是否满足预设计算统一设备架构并行程序格式要求； 在所述目标张量的源程序格式要求不满足预设计算统一设备架构并行程序格式要求时，按照预设计算统一设备架构并行程序格式要求对目标张量的源程序格式进行修改； 基于所述图形处理器根据修改后的目标张量的源程序对推理任务进行预测推理； 在网络模型执行推理任务时，检测是否存在图形处理器之后，包括：在不存在所述图形处理器时，检测是否存在计算统一设备架构并行程序格式对应的张量；若存在计算统一设备架构并行程序格式对应的张量，则将计算统一设备架构并行程序格式对应张量的源程序格式修改为CPU计算格式张量的源程序； 其中，所述确定与所述目标计算结构关联的张量，作为目标张量，包括： 确定与所述目标计算结构关联的张量； 确定与所述目标计算结构关联的张量的维度； 在与所述目标计算结构关联的所有张量中任一个张量的维度大于第一预设阈值时，将与所述目标计算结构关联的所有张量均确定为所述目标张量； 在确定与所述目标计算结构关联的张量的维度之后，还包括： 在与所述目标计算结构关联的所有张量中任两个张量的维度大于第二预设阈值时，将与所述目标计算结构关联的所有张量均确定为所述目标张量；其中所述第二预设阈值小于所述第一预设阈值； 在网络模型执行推理任务时，检测是否存在图形处理器之后，还包括： 在存在所述图形处理器时，且所述图形处理器的计算能力小于第二预设阈值时，检测是否存在计算统一设备架构并行程序格式对应的张量； 若存在计算统一设备架构并行程序格式对应的张量，则将计算统一设备架构并行程序格式对应张量的源程序格式修改为CPU计算格式张量的源程序。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国平安人寿保险股份有限公司，其通讯地址为：518000 广东省深圳市福田区福田街道益田路5033号平安金融中心14、15、16、37、41、44、45、46、54、58、59层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。