买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉燧原智能科技(成都)有限公司申请的专利一种基于神经网络模型的推理方法、装置、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117273069B 。

龙图腾网通过国家知识产权局官网在2026-03-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311316510.5，技术领域涉及：G06N3/0455；该发明授权一种基于神经网络模型的推理方法、装置、设备及介质是由解易;张亚林设计研发完成，并于2023-10-11向国家知识产权局提交的专利申请。

本一种基于神经网络模型的推理方法、装置、设备及介质在说明书摘要公布了：本发明公开了一种基于神经网络模型的推理方法、装置、设备及介质，包括：确定神经网络模型中具有相同结构的第一目标网络层及不同结构的第二目标网络层；对神经网络模型进行网络层拆分，得到与第一目标网络层和第二目标网络层分别对应的第一计算子图和第二计算子图；根据第一计算子图生成与第一目标网络层对应的共用引擎文件及各第一目标网络层的权重参数；根据第二计算子图生成与第二目标网络层对应的独立引擎文件；独立引擎文件中包括第二目标网络层的权重参数；根据各计算子图的执行顺序，通过共用引擎文件、各第一目标网络层的权重参数及独立引擎文件得到推理结果。通过同结构网络层共用引擎文件推理，可减少数据存储，提高单卡推理能力。

本发明授权一种基于神经网络模型的推理方法、装置、设备及介质在权利要求书中公布了：1.一种基于神经网络模型的推理方法，其特征在于，包括： 对神经网络模型进行结构分析，确定所述神经网络模型中具有相同结构的第一目标网络层，以及不同结构的第二目标网络层； 根据所述第一目标网络层和所述第二目标网络层对所述神经网络模型进行网络层拆分，得到与所述第一目标网络层和所述第二目标网络层分别对应的第一计算子图和第二计算子图； 根据所述第一计算子图生成与所述第一目标网络层对应的共用引擎文件，以及各所述第一目标网络层的权重参数； 根据所述第二计算子图生成与所述第二目标网络层对应的独立引擎文件；其中，所述独立引擎文件中包括所述第二目标网络层的权重参数； 根据各计算子图的执行顺序，通过所述共用引擎文件、各所述第一目标网络层的权重参数、以及所述独立引擎文件，进行推理计算，得到推理结果； 根据所述第一计算子图生成与所述第一目标网络层对应的共用引擎文件，以及各所述第一目标网络层的权重参数，包括： 预估单个第一目标网络层在神经网络模型推理中所需的静态存储容量和动态存储容量； 根据计算设备的设备存储容量、所述静态存储容量和所述动态存储容量，确定所述计算设备能够容纳第一目标网络层的设备容纳层数； 根据所述第一计算子图以及所述设备容纳层数，生成与所述第一目标网络层对应的共用引擎文件，以及各所述第一目标网络层的权重参数； 计算设备能够虚拟成至少两个虚拟设备； 根据各计算子图的执行顺序，通过所述共用引擎文件、各所述第一目标网络层的权重参数、以及所述独立引擎文件，进行推理计算，得到推理结果，包括： 如果在当前推理计算以及下一推理计算中，均选取所述共用引擎文件，则在各所述第一目标网络层中确定当前推理计算和下一推理计算分别对应的当前网络层和下一网络层； 通过第一虚拟设备加载所述当前网络层的当前权重参数，并根据所述当前权重参数以及所述共用引擎文件，生成所述当前网络层的当前引擎文件； 在通过第一虚拟设备根据所述当前引擎文件以及前一推理结果，进行推理计算，得到当前推理结果的同时，通过第二虚拟设备加载所述下一网络层的下一权重参数，并根据所述下一权重参数以及所述共用引擎文件，生成所述下一网络层的下一引擎文件； 通过第二虚拟设备获取当前推理结果，并根据当前推理结果和所述下一引擎文件，进行推理计算，得到下一推理结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人燧原智能科技(成都)有限公司，其通讯地址为：610213 四川省成都市中国(四川)自由贸易试验区成都高新区吉泰路666号3栋9层3号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。