之江实验室潘淑获国家专利权
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
龙图腾网获悉之江实验室申请的专利模型推理加速方法、系统、计算机设备和可读存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119990337B 。
龙图腾网通过国家知识产权局官网在2025-08-19发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510466856.6，技术领域涉及：G06N5/04；该发明授权模型推理加速方法、系统、计算机设备和可读存储介质是由潘淑;张辉;高翔设计研发完成，并于2025-04-15向国家知识产权局提交的专利申请。
本模型推理加速方法、系统、计算机设备和可读存储介质在说明书摘要公布了：本申请涉及一种模型推理加速方法、系统、计算机设备和可读存储介质。方法包括：获取待处理模型的模型文件；解析待处理模型文件，得到待处理模型的所有算子；若不存在物理加速卡，则将模型文件加载至CPU的内存空间，从用户态预设的虚拟算子库中确定与所有算子匹配的目标算子；将各算子映射至各自对应的目标算子，基于目标算子加速待处理模型推理。采用本方法能够提高资源利用率。
本发明授权模型推理加速方法、系统、计算机设备和可读存储介质在权利要求书中公布了：1.一种模型推理加速方法，其特征在于，所述方法包括： 获取待处理模型的待处理模型文件； 解析所述待处理模型文件，得到所述待处理模型的模型信息； 若不存在物理加速卡，则将所述待处理模型文件加载至CPU的内存空间，从虚拟加速卡中用户态预设的虚拟算子库中确定与所述模型信息中的所有算子匹配的目标算子；所述虚拟加速卡作为软件定义的中间层实现对物理硬件进行抽象与调度，所述虚拟加速卡由内核态和用户态两部分组成，通过内核态实现硬件资源隔离与动态内存管理，用户态提供统一算子库及SIMD优化； 将各所述算子映射至各自对应的目标算子，基于所述目标算子完成所述待处理模型推理； 若存在物理加速卡且所述物理加速卡支持所述模型信息中部分算子，则将所述待处理模型文件加载至所述物理加速卡的显存空间； 调用用户态的应用层接口，根据部分所述算子通过统一算子库的动态路由引擎路由至所述物理加速卡的推理算子库，将部分所述算子中各所述算子映射至所述推理算子库中各自对应的目标算子； 将剩余算子加载至CPU的内存空间，从用户态预设的虚拟加速卡算子库中确定与所有所述剩余算子匹配的虚拟算子库，将所述剩余算子映射至所述虚拟算子库； 基于所述推理算子库和所述虚拟算子库，完成所述待处理模型推理。
如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人之江实验室，其通讯地址为：311121 浙江省杭州市余杭区中泰街道科创大道之江实验室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号