买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉哈尔滨工业大学申请的专利一种NPU分时复用的实时推理系统和调度方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119668811B 。

龙图腾网通过国家知识产权局官网在2025-06-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411809599.3，技术领域涉及：G06F9/48；该发明授权一种NPU分时复用的实时推理系统和调度方法是由左德承;李庆;张展;冯懿;封威;陈思远;阮坤;温东新;舒燕君;董剑;霍昱周设计研发完成，并于2024-12-10向国家知识产权局提交的专利申请。

本一种NPU分时复用的实时推理系统和调度方法在说明书摘要公布了：本发明公开了一种NPU分时复用的实时推理系统和调度方法，属于边缘智能计算技术领域，解决了现有技术中传统的边缘智能计算服务设备和推理调度方法难以保证多推理任务推理实时性的问题；本发明在预处理阶段通过准备态预分割器对智能推理模型进行转换，即：结合单位粒度将智能推理模型划分为不同粒度的分块，并获取模型及其分块的运行属性信息；在执行阶段通过运行时规划器接收远程过程调用的任务请求，再通过非线性优化确定最优调度粒度，并根据低切分的NPU实时调度算法生成相应任务调度序列，通过运行时执行器根据作业序列获取任务需要的模型分块并进行执行。本发明有效提高了多任务场景下边缘智能推理计算任务分时复用NPU资源的实时性。

本发明授权一种NPU分时复用的实时推理系统和调度方法在权利要求书中公布了：1.一种NPU分时复用的实时推理调度方法，其特征在于，包括以下步骤： S1.采用准备态预分割器对智能模型转换和分割，即将智能模型转换为NPU模型可执行的格式文件，测试评估模型各层执行时间，结合单位粒度，将智能模型拆分为不同粒度的模型分块； S2.采用运行时规划器对每个智能模型的总执行时间和任务周期进行离散化，即将每个智能模型的总执行时间和任务周期离散化为整数，降低调度算法的计算开销，所有任务开始前，通过单位粒度和用户给定负载阈值通过非线性优化确定调度粒度，并采用调度粒度求解智能模型分块的执行时间及任务周期离散化数值，得到调度算法所用离散化的执行时间和任务周期； S3.基于离散化的执行时间和任务周期，使用引入复用机制的低切分的NPU实时调度算法获取任务调度序列，采用运行时执行器按任务调度序列进行执行； 所述S1中，具体包括以下步骤： S11.从模型仓库中，获取任务所需智能模型； S12.采用模型评估组件获取所有智能模型的权重文件，将智能模型的格式转换为NPU算子图文件； S13.统计测量所有智能模型的算子图文件基于NPU运行时的总执行时间及每层执行时间； S14.根据智能模型每层的执行时间、单位粒度条件，采用模型划分组件递归的拆分每个智能模型，得到不同粒度的模型分块； 所述S12中，在转换过程中对智能模型进行自动量化和融合，并编译生成NPU模块可执行的智能模型文件； 所述S13中，建立耗时列表τ，第i个任务的智能模型的总执行时间为τi，智能模型第j层的执行时间为将智能模型对应类型任务的任务周期作为智能模型的任务周期ti； 所述S14中，每次将智能模型或者模型分块划分为执行时间粒度相等的两部分，直到继续拆分将导致模型分块的执行时间小于单位粒度g0或模型分块只包含一层的情况为止，将划分产生的所有不同粒度的模型分块存储于模型分块仓库中。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人哈尔滨工业大学，其通讯地址为：150001 黑龙江省哈尔滨市南岗区西大直街92号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。