买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学院软件研究所申请的专利深度学习多模型部署场景下QOS感知的资源分配方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116225653B 。

龙图腾网通过国家知识产权局官网在2026-03-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310221373.0，技术领域涉及：G06F9/48；该发明授权深度学习多模型部署场景下QOS感知的资源分配方法及装置是由吴悦文;吴恒;余甜;罗钓寒;张文博设计研发完成，并于2023-03-09向国家知识产权局提交的专利申请。

本深度学习多模型部署场景下QOS感知的资源分配方法及装置在说明书摘要公布了：本发明涉及一种深度学习多模型部署场景下QoS感知的资源分配方法及装置。所述方法包括：通过将深度学习模型拆分为多个串行依赖的子模型，使其对应的目标任务拆分为多个子任务；根据队列发生改变时全局任务队列中所有子任务的总体响应比，将所述子任务插入到全局任务队列中；在所述子任务欲运算时，依据当前各类型任务的数量和所述子任务的属性，为所述子任务颁发令牌，以基于所述深度学习模型或多个串行依赖的子模型，得到所述目标任务的运行结果。本发明能够有效解决长任务导致的短任务过长等待问题，以极低的调度开销实现调整任务的资源分配策略，以及减少任务服务水平的抖动。

本发明授权深度学习多模型部署场景下QOS感知的资源分配方法及装置在权利要求书中公布了：1.一种深度学习多模型部署场景下QOS感知的资源分配方法，其特征在于，所述方法包括： 通过将深度学习模型拆分为多个串行依赖的子模型，使其对应的目标任务拆分为多个子任务； 根据队列发生改变时全局任务队列中所有子任务的总体响应比，将所述子任务插入到全局任务队列中； 在所述子任务欲运算时，依据当前各类型任务的数量和所述子任务的属性，为所述子任务颁发令牌，以基于所述深度学习模型或多个串行依赖的子模型，得到所述目标任务的运行结果； 其中，将深度学习模型拆分为多个串行依赖的子模型，包括： 将深度学习模型转换为ONNX格式的模型； 基于设定的切分点拆分所述ONNX格式的模型，以产生初代切分策略种群； 对当代切分策略种群执行效果预测，并基于效果预测结果，得到该切分策略种群中单个个体的适应性；其中，所述效果预测结果包括：切分开销和切分均匀性； 判断最大适应性对应策略的切分开销和切分均匀性是否满足标准； 在不满足标准的情况下，通过对该切分策略种群中的个体执行个体选择、交叉和变异，得到下一代切分策略种群，并返回至所述对当代切分策略种群执行效果预测，以得到该切分策略种群中单个个体的适应性； 在满足标准的情况下，得到多个串行依赖的子模型； 所述依据当前各类型任务的数量和所述子任务的属性，为所述子任务颁发令牌，以基于所述深度学习模型或多个串行依赖的子模型，得到所述目标任务的运行结果，包括： 在当前任务执行情景是第一种情景或第二种情景的情况下，将所述子任务交由所述深度学习模型执行，以得到所述目标任务的运行结果；其中，所述第一种情景为所述子任务为目标任务的第一部分，且目标任务的任务类型总数超过设定阈值，所述第二种情景为所述子任务为目标任务的第一部分，且除目标任务的任务类型以外的所有任务类型对应的任务总数均大于设定阈值； 在当前任务执行情景不是第一种情景和第二种情景的情况下，将所述子任务交由对应的子模型，并基于各子模型执行结果，得到所述目标任务的运行结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学院软件研究所，其通讯地址为：100190 北京市海淀区中关村南四街4号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。