买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东大学申请的专利一种面向异构GPU集群的深度神经网络模型并行推理方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120297426B 。

龙图腾网通过国家知识产权局官网在2025-08-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510786813.6，技术领域涉及：G06N5/04；该发明授权一种面向异构GPU集群的深度神经网络模型并行推理方法是由李峰;谢梦玮;胡鹏飞;吴思设计研发完成，并于2025-06-13向国家知识产权局提交的专利申请。

本一种面向异构GPU集群的深度神经网络模型并行推理方法在说明书摘要公布了：本发明公开了一种面向异构GPU集群的深度神经网络模型并行推理方法，涉及分布式机器学习领域，包括获取当前信息，剩余可选择的DNN模型、每个GPU服务器上已部署的DNN模型及未满足DNN模型数量约束的GPU服务器；调度器选择DNN模型部署在选定的GPU服务器上，并计算此时执行并行推理的吞吐量；直至找到吞吐量最大的DNN模型和GPU服务器组合，并更新相关信息；判断该GPU上已部署的DNN模型是否满足数量约束，并更新GPU集群信息，直到所有GPU满足特定的DNN模型数量约束；重复上述步骤直至算法收敛。本发明充分利用有限的异构GPU资源，选择相容性高的DNN模型进行部署执行并行推理，以最大化吞吐量。

本发明授权一种面向异构GPU集群的深度神经网络模型并行推理方法在权利要求书中公布了：1.一种面向异构GPU集群的深度神经网络模型并行推理方法，其特征在于，包括如下步骤： 步骤1，获取当前信息，剩余可选择的DNN模型、每个GPU服务器上已部署的DNN模型以及未满足DNN模型数量约束的GPU服务器； 步骤2，调度器选择DNN模型部署在选定的GPU服务器上，并计算当前选择的DNN模型部署在选定的GPU上执行并行推理的吞吐量； 步骤3，重复步骤2，直至找到使得吞吐量最大的DNN模型和GPU服务器组合，将该DNN模型部署到该GPU上，并更新相关信息； 步骤4，判断该GPU上已部署的DNN模型是否满足数量约束，并更新GPU集群信息，直到所有GPU满足特定的DNN模型数量约束； 步骤5，重复步骤1-4，直至算法收敛； 所述步骤1具体为：表示个异构GPU服务器，表示个异质DNN模型的集合，表示部署在GPU服务器上的个DNN模型的集合；调度器通过观察，获取剩余可选DNN模型的集合，每个GPU服务器上已部署的DNN模型的集合以及未满足DNN模型数量约束的GPU服务器的集合； 所述步骤2具体为：将每个GPU服务器视作一个智能体，有一个局部的深度循环Q网络，通过深度循环Q网络，针对中剩余的每一个可选DNN模型计算对应的动作价值函数；DNN模型选择决策采用-贪婪策略； 所述-贪婪策略具体为：调度器以概率利用对应的选择动作，即将DNN模型部署在GPU服务器上执行并行推理最优；以概率1-，调度器则从中选择一个可选DNN模型部署到从选择一个GPU服务器上。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东大学，其通讯地址为：266200 山东省青岛市即墨区滨海路72号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。