买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉支付宝(杭州)信息技术有限公司申请的专利推理系统的负载感知调度方法和推理系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119512748B 。

龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411588173.X，技术领域涉及：G06F9/50；该发明授权推理系统的负载感知调度方法和推理系统是由丁治强;杨统凯设计研发完成，并于2024-11-07向国家知识产权局提交的专利申请。

本推理系统的负载感知调度方法和推理系统在说明书摘要公布了：本申请一个或多个实施例提供一种推理系统的负载感知调度方法和推理系统，该方法应用于包括全局调度器和推理引擎的推理系统；推理引擎包括Prefill引擎和Decode引擎；Prefill引擎和Decode引擎分别包括至少一个计算实例；计算实例的计算资源包括所在的计算节点上搭载的GPU；该方法包括：全局调度器获取待执行的目标推理请求，以及基于所维护的GPU负载信息，确定GPU负载满足第一预设条件的Prefill引擎中的第一计算实例，并将目标推理请求发送至第一计算实例执行Prefill阶段的推理计算；Prefill引擎中与第一计算实例对应的第一本地调度器基于所维护的GPU负载信息，确定GPU负载满足第二预设条件的Decode引擎中的第二计算实例，并将Prefill阶段的推理计算结果发送至第二计算实例执行Decode阶段的推理计算。

本发明授权推理系统的负载感知调度方法和推理系统在权利要求书中公布了：1.一种推理系统的负载感知调度方法，应用于推理系统；所述推理系统包括全局调度器和推理引擎；所述推理引擎包括Prefill引擎和Decode引擎；Prefill引擎部署在至少一个第一计算实例上，Decode引擎部署在至少一个第二计算实例上；所述第一和第二计算实例的计算资源包括所在的计算节点上搭载的GPU；所述全局调度器维护了动态更新的各个第一计算实例的GPU负载信息；所述推理系统还包括第一本地调度器；所述第一本地调度器维护了动态更新的各个第二计算实例的GPU负载信息； 所述方法包括： 所述全局调度器获取待执行的目标推理请求； 所述全局调度器基于所维护的各个第一计算实例的GPU负载信息，确定GPU负载满足第一预设条件的第一计算实例，并将所述目标推理请求发送至所述第一计算实例，以由所述第一计算实例针对所述目标推理请求执行Prefill阶段的推理计算； 所述第一本地调度器基于所维护的第二计算实例中的各个计算实例的GPU负载信息，确定GPU负载满足第二预设条件的第二计算实例，并将Prefill阶段的推理计算结果发送至所述第二计算实例，以由所述第二计算实例基于Prefill阶段的推理计算结果执行Decode阶段的推理计算。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人支付宝(杭州)信息技术有限公司，其通讯地址为：310000 浙江省杭州市西湖区西溪路543号-569号(单号连续)1幢2号楼5层518室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。