买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉人工智能与数字经济广东省实验室(深圳)申请的专利一种推理服务系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120450053B 。

龙图腾网通过国家知识产权局官网在2025-11-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510744001.5，技术领域涉及：G06F9/50；该发明授权一种推理服务系统是由赖卓楠;徐传飞;曹伟朋;陶希;明仲设计研发完成，并于2025-06-05向国家知识产权局提交的专利申请。

本一种推理服务系统在说明书摘要公布了：本申请提供一种推理服务系统，全局控制器用于预先将机器资源划分为交互式资源池和批处理式资源池；当接收到推理请求时，确定推理请求的服务级别目标类型，并根据服务级别目标类型对交互式资源池和批处理式资源池进行资源扩缩；集群控制器用于预先将交互式资源池和批处理式资源池分别划分为提示词资源池和令牌资源池；针对推理请求的提示词阶段和令牌阶段，分别从提示词资源池和令牌资源池中分配相应的提示词资源和令牌资源，并对提示词资源池和令牌资源池进行资源扩缩；机器控制器用于根据服务级别目标类型和所属机器的使用状态调整处理推理请求的批处理大小。在满足服务级别目标的前提下，提高推理服务系统的资源利用率和吞吐性能。

本发明授权一种推理服务系统在权利要求书中公布了：1.一种推理服务系统，其特征在于，所述推理服务系统包括全局控制器、集群控制器和多个机器控制器；所述全局控制器与所述集群控制器通信连接，所述集群控制器与各所述机器控制器分别通信连接； 所述全局控制器用于预先将机器资源划分为交互式资源池、批处理式资源池和混合式资源池；当接收到推理请求时，确定所述推理请求的服务级别目标类型，并根据所述服务级别目标类型对所述交互式资源池和所述批处理式资源池进行资源扩缩；所述推理请求基于不同的服务级别目标分为交互式请求和批处理式请求；所述交互式请求为需即时响应的推理请求，所述批处理式请求为允许延迟的推理请求；所述交互式资源池为专门分配给所述交互式请求的资源集合，所述批处理式资源池为专门分配给所述批处理式请求的资源集合； 所述全局控制器在执行所述根据所述服务级别目标类型对所述交互式资源池和所述批处理式资源池进行资源扩缩时被配置为：若根据所述服务级别目标类型确定所述推理请求为所述交互式请求，确定所述交互式资源池中正在处理所述交互式请求的第一资源量；确定所述混合式资源池中正在处理所述交互式请求的第二资源量；根据所述第一资源量和所述交互式资源池的预设资源量的比值，确定所述交互式资源池的资源利用率；确定所述第一资源量和所述第二资源量的资源比例；根据所述资源利用率和所述资源比例对所述交互式资源进行资源扩缩； 所述集群控制器用于预先将所述交互式资源池和所述批处理式资源池分别划分为提示词资源池和令牌资源池；针对所述推理请求的提示词阶段和令牌阶段，分别从所述提示词资源池和所述令牌资源池中分配相应的提示词资源和令牌资源，并对所述提示词资源池和所述令牌资源池进行资源扩缩； 所述机器控制器用于根据所述服务级别目标类型和所属机器的使用状态调整处理所述推理请求的批处理大小。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人人工智能与数字经济广东省实验室(深圳)，其通讯地址为：518000 广东省深圳市光明区玉塘街道科润大厦；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。