买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京硅基流动科技有限公司申请的专利支持多模型混合部署的推理服务系统及方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121597394B 。

龙图腾网通过国家知识产权局官网在2026-05-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511602878.7，技术领域涉及：G06F9/50；该发明授权支持多模型混合部署的推理服务系统及方法是由许啸宇;邱辰昊;王义;柳俊丞设计研发完成，并于2025-11-04向国家知识产权局提交的专利申请。

本支持多模型混合部署的推理服务系统及方法在说明书摘要公布了：本发明属于机器学习技术领域，具体涉及一种支持多模型混合部署的推理服务系统及方法。通过多个推理实例和一个调度器通信连接，且每个推理实例配置有本地存储空间用于缓存模型权重文件，通过调度器分析推理请求所需的模型集合及各推理实例的本地缓存状态与负载情况，智能地将请求分配给最优的目标推理实例；目标推理实例对于本地未存储的模型采用动态下载机制，对于本地存储的模型直接通过缓存获取本地模型路径；并通过引用计数和LRU策略实现精细化的缓存生命周期管理，以此将缓存感知调度与动态模型加载相结合，解决传统单实例单模型部署模式无法良好支持多模型混合部署的问题，实现资源的高效利用和请求的快速响应。

本发明授权支持多模型混合部署的推理服务系统及方法在权利要求书中公布了：1.一种支持多模型混合部署的推理服务系统100，其特征在于，包括： 多个推理实例130，每一推理实例130配置有本地存储空间； 一个调度器120，与多个所述推理实例130通信连接； 所述调度器120被配置为，根据推理请求所需的模型集合以及所有推理实例130的本地缓存状态与负载，将所述推理请求分配至对应的目标推理实例； 所述目标推理实例被配置为，对于所需但未存储于所述本地存储空间中的模型，执行动态下载并缓存；对于所需并存储于所述本地存储空间中的模型，获取所述模型的存储路径信息；并引用计数机制管理已缓存模型的生命周期，基于LRU策略管理缓存空间； 每一推理实例130部署有通信连接的工作流执行器131及模型缓存管理组件； 所述工作流执行器131被配置为，响应于接收到所述调度器120分配的所述推理请求，对其进行解析并确定其依赖的模型集合及执行顺序；对于所述模型集合中的每一模型，向所述模型缓存管理组件发起获取请求；对获取的模型按序加载并执行推理；并在模型使用前后触发引用计数机制； 所述模型缓存管理组件被配置为，响应于所述工作流执行器131发起的获取请求，对于所需但未存储于所述本地存储空间中的模型，执行动态下载并缓存；对于所需并存储于所述本地存储空间中的模型，提供所述模型的存储路径信息；并引用计数机制管理已缓存模型的生命周期，基于LRU策略管理缓存空间； 所述根据推理请求所需的模型集合以及所有推理实例130的本地缓存状态与负载，将所述推理请求分配至对应的目标推理实例的步骤，包括： 对于每一推理实例130，根据所述推理请求所需模型集合上的缓存命中率与其当前负载进行加权求和，得到综合得分； 选择综合得分最高的推理实例130作为所述目标推理实例。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京硅基流动科技有限公司，其通讯地址为：100084 北京市海淀区中关村东路1号院8号楼D座23层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。