买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉广州汇通国信科技有限公司申请的专利一种基于云原生的AI模型服务弹性伸缩系统及方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119883510B 。

龙图腾网通过国家知识产权局官网在2025-11-07发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411953697.4，技术领域涉及：G06F9/455；该发明授权一种基于云原生的AI模型服务弹性伸缩系统及方法是由李保平;陈木辉;麦新伟;倪彬洋;李冬云;杨秋林设计研发完成，并于2024-12-27向国家知识产权局提交的专利申请。

本一种基于云原生的AI模型服务弹性伸缩系统及方法在说明书摘要公布了：本发明公开了一种基于云原生的AI模型服务弹性伸缩系统及方法，包括模型特征分析模块和弹性策略执行模块。其中，模型特征分析模块通过计算资源监控器采集GPU运行数据，利用批处理效率分析器构建双阈值约束机制，并由效率曲线分析系统生成GPU稳定性曲线和内存效率曲线；弹性策略执行模块将目标批处理参数转化为执行计划并通过Kubernetes扩展机制实现原子性调整。本发明创新性地提出双层分析机制，将GPU稳定性和内存效率作为独立维度进行分析，有效解决了传统方案中仅关注单一指标导致的服务震荡问题。通过渐进式调整策略和完善的状态跟踪机制，实现了AI模型服务的精准扩缩容，显著提高了资源利用效率，同时保障了服务质量的稳定性。

本发明授权一种基于云原生的AI模型服务弹性伸缩系统及方法在权利要求书中公布了：1.一种基于云原生的AI模型服务弹性伸缩系统，其特征在于，包括模型特征分析模块和弹性策略执行模块； 其中，模型特征分析模块包括计算资源监控器、批处理效率分析器和效率曲线分析系统，计算资源监控器与数据中心GPU管理器集成并向批处理效率分析器传送采集的AI模型运行时的GPU利用率、显存占用率和内存带宽数据； 弹性策略执行模块包括伸缩决策器和资源调度器； 批处理效率分析器设置双阈值约束的分析机制，接收计算资源监控器采集的GPU利用率、显存占用率和内存带宽数据，针对GPU利用率计算其短期方差值和变化趋势曲线，当GPU利用率方差超出预设阈值或呈现频繁波动趋势时标记当前批处理参数为不稳定状态，在GPU利用率方差值位于预设阈值范围内时进一步计算显存占用率和内存带宽的目标区间偏离度，批处理效率分析器生成分析数据包，分析数据包包含当前批处理参数、GPU利用率方差值、GPU稳定状态标记、显存占用率偏离度和内存带宽偏离度，并将分析数据包周期性输出至效率曲线分析系统用于构建GPU稳定性曲线和内存效率曲线；其中，GPU利用率方差的阈值根据AI模型的计算密度进行设定，目标区间偏离度通过计算当前显存占用率与预设目标区间中位数的差值获得； 效率曲线分析系统接收批处理效率分析器输出的分析数据包，使用滑动窗口平均技术构建GPU稳定性曲线和内存效率曲线，其中GPU稳定性曲线以批处理参数为横坐标、GPU利用率方差值为纵坐标，内存效率曲线以批处理参数为横坐标、显存占用率和内存带宽的偏离度为纵坐标，效率曲线分析系统通过GPU稳定性曲线筛选出GPU利用率方差值低于预设阈值的批处理参数范围，在GPU利用率方差值低于预设阈值的批处理参数范围内基于内存效率曲线选择偏离度最小的批处理参数作为目标批处理参数，当存在多个偏离度相近的候选参数时优先选择数值较小的批处理参数，将目标批处理参数输出至伸缩决策器； 伸缩决策器接收效率曲线分析系统输出的目标批处理参数并将其转化为AI模型服务实例的执行计划，计算实例规模变更的目标值，将目标实例数的变更分解为多个渐进式调整步骤，在每个调整步骤中通过参数映射规则动态调整批处理大小，并结合容器生命周期管理确保服务平稳过渡，将分解后的执行步骤序列和对应的批处理参数配置输出至资源调度器；其中，渐进式调整步骤为，在每个调整步骤执行前，记录当前服务实例的GPU利用率和推理延迟指标，根据GPU利用率与预设利用率目标的差值确定调整步长，当推理延迟超出预设阈值时，暂停当前调整步骤的执行； 资源调度器接收伸缩决策器输出的执行计划并集成Kubernetes扩展机制，执行AI模型服务实例规模和批处理参数的变更操作，运行Kubernetes扩展机制，实现与伸缩决策器输出的执行步骤序列的对接，实现批处理参数和实例数量的原子性调整，对每个执行步骤的调度过程进行状态跟踪，当检测到执行异常时触发配置回滚操作恢复至上一稳定状态。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人广州汇通国信科技有限公司，其通讯地址为：510000 广东省广州市黄埔区开源大道11号B9栋601室自编6310房；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。