买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京趋动智能科技有限公司申请的专利面向MOE架构的大模型批量推理与数据流优化系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120849141B 。

龙图腾网通过国家知识产权局官网在2025-11-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511365194.X，技术领域涉及：G06F9/50；该发明授权面向MOE架构的大模型批量推理与数据流优化系统是由张伟韬;邹懋;陈飞;王鲲设计研发完成，并于2025-09-23向国家知识产权局提交的专利申请。

本面向MOE架构的大模型批量推理与数据流优化系统在说明书摘要公布了：本发明涉及项目管理技术领域，具体涉及面向MOE架构的大模型批量推理与数据流优化系统。本发明通过设置请求接入模块、环境感知模块、专家路由引擎、资源调度模块和动态优化控制模块的协同架构，利用请求接入模块提取文本长度与学科类型，为精准路由提供依据，通过环境感知模块实时采集GPU显存、IO带宽及请求队列深度，全面监控系统负载，同时通过专家路由引擎按请求特征激活专家子网络，避免无效计算，并且通过资源调度模块管理权重加载与资源分配，减少IO瓶颈，最后通过动态优化控制模块基于路由冲突因子智能触发优化策略，解决了背景技术中提到的推理延迟波动大、资源利用率不均衡的问题，实现高并发场景下稳定的低延迟响应与资源协同优化。

本发明授权面向MOE架构的大模型批量推理与数据流优化系统在权利要求书中公布了：1.面向MOE架构的大模型批量推理与数据流优化系统，其特征在于，所述系统包括请求接入模块、环境感知模块、专家路由引擎、资源调度模块和动态优化控制模块； 所述请求接入模块用于接收用户请求流，并提取请求特征，至少包括文本长度、学科类型； 所述环境感知模块用于实时采集推理环境参数，包括GPU显存占用率、存储IO带宽、请求队列深度； 所述专家路由引擎用于根据请求特征动态激活MOE模型的专家子网络； 所述资源调度模块用于管理权重数据的加载卸载和计算资源分配； 所述动态优化控制模块用于接收环境感知模块和请求接入模块的数据，通过分析判断是否需启动优化策略，具体为： 基于GPU显存上限和平均文本长度计算路由冲突因子； 预设路由冲突因子阈值，并将路由冲突因子与路由冲突因子阈值进行对比，若路由冲突因子超过阈值，则激活动态优化操作集，其中动态优化操作集包括批处理规模调整操作、资源实例伸缩操作和并发控制优化操作； 所述专家路由引擎在动态激活MOE模型的专家子网络时，采用以下策略： 根据请求接入模块提取的文本长度和学科类型，建立学科类型与专家子网络的映射关系，并结合文本长度选择最合适的专家子网络进行推理，针对长文本优先选择高性能专家； 根据GPU显存占用率和请求队列深度，动态调整激活的专家子网络数量，具体的：若GPU显存占用率高于第一设定值或请求队列深度高于第二设定值，则减少激活的专家数量，若GPU显存占用率低于第三设定值或请求队列深度低于第四设定值，则激活更多专家。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京趋动智能科技有限公司，其通讯地址为：100085 北京市海淀区中关村大街1号10层1022；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。