买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉星凡星启(成都)科技有限公司申请的专利应用于智能对话大模型的推理加速优化方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120725158B 。

龙图腾网通过国家知识产权局官网在2025-11-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511211400.1，技术领域涉及：G06N5/04；该发明授权应用于智能对话大模型的推理加速优化方法及系统是由谭铭玺;张金;应鹏飞设计研发完成，并于2025-08-28向国家知识产权局提交的专利申请。

本应用于智能对话大模型的推理加速优化方法及系统在说明书摘要公布了：本发明提供应用于智能对话大模型的推理加速优化方法及系统，属于大模型技术领域，首先获取待推理对话序列及推理环境配置信息，其中待推理对话序列包含用户实时输入文本和历史交互语句链，推理环境配置信息涵盖运算节点负载状态和缓存资源占用信息，接着对两者进行联合流程解构处理，得到推理节点依赖图谱和资源弹性需求清单，再基于上述结果执行推理链路优化处理，生成推理加速执行方案，包含推理节点并行调度规则和资源预分配策略，依据该推理加速执行方案调控推理运算流程，生成加速处理后的对话响应序列，最后将加速处理后的对话响应序列推送至用户交互终端完成智能对话输出，从而有效提升智能对话大模型的推理速度，优化对话交互体验。

本发明授权应用于智能对话大模型的推理加速优化方法及系统在权利要求书中公布了：1.一种应用于智能对话大模型的推理加速优化方法，其特征在于，所述方法包括： 获取智能对话大模型的待推理对话序列及推理环境配置信息，所述待推理对话序列包含用户实时输入文本及历史交互语句链，所述推理环境配置信息包含运算节点负载状态及缓存资源占用信息，所述运算节点为执行推理计算的硬件处理单元； 对所述待推理对话序列及所述推理环境配置信息进行联合流程解构处理，得到推理节点依赖图谱和资源弹性需求清单，所述推理节点依赖图谱包含推理节点关联层级及推理顺序约束，所述推理节点为推理过程中对应语义处理步骤的逻辑单元，所述资源弹性需求清单包含运算资源动态阈值及缓存资源调配范围； 基于所述推理节点依赖图谱和所述资源弹性需求清单执行推理链路优化处理，得到推理加速执行方案，所述推理加速执行方案包含推理节点并行调度规则及资源预分配策略； 依据所述推理加速执行方案调控智能对话大模型的推理运算流程，生成加速处理后的对话响应序列； 将所述加速处理后的对话响应序列推送至用户交互终端以完成智能对话输出； 所述对所述待推理对话序列及所述推理环境配置信息进行联合流程解构处理，得到推理节点依赖图谱和资源弹性需求清单，包括： 对所述待推理对话序列进行语义层级拆分，识别其中的语义块，所述语义块包括核心语义块及关联语义块，所述核心语义块对应用户核心需求，所述关联语义块为辅助理解的补充信息； 基于所述语义块之间的逻辑关联构建初步推理节点，所述初步推理节点为推理节点的初始构建形态，每个初步推理节点对应一个语义处理步骤，用于记录初步推理节点的输入语义块及输出语义块； 分析所述初步推理节点之间的依赖关系，若一个初步推理节点的输入语义块为另一个初步推理节点的输出语义块，则标记为存在直接依赖关系，形成推理节点关联层级； 根据所述直接依赖关系确定初步推理节点执行的先后顺序，添加推理顺序约束标记，所述推理顺序约束标记包含必选前置初步推理节点及可选前置初步推理节点； 将所述推理节点关联层级与所述推理顺序约束整合，构建包含初步推理节点位置、连接线条及推理顺序约束标记的推理节点依赖图谱； 解析所述运算节点负载状态，结合初步推理节点的运算强度评估，确定每个初步推理节点所需的运算资源最低值及最高值，作为运算资源动态阈值； 解析所述缓存资源占用信息，结合初步推理节点的缓存访问需求，确定每个初步推理节点可使用的缓存空间下限及上限，作为缓存资源调配范围； 按初步推理节点顺序排列运算资源动态阈值及缓存资源调配范围，生成资源弹性需求清单，并与推理节点依赖图谱建立初步推理节点对应关系； 所述基于所述推理节点依赖图谱和所述资源弹性需求清单执行推理链路优化处理，得到推理加速执行方案，包括： 分析所述推理节点依赖图谱中的推理节点关联层级及推理顺序约束，识别无直接依赖关系且属于同一关联层级的初步推理节点组，形成可并行初步推理节点组清单； 基于所述可并行初步推理节点组中各初步推理节点的处理复杂度及在推理节点关联层级中的位置，为每个可并行初步推理节点组设置并行执行优先级； 结合所述可并行初步推理节点组的并行执行优先级及推理顺序约束，确定每个可并行初步推理节点组的启动时机及执行时长范围，形成各节点组的调度时间窗口； 解析所述资源弹性需求清单中的运算资源动态阈值及缓存资源调配范围，根据可并行初步推理节点组的调度时间窗口及处理需求，计算每个可并行初步推理节点组所需的资源预留额度，所述资源预留额度不超过对应的运算资源动态阈值上限及缓存资源调配范围上限； 根据所述运算资源动态阈值及缓存资源调配范围，设定资源使用量的临界状态描述，当初步推理节点的实际资源使用量达到该临界状态时，触发资源重新分配流程，形成资源动态调整触发条件； 依据所述可并行初步推理节点组清单、各节点组的调度时间窗口、资源预留额度及资源动态调整触发条件，构建推理节点并行调度规则，确定可并行初步推理节点组、并行执行优先级及启动条件； 基于所述推理节点并行调度规则中的启动条件及顺序，结合可并行初步推理节点组的调度时间窗口和资源预留额度，构建资源预分配策略，通过按照设定的提前时间提前锁定对应运算资源及缓存空间的方式，以使得可并行初步推理节点组在调度时间窗口启动时可获得对应的资源预留额度； 将所述推理节点并行调度规则与资源预分配策略整合，生成包含可并行初步推理节点组清单、各节点组的调度时间窗口、资源预留额度及资源动态调整触发条件的推理加速执行方案。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人星凡星启(成都)科技有限公司，其通讯地址为：610023 四川省成都市锦江区工业园区三色路238号1栋2单元36层1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。