买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉普强时代(珠海横琴)信息技术有限公司申请的专利一种节省AI大模型推理算力的方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118211660B 。

龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410330138.1，技术领域涉及：G06N5/04；该发明授权一种节省AI大模型推理算力的方法及装置是由司玉景;李全忠;何国涛;蒲瑶设计研发完成，并于2024-03-22向国家知识产权局提交的专利申请。

本一种节省AI大模型推理算力的方法及装置在说明书摘要公布了：本发明提供一种节省AI大模型推理算力的方法及装置，方法包括：接收用户的输入文本特征，以及上下文信息和用户状态信息；利用前端判别模块对输入文本特征进行初步分析，判断输入任务的难易程度，对输入任务进行智能识别和任务分流；采用模版匹配、规则匹配技术实现简单任务分流；构建和部署分类模型，对预设规则难以处理的输入任务进一步分析和判断；根据前端判别模块的判断结果，将输入任务合理地分配给传统NLU模型或大语言模型处理。本发明通过引入前端判别模块的和实施任务分流策略，能够实现算力的优化分配，有效提高了处理效率，保持任务处理的高准确率，并具有灵活性和扩展性等优点和积极效果，在自然语言处理领域具有广泛的应用前景。

本发明授权一种节省AI大模型推理算力的方法及装置在权利要求书中公布了：1.一种节省AI大模型推理算力的方法，其特征在于，包括以下步骤： S1、接收用户的输入文本特征，以及上下文信息和用户状态信息； S2、利用前端判别模块对输入文本特征进行初步分析，判断输入任务的难易程度，对输入任务进行智能识别和任务分流；所述任务分流包括：简单任务分流、复杂任务分流；采用模版匹配、规则匹配技术实现简单任务分流；若判断输入任务为简单任务，则将输入任务交由传统的自然语言理解NLU处理；若判断输入任务为复杂任务，则将输入任务提交给AI大语言模型进行深度推理； S3、构建和部署分类模型，对预设规则难以处理的输入任务进行进一步分析和判断； 所述构建和部署分类模型的方法包括以下步骤： S31、收集大量不同难度的语料数据； S32、使用收集到的语料数据对分类模型进行训练，使分类模型能够准确识别任务的难易程度； S33、将训练好的分类模型部署到所述前端判别模块中，实时判断输入任务的难度； S4、根据所述前端判别模块的判断结果，将输入任务合理地分配给传统的NLU模型或大语言模型处理； 所述S2步骤的所述简单任务分流的预设规则包括以下任一种或多种的组合： 关键词规则：用于识别包含特定关键词的简单问题； 格式规则：用于匹配特定格式的简单问题； 上下文规则：用于根据对话的上下文，判断当前的输入任务是否可以由传统的NLU模型处理； 简单模式规则：用于匹配特定模式的简单问题； 所述S32步骤的对分类模型进行训练的方法包括以下步骤： S321、收集大量不同难度的语料数据，用于训练分类模型，这些数据涵盖不同的场景和领域，保证模型的泛化能力； S322、对收集到的数据进行标注，将每个样本标注为简单任务或复杂任务，作为训练数据； S323、对标注好的数据提取特征，特征包括：词向量、句向量、上下文信息； S324、选择合适的分类模型，所述分类模型包括：朴素贝叶斯、支持向量机、神经网络； S325、使用标注数据和特征，对模型进行训练，通过优化损失函数，使模型能够准确区分简单任务和复杂任务； S326、使用验证集对模型进行验证，评估模型的准确率、召回率指标，调整模型参数，防止过拟合； 所述S2步骤的模版匹配是使用预定义的规则和模式对输入任务进行匹配，判断输入任务是否属于简单任务，所述模版匹配包括以下步骤： S21、根据常见的简单问题模式，预定义相应的模版； S22、将用户的输入任务与预定义的模版进行匹配，匹配成功则认为属于简单任务，匹配不成功则认为不属于简单任务； 所述S2步骤的输入任务的难易程度包括以下几个等级： 非常简单：包括打招呼、询问时间、简单的问候； 简单：包括简单的询问、请求、命令； 中等：包括需要根据上下文推断的询问、稍微复杂的请求、命令； 复杂：包括需要深度推理、多轮对话、复杂问题解决； 非常复杂：包括需要专家级知识、深度学习。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人普强时代(珠海横琴)信息技术有限公司，其通讯地址为：519000 广东省珠海市横琴新区环岛东路1889号20栋110-116室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。