买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉厦门渊亭信息科技有限公司申请的专利一种基于多智能体技术的大模型自主评估方法、装置、设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120561513B 。

龙图腾网通过国家知识产权局官网在2025-11-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511045506.9，技术领域涉及：G06F18/20；该发明授权一种基于多智能体技术的大模型自主评估方法、装置、设备及存储介质是由洪万福;王晶;黄在斌设计研发完成，并于2025-07-29向国家知识产权局提交的专利申请。

本一种基于多智能体技术的大模型自主评估方法、装置、设备及存储介质在说明书摘要公布了：本发明提供了一种基于多智能体技术的大模型自主评估方法、装置、设备及存储介质，通过设定基础指标与扩展指标的维度权重生成覆盖多场景、分级多难度的评估任务集；基于该任务集构建提问者、评估者和参考智能体的多智能体评估系统，采用并行交互机制同时向待评估模型与参考智能体发起任务，评估者智能体依据多维度评分标准对比两者输出，并将任务实例、输出结果及评分构建为结构化数据集；通过对该数据集的分析动态优化后续任务集，实现对大模型能力的全面、迭代式评估，解决了现有的评估方式无法全面反映大模型的真实能力水平的问题。

本发明授权一种基于多智能体技术的大模型自主评估方法、装置、设备及存储介质在权利要求书中公布了：1.一种基于多智能体技术的大模型自主评估方法，其特征在于，包括： 获取待评估大模型的应用场景和能力边界，从不同领域提取评估任务并配置难度梯度，并通过设定维度权重分配基础指标与扩展指标，生成包含任务描述、难度等级和评估维度的评估任务集合； 基于所述评估任务集构建多智能体评估系统，包括设置提问者智能体、评估者智能体和参考智能体，其中，提问者智能体接收评估任务集合的任务元数据，并根据难度等级按序分批生成任务实例，以及根据任务描述模板和指标权重对同批实例进行细化，所述任务元数据包括任务ID、描述模板和预期输出格式； 通过所述多智能体评估系统交互评估，其中，所述提问者智能体从所述任务集中生成任务实例并通过行交互机制同时发送给待评估大模型和参考智能体，获取两者的输出结果，所述评估者智能体基于评分标准对两者输出结果进行多维度对比评分，具体为：将待评估大模型输出和参考智能体输出转换为向量表示，计算余弦相似度，根据预设映射规则转换为准确性得分；基于两个输出构建逻辑依赖图，计算逻辑连贯性得分，其中，为有效逻辑关系的数量，为所有逻辑关系的数量；对比待评估大模型输出中的n-gram与语料库，计算创新性得分，其中，为创新性n-gram的数量，为总n-gram数量；根据任务所属类别在维度权重，计算综合得分，其中，为准确性得分的权重，为逻辑连贯性得分的权重，为创新性得分的权重，所述评分标准为评估者智能体根据所述基础指标和扩展指标制定； 根据任务实例、输出结果和评分数据构建结构化数据集，其中，所述结构化数据集包括任务描述、待评估大模型输出、参考智能体输出、各维度评分，所述构化数据集用于分析并基于分析结果优化下一轮任务集的构建。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人厦门渊亭信息科技有限公司，其通讯地址为：361000 福建省厦门市软件园二期望海路61号801单元N8-01；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。