买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉科大讯飞股份有限公司申请的专利一种大语言模型能力评测方法及相关装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121349827B 。

龙图腾网通过国家知识产权局官网在2026-05-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511924007.7，技术领域涉及：G06F11/34；该发明授权一种大语言模型能力评测方法及相关装置是由卢亚迪;杨辉;王杰;殷运鹏;管晓钱;金缘设计研发完成，并于2025-12-19向国家知识产权局提交的专利申请。

本一种大语言模型能力评测方法及相关装置在说明书摘要公布了：本申请公开了一种大语言模型能力评测方法及相关装置，涉及模型评测技术领域，大语言模型能力评测方法包括：获取待评测的大语言模型集中的每个大语言模型针对测试数据集中的每个测试问题生成的答案；利用规则生成大模型为每个测试问题生成对应的答案质量评判规则；将各大语言模型两两组合，将同一模型对针对每个测试问题生成的两个答案组合，得到每个模型对在每个测试问题上对应的答案对；针对每个测试问题，依据该测试问题对应的评判规则，评判每个答案对所包含的两个答案的优劣；根据各答案对的评判结果确定各个大语言模型的能力评测结果。本申请公开的评测方法可实现对于多个大语言模型能力的自动评测，评测效率较高，且评测结果客观、可靠。

本发明授权一种大语言模型能力评测方法及相关装置在权利要求书中公布了：1.一种大语言模型能力评测方法，其特征在于，包括： 获取待评测的大语言模型集中的每个大语言模型针对测试数据集中的每个测试问题生成的答案； 利用规则生成大模型，为每个所述测试问题生成用于评判答案质量的专用评判规则，得到每个所述测试问题对应的专用评判规则； 将各个所述大语言模型两两组合，针对每个所述测试问题，将同一模型对包含的两个大语言模型针对所述测试问题分别生成的答案组合，以得到每个模型对在所述测试问题上对应的答案对； 针对每个所述测试问题，依据所述测试问题对应的专用评判规则，评判每个所述模型对在所述测试问题上对应的答案对所包含的两个答案的优劣； 根据每个所述模型对在每个所述测试问题上对应的答案优劣评判结果，确定各个所述大语言模型的能力评测结果； 其中，所述利用规则生成大模型，为每个所述测试问题生成用于评判答案质量的专用评判规则，得到每个所述测试问题对应的专用评判规则，包括： 针对每个所述测试问题，为所述测试问题构造规则生成prompt，所述规则生成prompt包含所述测试问题以及指示为所述测试问题生成用于评判答案质量的专用评判规则的指令； 将所述规则生成prompt输入规则生成大模型，得到所述规则生成大模型输出的所述测试问题对应的专用评判规则。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人科大讯飞股份有限公司，其通讯地址为：230088 安徽省合肥市高新区望江西路666号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。