浪潮通用软件有限公司张磊获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浪潮通用软件有限公司申请的专利针对大模型的智能评测方法、设备及介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120179794B 。
龙图腾网通过国家知识产权局官网在2025-08-08发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510652924.8,技术领域涉及:G06F16/3329;该发明授权针对大模型的智能评测方法、设备及介质是由张磊;周斐;刘威;程宝君;韩志文;李梦娇设计研发完成,并于2025-05-21向国家知识产权局提交的专利申请。
本针对大模型的智能评测方法、设备及介质在说明书摘要公布了:本申请公开了针对大模型的智能评测方法、设备及介质,涉及大模型领域,方法包括:获取被测模型、裁判模型、对标模型,进行评分定义,进行第一提示词的维护;获取用户基于评分定义的自定义评测信息;根据自定义评测信息,基于预设的评测集中的评测问题,对被测模型、对标模型分别进行提问,分别得到对应的第一输出答案、第二输出答案;通过裁判模型对被测模型进行智能评测。通过裁判模型辅助决策,根据各评测问题进行智能评分,并提供评分依据,生成智能评测结果,辅助人工的决策评分,设置了完整的评测标准,保证了评测过程中的一致性和复杂性降低,同时保证了评测结果的公平性和可靠性。
本发明授权针对大模型的智能评测方法、设备及介质在权利要求书中公布了:1.一种针对大模型的智能评测方法,其特征在于,包括: 获取被测模型、裁判模型、对标模型,并针对所述被测模型进行评分定义,并针对所述裁判模型进行第一提示词的维护; 获取用户基于所述评分定义的自定义评测信息; 根据所述自定义评测信息,基于预设的评测集中的评测问题,对所述被测模型、所述对标模型分别进行提问,分别得到对应的第一输出答案、第二输出答案; 根据所述评测问题、所述第一输出答案、所述第二输出答案,以及所述第一提示词,通过所述裁判模型对所述被测模型进行智能评测; 所述方法还包括: 获取所述裁判模型对所述被测模型的智能评测结果; 若所述智能评测结果中,对所述被测模型的评分分值低于预设结果,则将所述第二输出答案、所述智能评测结果,通过第三提示词输入至所述被测模型中,以使所述被测模型对所述智能评测结果进行对抗,输出评测对抗结果; 将所述评测对抗结果,通过第四提示词输入至所述裁判模型中,使所述被测模型与所述裁判模型针对所述智能评测结果进行对抗对话,直至所述对抗对话的轮次达到预设轮次,或,所述评测对抗结果符合第一预期设置;所述第一预期设置包括承认所述智能评测结果,或,本次评测对抗结果与上一次评测对抗结果的语义相似度高于第一预设程度。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浪潮通用软件有限公司,其通讯地址为:250101 山东省济南市历下区浪潮路1036号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。