买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉国网冀北电力有限公司信息通信分公司;国家电网有限公司申请的专利一种用于电力系统上的模型推理效果的评估方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119903311B 。

龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411861366.8，技术领域涉及：G06F18/21；该发明授权一种用于电力系统上的模型推理效果的评估方法及装置是由那琼澜;于然;李信;陈重韬;邢海瀛;马跃;彭柏;金燊;杨艺西;邵博文;崔彭滔;李欣怡;王森;王艺霏;张海明;姚艳丽;曲洪泽;姜蕴洲;温馨;徐子绪设计研发完成，并于2024-12-17向国家知识产权局提交的专利申请。

本一种用于电力系统上的模型推理效果的评估方法及装置在说明书摘要公布了：本申请公开了一种用于电力系统上的模型推理效果的评估方法及装置，涉及电力野外救援技术领域。本申请的主要技术方案为：对于在电力系统上对电力数据执行推理操作的大语言模型，对于模型构建多个评价指标，任意选取至少一个评价指标进行组合得到目标评价指标集合；再结合实际应用场景为该目标评价指标集合去创建评价维度，从而实现在这样评价维度基础之上为目标评价指标集合去构建测试题目，并且每个测试题目都是有预置正确答案的；将与测试题目所需的目标电力数据输入模型进行处理，输出由模型给出的推理结果数据，通过将推理结果数据与每个测试题目的预置正确答案进行比较，并且进行评测，从而得到对模型推理效果的评估结果。

本发明授权一种用于电力系统上的模型推理效果的评估方法及装置在权利要求书中公布了：1.一种用于电力系统上的模型推理效果的评估方法，其特征在于，所述方法包括： 对所述模型构建多个评价指标，每个所述评价指标对应一个第一评价维度，不同所述评价指标各自对应的所述第一评价维度不存在信息交叉；所述模型为在电力系统上对电力数据执行推理操作的大语言模型； 从所述多个评价指标中选出至少一个评价指标，组成目标评价指标集合； 在所述目标评价指标集合中，确定所包含的目标评价指标和每个所述目标评价指标对应的第一评价维度； 在每个所述第一评价维度上扩展第一语义信息； 基于不同所述第一评价维度上得到的所述第一语义信息，与不同预置应用场景进行结合，以构建多个第二语义信息； 根据每个所述第二语义信息，构建对应的第二评价维度； 将所述第二评价维度作为对所述目标评价指标集合的评价维度，所述目标评价指标集合对应至少一个第二评价维度，所述第二评价维度为结合实际应用场景所创建的评价维度； 对所述目标评价指标集合构建测试题目，所述测试题目用于在所述第二评价维度上测试所述模型的推理效果，每个所述测试题目对应一个预置正确答案； 获取所述测试题目对应所需的目标电力数据； 利用所述模型对所述目标电力数据进行处理，以输出推理结果数据； 通过利用所述测试题目对应的所述预置正确答案对所述推理结果数据进行评测，以输出对所述模型的推理效果的评估结果； 对于所述模型处理的历史数据来源，获取对所述历史数据来源的第一评估结果； 对于所述模型自身的设计架构，获取对所述设计架构的第二评估结果； 对于所述模型对应的历史应用场景，获取对所述历史应用场景的第三评估结果； 综合所述第一评估结果、所述第二评估结果和所述第三评估结果，作为对所述模型在电力数据上推理能力的参考评估因素。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人国网冀北电力有限公司信息通信分公司;国家电网有限公司，其通讯地址为：100051 北京市西城区枣林前街32号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。