买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京中科闻歌科技股份有限公司申请的专利一种多模态图表问答大模型的评价测试方法、介质及设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119760369B 。

龙图腾网通过国家知识产权局官网在2025-11-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411808970.4，技术领域涉及：G06F18/21；该发明授权一种多模态图表问答大模型的评价测试方法、介质及设备是由郝艳妮;王庆立;徐楠;李军锋;曹家;罗引;王磊设计研发完成，并于2024-12-10向国家知识产权局提交的专利申请。

本一种多模态图表问答大模型的评价测试方法、介质及设备在说明书摘要公布了：本发明涉及大模型评测领域，特别是涉及一种多模态图表问答大模型的评价测试方法、介质及设备。包括：将判断类测试数据集，输入待评测大模型，以获取判断类模型输出结果。判断类问答对中的问题信息包括对问题本体文本及对回答信息只能是正面或反面信息的提示信息。将所有填空类模型输出结果、选择类模型输出结果及判断类模型输出结果的准确性信息进行统计，生成待评测大模型的执行评价信息。本发明中鉴于多模态大模型对指令的遵循可能存在潜在的变异性，所以在针对低阶任务性能的评价中，使用的指令类型包括从正面和负面角度提出的判断题、填空题和选择题三种题型来对待评测模型进行提问，由此来更加全面的对待评测大模型进行评测。

本发明授权一种多模态图表问答大模型的评价测试方法、介质及设备在权利要求书中公布了：1.一种多模态图表问答大模型的评价测试方法，其特征在于，所述方法包括如下步骤： 获取每一类低阶任务对应的填空类测试数据集、选择类测试数据集及判断类测试数据集；所述填空类测试数据集中每一图表类测试图片对应一组填空类型的问答对；所述选择类测试数据集中每一图表类测试图片对应一组选择类型的问答对；所述判断类测试数据集中每一图表类测试图片对应一组判断类型的问答对；低阶任务为侧重于具体、细节导向的查询，寻求或比较图表中精确的数据点，涉及直接的事实信息检索的问答任务； 将填空类测试数据集中的每一图表类测试图片及对应问答对中的问题信息，输入待评测大模型，以获取每一图表类测试图片对应的填空类模型输出结果； 将每一图表类测试图片对应的填空类模型输出结果与对应问答对中的回答信息，输入GPT4o中进行匹配，以生成每一图表类测试图片对应的填空类模型输出结果的准确性信息； 将判断类测试数据集中的每一图表类测试图片及问答对中的问题信息，输入待评测大模型，以获取每一图表类测试图片对应的判断类模型输出结果；所述判断类测试数据集中的问答对中的问题信息包括对问题本体文本及对回答信息只能是正面或反面信息的提示信息； 将选择类测试数据集中的每一图表类测试图片及问答对中的问题信息，输入待评测大模型，以获取每一图表类测试图片对应的选择类模型输出结果； 使用正则表达式，获取每一图表类测试图片对应的选择类模型输出结果或判断类模型输出结果与对应问答对中的回答信息进行匹配，以生成每一图表类测试图片对应的选择类模型输出结果或判断类模型输出结果的准确性信息； 将每一类低阶任务对应的所有填空类模型输出结果、选择类模型输出结果及判断类模型输出结果的准确性信息进行统计，生成待评测大模型对每一类低阶任务的执行评价信息。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京中科闻歌科技股份有限公司，其通讯地址为：100190 北京市海淀区北四环西路9号楼7层717室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。