买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州海康威视数字技术股份有限公司申请的专利视觉问答多模态大模型建立方法和装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120012832B 。

龙图腾网通过国家知识产权局官网在2025-08-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510506137.2，技术领域涉及：G06N3/045；该发明授权视觉问答多模态大模型建立方法和装置是由郑仕达;王金设计研发完成，并于2025-04-22向国家知识产权局提交的专利申请。

本视觉问答多模态大模型建立方法和装置在说明书摘要公布了：本发明实施例提出视觉问答多模态大模型建立方法和装置。方法包括：A1、获取第一训练数据集，每一条训练数据包括：至少一训练图像、一复杂提示词和一最佳回答；复杂提示词包括问题，还包括背景文本、约束指令二者中的至少之一；A2、从第一训练数据集中抽取一条训练数据，将该条训练数据中的图像和复杂提示词输入待训练的视觉问答多模态大模型，视觉问答多模态大模型输出预测回答；根据预测回答和该条训练数据中的最佳回答，计算损失值；采用损失值对视觉问答多模态大模型的参数进行调整；返回步骤A2，直至达到训练结束条件。本发明实施例提高了视觉问答的准确度。

本发明授权视觉问答多模态大模型建立方法和装置在权利要求书中公布了：1.一种视觉问答多模态大模型建立方法，其特征在于，该方法包括： A1、获取第一训练数据集，每一条训练数据包括：至少一训练图像、一复杂提示词和一最佳回答；其中，复杂提示词包括问题和约束指令；约束指令为：提问人对回答的描述要求； A2、从第一训练数据集中抽取一条训练数据，将该条训练数据中的图像和复杂提示词输入待训练的视觉问答多模态大模型，视觉问答多模态大模型输出预测回答；根据预测回答和该条训练数据中的最佳回答，计算损失值；采用损失值对视觉问答多模态大模型的参数进行调整； 返回步骤A2，直至达到训练结束条件，此时的视觉问答多模态大模型即为最终使用的视觉问答多模态大模型； 所述复杂提示词通过如下方式得到： 从第一训练数据集中依次抽取一条训练数据，其中，第一训练数据集中的每一条训练数据包括至少一训练图像； 将该条训练数据中的图像输入训练好的图像文本描述多模态大模型，模型输出该图像的文本描述； 从问题能力类型池中随机选择一能力类型；将训练图像的文本描述和该能力类型输入训练好的可用于问题合成的大语言模型中，模型输出预测的问题；其中，问题能力类型池包含所有问题涵盖的所有能力类型； 从约束指令池中随机选择一条或多条约束指令示例，将选择的每一条约束指令示例分别与预测的问题一起输入训练好的可用于约束指令合成的大语言模型，模型依次输出预测的一条或多条约束指令；其中，约束指令池包含不同约束形式下的约束指令示例； 将预测的问题和预测的一条或多条约束指令作为该条训练数据的复杂提示词，将该复杂提示词放入第一训练数据集的该条训练数据中。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州海康威视数字技术股份有限公司，其通讯地址为：310051 浙江省杭州市滨江区阡陌路555号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。