买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安电子科技大学广州研究院;琶洲实验室(黄埔)申请的专利一种问题图像三元组结构化引导的视觉问答方法和装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116401348B 。

龙图腾网通过国家知识产权局官网在2025-08-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310261086.2，技术领域涉及：G06F16/3329；该发明授权一种问题图像三元组结构化引导的视觉问答方法和装置是由谢雪梅;李锦航;韩泽芳;方冕;刘勇设计研发完成，并于2023-03-16向国家知识产权局提交的专利申请。

本一种问题图像三元组结构化引导的视觉问答方法和装置在说明书摘要公布了：本发明涉及了一种问题图像三元组结构化引导的视觉问答方法和装置，该方法包括：获取目标图像和针对目标图像的目标问题；利用第一目标模型提取目标问题的问题全局特征、多个问题属性三元组特征和多个问题关系三元组特征；利用第二目标模型分别提取目标图像的多个图像属性三元组特征；利用目标注意力模型分别确定各个图像属性三元组特征与各个问题属性三元组特征的第一相关度，并将多个第一相关度组成属性注意力权重矩阵；将目标图像属性三元组特征、目标图像关系三元组特征以及问题全局特征进行拼接后输入目标答案分类器中，得到目标问题的答案信息。本方案在保证问题三元组的顺序结构下实现了多模态特征对齐和融合，提高了输出答案的准确度。

本发明授权一种问题图像三元组结构化引导的视觉问答方法和装置在权利要求书中公布了：1.一种问题图像三元组结构化引导的视觉问答方法，其特征在于，所述方法包括： 获取目标图像和针对所述目标图像的目标问题； 利用第一目标模型提取所述目标问题的问题全局特征、多个问题属性三元组特征和多个问题关系三元组特征；所述属性三元组为表征对象的语义的三个字段，所述关系三元组为表征对象的关系的三个字段； 利用第二目标模型分别提取所述目标图像的多个图像属性三元组特征，并利用第三目标模型分别提取所述目标图像的多个图像关系三元组特征； 利用目标注意力模型分别确定各个所述图像属性三元组特征与各个所述问题属性三元组特征的第一相关度，并将多个所述第一相关度组成属性注意力权重矩阵；以及利用目标注意力模型分别确定各个所述图像关系三元组特征与各个所述问题关系三元组特征的第二相关度，并将多个所述第二相关度组成关系注意力权重矩阵； 分别将所述属性注意力权重矩阵与各个所述图像属性三元组特征相乘，得到目标图像属性三元组特征，并分别将所述关系注意力权重矩阵与各个所述图像关系三元组特征相乘，得到目标图像关系三元组特征； 将所述目标图像属性三元组特征、所述目标图像关系三元组特征以及所述问题全局特征进行拼接后输入目标答案分类器中，得到所述目标问题的答案信息； 所述利用第一目标模型提取所述目标问题的问题全局特征、多个问题属性三元组特征和多个问题关系三元组特征，包括： 将所述目标问题切分为多个词元，并将所述多个词元编码为多个特征向量； 将所述多个特征向量输入第一模型的问题编码层，获取所述多个词元之间的语义关系，得到所述目标问题的问题全局特征； 将所述问题全局特征输入所述第一模型的三元组解码层，得到所述目标问题的多个问题属性三元组特征和多个问题关系三元组特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安电子科技大学广州研究院;琶洲实验室(黄埔)，其通讯地址为：510555 广东省广州市黄埔区中新知识城海丝中心B5、B6、B7栋；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。