山东海量信息技术研究院李仁刚获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉山东海量信息技术研究院申请的专利一种视觉问答任务处理方法、系统、电子设备及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114780768B 。
龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210465781.6,技术领域涉及:G06F16/532;该发明授权一种视觉问答任务处理方法、系统、电子设备及存储介质是由李仁刚;李晓川;郭振华;赵雅倩;范宝余设计研发完成,并于2022-04-29向国家知识产权局提交的专利申请。
本一种视觉问答任务处理方法、系统、电子设备及存储介质在说明书摘要公布了:本申请公开了一种视觉问答任务处理方法、系统、电子设备及存储介质,所属的技术领域为人工智能技术,用于实现高效的视觉问答任务处理。上述视觉问答任务处理方法包括:将图像检测特征、问句文本特征和分类字段进行特征融合得到综合特征,并将综合特征输入综合特征编码器,得到图像特征段、文本特征段和图文权重;利用图像特征段、文本特征段和图文权重初始化异质图,根据异质图中包含的图文特征之间的注意力关系构造特征修正器;利用特征修正器对图像特征段和文本特征段进行修正,并根据修正结果中分类字段的位置确定预测向量,根据预测向量确定视觉问答任务对应的答案。本申请能够提高视觉问答任务处理精度和效率。
本发明授权一种视觉问答任务处理方法、系统、电子设备及存储介质在权利要求书中公布了:1.一种视觉问答任务处理方法,其特征在于,包括: 接收视觉问答任务,并根据所述视觉问答任务确定目标图像和问句文本; 从所述目标图像中提取图像检测特征,从所述问句文本中提取问句文本特征; 对所述图像检测特征进行图像特征编码,对所述问句文本特征进行文本特征编码,将图像特征编码结果和文本特征编码结果进行拼接融合,得到图文融合特征,将所述图文融合特征与分类字段进行特征融合得到综合特征;所述分类字段是初始化一个固定的向量来表示的;将所述综合特征输入综合特征编码器,得到图像特征段、文本特征段和图文权重;其中,所述图文权重包括图文向注意力权重和文图向注意力权重;所述图文向注意力权重为图像特征对文本特征的注意力权重,所述文图向注意力权重为文本特征对图像特征的注意力权重; 生成所述视觉问答任务对应的异质图,所述异质图包括视觉节点和文本节点;将所述图像特征段中的每一图像特征依次存入对应的视觉节点,以便初始化所述异质图的视觉节点;将所述文本特征段中的每一文本特征依次存入对应的文本节点,以便初始化所述异质图的文本节点;构造N×M的零矩阵;其中,N为视觉节点的数量,M为文本节点的数量,所述零矩阵的横坐标表示图像特征,所述零矩阵的纵坐标表示图像特征;对所述图文向注意力权重在文本方向进行最大值定位,得到与每一图像特征关联程度最大的文本特征,并将图像特征在所述目标图像上的坐标设置为关联程度最大的文本特征的虚拟坐标;将所述文本特征的虚拟坐标与所有图像特征在所述目标图像上的坐标进行匹配,并将匹配命中的坐标在所述零矩阵上对应的元素设置为1,得到先验滤波矩阵;将所述图文权重对应的矩阵与所述先验滤波矩阵相乘,得到边初始化矩阵,以便初始化所述异质图的边;其中,初始化所述异质图的过程包括节点初始化和边初始化,节点初始化包括视觉节点初始化和文本节点初始化; 根据初始化后的所述异质图中包含的图文特征之间的注意力关系构造特征修正器;所述特征修正器包括多个级联的修正交互层,每一所述修正交互层包括第一图神经更新单元和第二图神经更新单元,所述第一图神经更新单元用于实现图文特征聚合,所述第二图神经更新单元用于实现文图特征聚合;所述特征修正器保留所述图像特征段和所述文本特征段中的有效信息; 利用所述特征修正器对所述图像特征段和所述文本特征段进行修正,并根据修正结果中所述分类字段的位置确定预测向量,根据所述预测向量确定所述视觉问答任务对应的答案。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人山东海量信息技术研究院,其通讯地址为:250001 山东省济南市济南高新技术开发区国家信息通信国际创新园;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励