买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉电子科技大学申请的专利一种基于模态联合交互的图像问答方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116756287B 。

龙图腾网通过国家知识产权局官网在2025-10-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310749393.5，技术领域涉及：G06F16/3329；该发明授权一种基于模态联合交互的图像问答方法是由郑旭;张栗粽;高辉;何岳峰;仲文章;刘立建设计研发完成，并于2023-06-21向国家知识产权局提交的专利申请。

本一种基于模态联合交互的图像问答方法在说明书摘要公布了：本发明公开了一种基于模态联合交互的图像问答方法，其包括以下步骤：对图像和问题进行预处理得到对应的图像特征向量和问题高层特征向量；构建图像问答网络并得到模态内单元注意力特征和模态间单元注意力特征；通过模态双向联合交互和残差堆叠式的深度融合对模态内单元注意力特征以及模态间交互注意力特征进行深度融合，得到隐藏层的输出图像特征和输出问题特征；对最后一个隐藏层输出图像特征和输出问题特征进行特征合并得到最终特征；将最终特征通过线性变换映射到多类别向量中进行答案预测。本发明可实现图像和问题特征之间的双向引导，提升模型交互能力；增强跨模态语义空间的信息共享；增强了模型的多模态交互能力；提升了答案分类的效果。

本发明授权一种基于模态联合交互的图像问答方法在权利要求书中公布了：1.一种基于模态联合交互的图像问答方法，其特征在于：包括以下步骤： S1、通过预训练的残差网络对以卷积神经为核心的目标检测网络初始化得到输入图像的动态特征；将输入图像的动态特征进行填充得到图像特征向量； S2、通过预训练的全局词向量模型对问题文本进行单词向量化，得到问题文本特征向量；对问题文本特征向量进行特征化处理，得到问题高层特征向量； S3、构建以模态内单元注意力和模态间交互注意力为核心的图像问答网络；将图像特征向量和问题高层特征向量输入至图像问答网络，得到模态内单元注意力特征和模态间单元注意力特征； S4、通过模态双向联合交互和残差堆叠式的深度融合对模态内单元注意力特征以及模态间交互注意力特征进行深度融合，得到不同隐藏层的输出图像特征和输出问题特征； S5、通过特征堆叠对最后一个隐藏层输出图像特征和输出问题特征进行特征合并，得到最终特征；将最终特征通过线性变换映射到多类别向量中进行答案预测； 所述步骤S3的具体步骤如下： S3‑1、将图像问答网络的模型参数进行初始化，将图像特征向量和问题高层特征向量输入至图像问答网络； S3‑2、对图像问答网络的模型进行训练，将预设的答案类别为训练目标，通过反向传播算法和随机梯度下降对图像问答网络进行训练，对图像问答网络的参数进行调整，得到训练后的图像问答网络；其中，图像问答网络的参数包括可学习的权重矩阵和偏置项； S3‑3、构建图像模态内单元注意力模块和问题模态内单元注意力模块，选取其中一个模态内单元注意力模块，根据公式： 得到查询向量Q、键向量K和值向量V；其中，表示问题的单词数或图像的对象数，表示问题的嵌入维度，X表示维度为 的某一个模态的特征向量，表示将特征向量X转换为多头特征向量；特征向量X包括图像特征向量和问题高层特征向量； S3‑4、根据公式： 得到注意力得分矩阵；其中，表示键向量K的转置矩阵，表示查询向量Q的大小； S3‑5、根据公式： 得到注意力权重矩阵；其中，表示归一化指数函数，R表示实数，MH表示注意力头的个数； S3‑6、将多头特征向量进行转换得到与原始输入相同维度的多头特征向量，根据公式： 得到模态内单元注意力矩阵，即该模态的模态内单元注意力特征；其中，表示维度转换函数，表示初始模态内单元注意力矩阵，表示中间模态内单元注意力矩阵，表示随机失活，表示归一化函数，表示前馈神经网络，表示实现ReLU激活函数，表示输入层到隐藏层的可学习的权重矩阵，表示隐藏层到输出层的可学习的权重矩阵，表示输入层到隐藏层的偏置项，表示隐藏层到输出层的偏置项； S3‑7、重复步骤S3‑3至步骤S3‑6，得到另一个模态的模态内单元注意力矩阵； S3‑8、构建模态间交互注意力，将一个模态的特征作为查询，将另一个模态的特征作为键值，根据公式： 得到注意力权重矩阵；其中，表示一个模态特征的查询向量，表示另一个模态特征的键向量，表示键向量的转置矩阵，表示查询向量的大小，表示另一个模态特征的值向量； S3‑9、根据公式： 得到模态间单元注意力矩阵，即模态间单元注意力特征；其中，表示初始模态间单元注意力矩阵。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人电子科技大学，其通讯地址为：611731 四川省成都市高新区(西区)西源大道2006号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。