买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉广东工业大学申请的专利一种基于特征信息交互的多模态图像融合方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116071281B 。

龙图腾网通过国家知识产权局官网在2026-03-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310165311.2，技术领域涉及：G06T5/50；该发明授权一种基于特征信息交互的多模态图像融合方法是由邸江磊;刘晓宋;邱怀彬;秦玉文设计研发完成，并于2023-02-24向国家知识产权局提交的专利申请。

本一种基于特征信息交互的多模态图像融合方法在说明书摘要公布了：本发明公开了一种基于特征信息交互的多模态图像融合方法，本发明用于解决现阶段图像融合技术面对复杂多模态图像时，特征信息之间缺乏内在联系与交互，导致融合图像场景出现失真的难题，本发明的图像融合方法先将多模态图像X1和X2作为卷积模块ConvM的输入，得到浅层特征图S1和S2，接着分别通过注意力模块AttenM1和卷积模块ConvM，得到中间层特征图M1和M2；随后对中间层特征图分别进行序列编码并乘以相应权重Wq，k，v，再将得到矩阵信息值互换后通过上述注意力和卷积模块，得到深层特征图D1和D2；将各层输出特征图进行拼接后，通过注意力模块AttenM2并由CNN网络重建得到多模态融合图像Y。本发明方法可实现对多模态图像的有效融合，具有信息交互性强、成像精度高等特点。

本发明授权一种基于特征信息交互的多模态图像融合方法在权利要求书中公布了：1.一种基于特征信息交互的多模态图像融合方法，其特征在于，包括以下步骤： S1、使用多模态成像相机拍摄一组多模态图像X1和X2，分别作为卷积模块ConvM的输入，得到浅层特征图S1和S2； S2、将浅层特征图S1和S2分别作为注意力模块AttenM1的输入，接着通过卷积模块ConvM，得到中间层特征图M1和M2；其中注意力模块AttenM1主要由余弦缩放的移动窗口多头自注意力和层归一化组成，并执行跳跃连接构成残差结构；其中余弦缩放的移动窗口多头自注意力表达式为： 上式中Q、K、V为注意力机制中的三个数值矩阵；B为相对位置偏差矩阵；α表示为可学习的标量，应满足α≥0.01，并且不在多头之间共享； S3、将中间层特征图M1和M2分别进行序列编码，乘以权重Wq,k,v分别得到对应的Q、K、V值，接着将两者的Q值和V值进行互换后解码重建回新特征图M’1和M’2，作为注意力模块AttenM1的输入，并通过卷积模块ConvM得到深层特征图D1和D2；其中，获得深层特征图D1和D2的表达式为： [M′1,M'2]＝[FQ2,K1,V2,FQ1,K2,V1]3 [D1,D2]＝[ConvMAttenM1M′1,ConvMAttenM1M'2]4 上式中，f·表示为序列编码函数，F·表示为解码重建函数； S4、将上述步骤每层输出的特征图在通道上进行拼接，得到融合特征图F后接着通过注意力模块AttenM2并执行跳跃连接操作，最后由卷积神经网络CNN通过调整通道数重建得到多模态融合图像Y；其中注意力模块AttenM2主要沿用旋转变换器的架构，窗口多头自注意力用池化层代替，移动窗口多头自注意力采用余弦缩放，多层感知机的层数应小于等于3，激活函数可采用线性整流激活函数或高斯误差线性激活函数； S5、将上述模块构建成一个多模态图像融合的端到端神经网络FNet，并将输出的多模态融合图像Y与输入的多模态图像X1和X2做损失函数Loss，计算Loss值的梯度做反向传播更新网络中各模块的参数，输入N组多模态图像到神经网络FNet中，训练神经网络FNet直至其Loss值达到收敛则停止更新参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人广东工业大学，其通讯地址为：510009 广东省广州市东风东路729号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。