买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉武汉工程大学;武汉烽火技术服务有限公司;烽火通信科技股份有限公司申请的专利基于元组扰动的双模态图像融合方法、装置及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120783175B 。

龙图腾网通过国家知识产权局官网在2025-12-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511292484.6，技术领域涉及：G06V10/80；该发明授权基于元组扰动的双模态图像融合方法、装置及存储介质是由李璇;李文;姚全锋;陈巍维;徐东磊;杜起新;吕建新;韦洋;田欣怡;周华兵设计研发完成，并于2025-09-11向国家知识产权局提交的专利申请。

本基于元组扰动的双模态图像融合方法、装置及存储介质在说明书摘要公布了：本发明提供一种基于元组扰动的双模态图像融合方法、装置及存储介质，涉及图像融合处理技术领域；通过采集跨模态图像组，构建包含编码器、特征融合网络和解码器的模型；基于元组扰动对比学习框架训练编码器，可挖掘跨模态共享与互补特征，通过元组扰动模块构建可学习的正负样本对，避免依赖同一模态，增强泛化性；特征融合网络利用跨模态深层特征进行互补特征融合和多尺度语义聚合训练，提升融合图像质量；多尺度语义聚合解决了细节丢失问题，空间特征校准强化细节，使融合图像保留双模态特性，增强语义一致性；构建组合损失函数，综合像素强度与梯度结构差异优化模型，提高性能与鲁棒性，确保融合图像保留关键信息，视觉效果与准确性更优。

本发明授权基于元组扰动的双模态图像融合方法、装置及存储介质在权利要求书中公布了：1.一种基于元组扰动的双模态图像融合方法，其特征在于，包括如下步骤： 采集两种模态的源图像； 构建双模态图像融合模型，所述双模态图像融合模型包括编码器、特征融合网络和解码器； 基于元组扰动对比学习框架对两种模态的源图像进行跨模态特征提取，并生成正负样本对，并基于所述正负样本对构建用于优化所述编码器的损失函数，基于经损失函数优化后的编码器输出跨模态深层特征； 基于所述跨模态深层特征对所述特征融合网络进行互补特征融合训练，输出跨模态互补融合特征，并基于所述跨模态深层特征对所述特征融合网络进行多尺度语义聚合训练，输出多尺度语义聚合特征； 基于所述跨模态互补融合特征和所述多尺度语义聚合特征对所述解码器进行多级特征融合训练，输出融合图像，完成所述双模态图像融合模型的训练； 基于融合图像与源图像之间的像素强度差异和梯度结构差异构建组合损失函数，基于所述组合损失函数对双模态图像融合模型进行优化，得到优化后双模态图像融合模型； 其中，所述源图像包括可见光图像和红外图像； 所述基于元组扰动对比学习框架对两种模态的源图像进行跨模态特征提取，并生成正负样本对，并基于所述正负样本对构建用于优化所述编码器的损失函数，基于经损失函数优化后的编码器输出跨模态深层特征，包括： 所述元组扰动对比学习框架包括数据增强模块，通过所述数据增强模块对所述可见光图像和红外图像进行数据增强处理，所述数据增强处理包括随机裁剪并调整为固定分辨率的处理过程以及几何与像素增强的处理过程，生成可见光增强视图和红外图像增强视图，表示为： ， 其中，为可见光图像经处理过程处理后得到的可见光增强视图，为可见光图像经处理过程处理后得到的可见光增强视图，为红外图像经处理过程处理后得到的红外图像增强视图，为红外图像经处理过程处理后得到的红外图像增强视图； 所述元组扰动对比学习框架还包括结构相同但参数独立的伪孪生编码网络和伪孪生编码网络，通过和对所述可见光增强视图和所述红外图像增强视图进行全局特征提取，得到可见光全局特征和红外全局特征，表示为： ，， ，， 其中，、为可见光全局特征，、为红外全局特征，为全局平均池化，和均由卷积层、最大池化层和密集连接块构成； 所述元组扰动对比学习框架还包括非线性投影头，通过非线性投影头将所述可见光全局特征和所述红外全局特征映射至损失计算空间z层中，得到可见光映射特征和红外映射特征，表示为： ，， ，， 其中，、为可见光全局特征映射至损失计算空间z层的可见光映射特征，、为红外全局特征映射至损失计算空间z层的红外映射特征，为修正线性函数ReLU； 所述元组扰动对比学习框架还包括元组扰动模块，通过所述元组扰动模块对所述可见光映射特征和所述红外映射特征进行同一模态图像的特征增强处理以及不同模态图像的特征置换处理，生成锚点特征和正负样本对，所述正负样本对包括正样本和负样本， 所述锚点特征为：， 所述正样本为：，表示同一模态图像的特征增强结果， 所述负样本为：、，表示不同模态图像的特征置换结果，表示特征融合； 计算锚点样本与正样本或负样本之间的相似度，根据相似度构建InfoNCE损失函数，通过InfoNCE损失函数对所述编码器进行优化，所述InfoNCE损失函数表示为： ， 其中，表示锚点特征，表示正样本，表示负样本，为余弦相似度函数，为温度参数， 将所述可见光图像和红外图像输入优化后的编码器中，输出跨模态深层特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人武汉工程大学;武汉烽火技术服务有限公司;烽火通信科技股份有限公司，其通讯地址为：430205 湖北省武汉市东湖新技术开发区光谷一路206号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。