杭州电子科技大学林佳获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉杭州电子科技大学申请的专利一种基于多尺度可逆-互注意力机制的多模态图像融合方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119904362B 。
龙图腾网通过国家知识产权局官网在2025-10-24发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411781155.3,技术领域涉及:G06T5/50;该发明授权一种基于多尺度可逆-互注意力机制的多模态图像融合方法是由林佳;颜成钢;陆俊哲;孙垚棋;盛熙淳;高宇涵设计研发完成,并于2024-12-05向国家知识产权局提交的专利申请。
本一种基于多尺度可逆-互注意力机制的多模态图像融合方法在说明书摘要公布了:本发明公开了一种基于多尺度可逆‑互注意力机制的多模态图像融合方法。首先将红外图像与可见光图像送入ResInvNet编码器模块,提取多尺度特征;然后将提取到的红外与可见光多尺度特征送入跨模态特征融合模块,生成融合特征,通过解码器模块输出融合后的图像;构建损失函数优化多模态图像融合模型,最后基于优化后的多模态图像融合模型实现图像融合。本发明ResInvNet可以在模型提取更深层级特征的过程中,尽可能多的保留特征的高频有益信息。跨模态特征融合模块基于BSCA模块和AttenFuse模块,可以高效获取模态间互补的有益特征,为多模态下游任务生成所需的融合图像,进而保证视觉算法的稳定性。
本发明授权一种基于多尺度可逆-互注意力机制的多模态图像融合方法在权利要求书中公布了:1.一种基于多尺度可逆-互注意力机制的多模态图像融合方法,其特征在于,包括以下步骤: 步骤1,将红外图像与可见光图像,送入两个参数共享的基于卷积神经网络和可逆神经网络构建的ResInvNet编码器模块,提取多尺度特征; 步骤2,将提取到的红外与可见光多尺度特征送入基于卷积神经网络和Transformer构建的跨模态特征融合模块,生成融合特征; 步骤3,将融合特征送入由卷积神经网络构建的解码器模块,输出融合后的图像; 步骤4,构建损失函数,用于优化由上述ResInvNet编码器、跨模态融合模块和解码器模块组成的多模态图像融合模型; 步骤5,基于优化后的多模态图像融合模型实现图像融合; 将待融合的红外图像与可见光图像输入优化后的多模态图像融合模型,经过模型推理,输出融合后的图像; 所述ResInvNet编码器模块,包含5个ResInvBlock,串联连接,各级输出按连接顺序分别定义为第0层特征F0至第4层特征F4;所述ResInvBlock对输入特征Fi按通道维度平均拆分成高频特征和低频特征两个部分,分别送入高频分支与低频分支,处理特征的高频与低频部分;其中,上标i指特征输入的层级,范围是0-4五个整数;当i=0时,ResInvBlock的输入为红外图像或可见光图像; 所述高频分支,将高频特征与经卷积映射的低频特征逐像素相加,输出增强后的高频特征其数学表达式如下: 其中,Convs表示卷积块,由2个卷积核为3×3、步长为1、Padding为1的二维卷积、BatchNorm和Relu激活函数串联构成; 所述低频分支基于高频分支输出的增强后的高频特征,对低频特征进行优化,生成增强后的低频特征其数学表达式如下: 其中,是经卷积映射的增强高频特征指导,用于筛选低频特征中有效特征后得到的中间特征,exp表示指数激活函数; 进一步的,将增强后的高频特征与低频特征按通道维度拼接,得到ResInvBlock的输出Fi+1。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人杭州电子科技大学,其通讯地址为:310018 浙江省杭州市钱塘区白杨街道2号大街1158号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励