哈尔滨工业大学洪晓鹏获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉哈尔滨工业大学申请的专利基于下游计数任务反向优化的多模态图像融合去鬼影方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119579425B 。
龙图腾网通过国家知识产权局官网在2025-11-18发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411513599.9,技术领域涉及:G06T5/50;该发明授权基于下游计数任务反向优化的多模态图像融合去鬼影方法是由洪晓鹏;孟浩梁;王晨浩;尚苗;左旺孟设计研发完成,并于2024-10-28向国家知识产权局提交的专利申请。
本基于下游计数任务反向优化的多模态图像融合去鬼影方法在说明书摘要公布了:本发明提出基于下游计数任务反向优化的多模态图像融合去鬼影方法,所述方法包括:使用扩散融合模型为待融合的每个可见光‑红外图像对合成一张融合图像;通过知识蒸馏,使用融合模态生成模块逼近扩散融合模型的多模态融合能力;在多模态目标计数任务中微调融合模态生成模块;使用微调后的融合模态生成模块重新将可见光‑红外图像对融合为一张融合图像。本发明可将可见光和红外图像合成为一张无鬼影的融合图像,即便在目标密集场景也可良好工作,贴合实际应用场景,合成的融合图像效果优于传统的基于图像配准的去鬼影方法,运算时间也低于传统的去鬼影方法。
本发明授权基于下游计数任务反向优化的多模态图像融合去鬼影方法在权利要求书中公布了:1.基于下游计数任务反向优化的多模态图像融合去鬼影方法,其特征在于,所述方法选择多模态目标计数作为可见光-红外图像融合的下游任务,在下游任务的配置中通过反向传播优化融合模态生成模块,从而实现去除融合模态图像中鬼影的效果;所述方法具体步骤如下: 使用基于可学习融合模态的多模态目标计数方法训练预设的神经网络模型; 使用训练的神经网络模型将可见光和红外模态图像合成为无鬼影的融合图像; 所述预设的神经网络模型通过如下方式训练: 使用扩散融合模型将事先选定的数据集中的每个可见光-红外图像对合成为一张融合模态图像,并保存; 通过知识蒸馏,使用融合模态生成模块来逼近扩散融合模型的多模态图像融合能力; 使用基于扩散融合模型高效克隆的可学习融合模态计数框架,针对多模态目标计数任务,对融合模态生成模块进行微调训练; 基于扩散融合模型高效克隆的可学习融合模态计数框架由下列结构组成:特征提取模块、融合模态生成模块和回归头; 其中,特征提取模块由VGG-19卷积神经网络和两层、六头的Transformer编码器组成,回归头由三层卷积核大小为3×3的卷积神经网络和它们中间的两个ReLU激活层组成; 该计数框架的前向传播过程如下列公式所示: F=gR,T D=ρξR+ξF+ξT 其中,F表示融合模态图像,R和T表示可见光和红外模态图像,D表示计数框架生成的密度图,ξ、ρ和g分别表示计数框架中的特征提取模块,回归头和融合模态生成模块; 针对计数任务微调时,采用的损失函数如下列公式所示: 其中,表示计数损失,M表示样本中的目标总数,zn是该样本中第n个标注点的坐标,·,·表示向量内积操作,表示均值为μ,方差为μ2的高斯分布,D表示计数框架输出的密度图。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人哈尔滨工业大学,其通讯地址为:150001 黑龙江省哈尔滨市南岗区西大直街92号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励