买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京信息工程大学申请的专利一种基于车载相机多模态特征融合方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117253113B 。

龙图腾网通过国家知识产权局官网在2025-11-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311171486.0，技术领域涉及：G06V10/80；该发明授权一种基于车载相机多模态特征融合方法是由陈苏婷;代康;陈志伟;吴旭;汪鸿健设计研发完成，并于2023-09-12向国家知识产权局提交的专利申请。

本一种基于车载相机多模态特征融合方法在说明书摘要公布了：本发明公开了一种基于车载相机多模态特征融合方法，包括步骤1：特征注意力阶段：构建分组特征交叉注意力机制网络，对特征图交叉定位空间信息，提取关键特征，得到特征注意力图，步骤2：特征融合阶段：构建动态特征重定义网络，将特征注意力图输入至动态特征重定义网络，根据输入特征图的相关性获得相似性得分，自适应地加权模态间相对应的特征得到重定义特征图；构建跨模态特征提取网络，将重定义的特征图输入至跨模态特征提取网络，融合另一模态的特征信息，得到双分支网络下一阶段的输出。本发明的多模态融合方法可以更好的利用车载相机的多模态特征信息，使特征提取网络有效学习目标的特征信息。

本发明授权一种基于车载相机多模态特征融合方法在权利要求书中公布了：1.一种基于车载相机多模态特征融合方法，其特征在于，包括如下步骤： S1、特征注意力阶段：构建分组特征交叉注意力机制网络，将RGB和车载相机产生的RGBX图片输入双分支特征提取网络获得第i阶段的输出特征图F_RGB、F_RGBX，然后将特征图F_RGB、F_RGBX输入到分组特征交叉注意力机制网络中，对两个特征图交叉定位空间信息，提取关键特征，得到特征注意力图RGB_Atten和RGBX_Atten；具体包括如下子步骤S101至S103： S101、利用reshape操作将F_RGB、F_RGBX∈RCi×Hi×Wi,变为RG×Hi×Wi； 其中，Ci、Hi、Wi分别是第i阶段输出特征图的通道数、特征图的长度、特征图的宽度，G是特征图的分组的个数； S102、将分组的特征图输入到HW特征压缩注意力网络中，获得含有H、W两个维度特征的空间注意力编码如下式： RGB_HWAtten＝Se_HWF_RGB, RGBX_HWAtten＝Se_HWF_RGBX； 其中，RGB_HWAtten是F_RGB经过HW特征压缩注意力网络产生的注意力编码，Se_HW函数代表对H、W两个维度特征压缩提取的操作； S103、然后将含有空间坐标信息的注意力编码经过空间注意力网络聚合特征图的通道信息得到特征注意力图RGB_Atten和RGBX_Atten，如下式： RGB_Atten＝SpatialRGB_HWAtten RGBX_Atten＝SpatialRGBX_HWAtten 其中，Spatial函数代表对注意力编码Se_Atten的空间注意力的进一步提取操作，最后还原分组RGB_Atten∈RCi×Hi×Wi； S2、特征融合阶段：包括：S2-1构建动态特征重定义网络，将特征注意力图RGB_Atten、RGBX_Atten输入到动态特征重定义网络中，通过RGB_Atten和RGBX_Atten特征注意力图的相关性来获得相似性得分，以自适应地加权模态间相对应的特征，得到重定义特征图R_RGB和R_RGBX；具体包括如下子步骤S2-1.1至步骤S2-1.2： S2-1.1、所述动态特征重定义网络，包括一个3X3的卷积网络，用于将前一阶段的RGB_Atten和RGBX_Atten注意力特征图通道降维为1，然后展平如下式： F_RGB_Atten＝FlattenCon3x3RGB_Atten F_RGBX_Atten＝FlattenCon3x3RGBX_Atten 其中，Con3X3代表3x3的卷积操作，Flatten代表展平操作，F_RGB_Atten∈R1×HiWi表示展平后的特征序列； S2-1.2、通过计算两个展平后的特征序列的余弦相似度得到相似度得分，将相似度得分与输入的模态特征相乘，得到重定义特征图R_RGB和R_RGBX，如下式：R_RGB＝RGB_Atten*Cos_SimlarF_RGB_Atten,F_RGBX_Atten R_RGBX＝RGBX_Atten*Cos_SimlarF_RGB_Atten,F_RGBX_Atten 其中，Cos_Simlar表示计算两序列的余弦相似度得分； 步骤S2-2、构建跨模态特征提取网络，将重定义特征图R_RGB和R_RGBX输入到跨模态特征提取网络中，融合另一模态的特征信息，得到最终的模态融合特征图Fuse_RGB和Fuse_RGBX，用于输入到双分支第i+1阶段的特征提取网络中进一步提取特征，具体为：将重定义特征图R_RGB和R_RGBX输入到跨模态特征提取网络中，通过计算Crossself_attention获得跨模态全局注意力，得到最终的模态融合特征图Fuse_RGB和Fuse_RGBX如下式： Fuse_RGB,Fuse_RGBX＝Crossself_attentionR_RGB,R_RGBX 其中Crossself_attention表示融合R_RGB和R_RGBX的特征信息操作。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京信息工程大学，其通讯地址为：210044 江苏省南京市浦口区宁六路219号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。