大连理工大学杨鑫获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉大连理工大学申请的专利一种基于RGB和偏振模态融合的汽车目标检测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117218500B 。
龙图腾网通过国家知识产权局官网在2025-10-03发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311127902.7,技术领域涉及:G06V10/80;该发明授权一种基于RGB和偏振模态融合的汽车目标检测方法是由杨鑫;董文;魏小鹏设计研发完成,并于2023-09-04向国家知识产权局提交的专利申请。
本一种基于RGB和偏振模态融合的汽车目标检测方法在说明书摘要公布了:本发明属于计算机视觉领域中的目标检测领域,提出一种基于RGB和偏振模态融合的汽车目标检测方法。该方法首个同时利用RGB和三色AoLPDoLP线索来实现挑战场景下汽车检测,利用偏振模态对汽车材质感知,设计的材质感知记忆模块和多模态特征融合的动态权重分配机制,设计PCDNet算法模型解决了挑战性的交通场景中的汽车检测问题。本发明作为首个在汽车检测方法中使用RGB和偏振信息的方法,解决了挑战性的退化场景条件下的汽车实例检测困难的问题。将汽车区域的独特偏振表现学习记录下来并动态结合RGB和偏振两个模态,生成综合、全面、可靠的上下文语义特征。对比试验证明了本方法在检测精度和检测速度上的优势。
本发明授权一种基于RGB和偏振模态融合的汽车目标检测方法在权利要求书中公布了:1.一种基于RGB和偏振模态融合的汽车目标检测方法,其特征在于,建立PCDNet网络,汽车检测数据集RGB‑PCar包括RGB信息、AoLP信息和DoLP信息,其输入至PCDNet网络中; 所述PCDNet网络包括偏振整合模块PI、两条特征提取分支、材质感知记忆模块MPM、跨域需求查询模块CDDQ、特征金字塔FPN和检测头Head;AoLP信息和DoLP信息经偏振整合模块PI整合为偏振信息;两条特征提取分支分别为偏振处理分支和RGB处理分支,用于提取偏振特征和RGB特征;经特征提取分支提取多级偏振特征后,偏振特征经过材质感知记忆模块MPM获取不同材质区域在偏振属性表现中的差异和联系;RGB特征通过跨域需求查询模块CDDQ获取对偏振特征的引导,通过查询‑响应的方式从偏振特征获取补偿并协同RGB特征自身在通道维度上映射所有通道的相关关系,分配多模态特征融合的权重;最后,经过跨域需求查询模块CDDQ的特征馈入特征金字塔FPN结构交换不同等级的语义特征,并分别送入检测头生成最终的检测结果;所述汽车检测数据集RGB‑PCar构建过程如下: 使用彩色偏振相机记录不同交通场景下的汽车,彩色偏振相机同时在三个颜色通道和四个方向上捕获像素对齐的偏振数据,并且每幅图像中的每一辆车都有对应的专业标注的边界框;所述三个颜色通道分别为R,G和B;所述四个方向分别为与相机所在平面的夹角等于0°、45°、90°、135°;所述汽车检测数据集中的场景包括不同的天气条件、光照条件、交通环境和车辆密度场景;所述偏振整合模块PI包括最大值函数、平均值函数、级联操作层、边界提取操作层、加法操作、乘法操作、最大池化层和卷积层;DoLP信息经平均值函数和最大值函数所得值进行级联操作后,输入至第一卷积层中;DoLP信息经第二卷积层和最大池化层后,与第一卷积层输出进行加法操作,并与AoLP信息进行相乘操作后输入至第一3×3卷积层;DoLP信息原值与经边界提取操作层的输出相加,输入至第二3×3卷积层;第一3×3卷积层和第二3×3卷积层的输出级联后输入至第三3×3卷积层,得到偏振信息Fpol; 所述PI模块表示为: 其中,表示AoLP信息,ρ表示DoLP信息;表示卷积核大小为k×k、步长为s、且带有批正则化处理和SiLU激活函数的卷积层;[·]指的是通道维度上的级联操作;MP是核大小为5的最大池化;E代表使用舒尔算子的边界提取操作;表示像素级的乘法操作;avg和max分别指平均值函数和最大值函数;σ指的是sigmoid激活函数;所述材质感知记忆模块MPM包括材质空间感知记忆模块MSPM和材质通道感知记忆模块MCPM; 所述材质空间感知记忆模块MSPM包括步长为2的连续卷积层和反卷积层;偏振信息Fpol输入至材质空间感知记忆模块MSPM中,通过空间感知记忆模块中的记忆矩阵判断各区域在空间维度上的联系与差异,获得强化空间的偏振特征表示F′pol; 所述材质通道感知记忆模块MCPM包括卷积操作、反卷积操作、全局平均池化层和两个全连接层;强化空间的偏振特征表示输入至材质通道感知记忆模块MCPM中,通过材质通道感知记忆模块中的记忆矩阵判断各区域在通道维度上的联系和差异,获得强化通道的偏振特征表示F″pol; MPM模块表示为:其中,表示卷积核大小为k×k、步长为s、带有批正则化处理和SiLU激活函数的反卷积;是两个全连接层中的记忆矩阵,分别名为m1和m2;GAP为全局平均池化操作;F是偏振信息Fpol;F’是强化空间的偏振特征表示F′pol;所述跨域需求查询模块CDDQ包括空间需求图传递块SDMD和通道权重动态分配块CWDA; 空间需求图传递块SDMD包括通道自注意力层、空间自注意力层、平均池化层和卷积层,通过RGB信息Frgb和材质感知记忆模块处理后的偏振特征计算获得空间注意力图,通过所述空间注意力图向偏振处理分支中的特征进行查询和响应;包括F′pol和F″pol; RGB信息Frgb和材质感知记忆模块处理后的偏振信息输入至空间需求图传递块SDMD,RGB信息Frgb经通道自注意力层获取通道特征Frgb和经过相乘操作后经空间自注意力层获取空间特征Frgb和的相乘值与相乘后,同Frgb相加后的输入至通道权重动态分配块CWDA; 空间特征经平均池化层和卷积层后与材质感知记忆模块处理后的偏振特征相乘,相乘所得值与材质感知记忆模块处理后的偏振信息相加后的输入至通道权重动态分配块CWDA; 其中,上标ca表示经通道自注意力层所得的通道特征;上标sa表示经空间自注意力层所得的空间特征;AP表示核大小为3的平均池化操作;GMP和GAP分别表示全局最大池化和全局平均池化; 所述通道权重动态分配块CWDA包括两个全局平均池化层、全连接层和卷积层;和经全局平均池化层的输出级联,依次经过两个全连接层分为两通道,两通道通过激活函数后,第一通道与相乘,第二通道与相乘;两个通道的相乘值经级联后,输入至卷积层,获得权重融合Ffused; 其中,和为SDMD块的输出,α和β是分别为分配到和上的权重,两个权重经过全连接层的处理后被Softmax函数约束为通道位置上总和为1的非负值;δ为softmax函数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人大连理工大学,其通讯地址为:116024 辽宁省大连市甘井子区凌工路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励