北京航空航天大学于海洋获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京航空航天大学申请的专利一种基于双目相机与激光雷达融合的车辆目标检测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119540536B 。
龙图腾网通过国家知识产权局官网在2025-11-04发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411680904.3,技术领域涉及:G06V10/25;该发明授权一种基于双目相机与激光雷达融合的车辆目标检测方法是由于海洋;董承霖;任毅龙;陈思祺;王吉祥设计研发完成,并于2024-11-22向国家知识产权局提交的专利申请。
本一种基于双目相机与激光雷达融合的车辆目标检测方法在说明书摘要公布了:本发明公开了一种基于双目相机与激光雷达融合的车辆目标检测方法,其特征在于,包括以下步骤:获取双目相机一预定时刻下车辆目标的左目图像和右目图像,将所述左目图像和右目图像输入立体匹配网络后输出视差图;将所述伪点云图输入图像语义分割网络,先通过所述图像语义分割网络分割出车辆,然后生成只包含车辆信息的伪点云,通过引入自适应融合因子δ,结合视差预测置ε信度,降低噪声的影响,然后再将真伪点云在数据集进行融合;通过栅格化车辆目标检测网络来检测车辆目标,获得车辆的三维目标框的位置、类别和朝向。这种方法提高了深度估计的精度,伪点云的有效性以及车辆目标检测的精度。
本发明授权一种基于双目相机与激光雷达融合的车辆目标检测方法在权利要求书中公布了:1.一种基于双目相机与激光雷达融合的车辆目标检测方法,其特征在于,包括以下步骤: 第一步,获取双目相机一预定时刻下车辆目标的左目图像和右目图像,将所述左目图像和右目图像输入立体匹配网络后输出视差图, 所述立体匹配网络的计算过程包括: S101,将由双目相机采集的左目图像和右目图像输入到MobileNetV2网络,对所述左目图像和右目图像进行特征提取后,输出左目特征图和右目特征图,所述特征提取的公式为: 其中,Conv表示卷积操作;input表示输入的左目图像和右目图像;H×W×C表示左目特征图或右目特征图; S102,将左目特征图和右目特征图H×W×C输入跨图聚合模块,对于所述左目特征图的一个像素,查找所述像素在所述右目特征图上与所述像素相同坐标处左侧选择D个像素,计算所述左目特征图中的像素与这D个像素的相似性,所述相似性的计算公式:其中,Costp,d表示相似性即匹配代价,也就是所述左目特征图中第p个像素处视差为d的代价值;表示左目特征图,表示右目特征图,d=1,2,3,…,D,D取192;x,y表示第p个像素的坐标,为左目特征图的通道数,为右目特征图的通道数; S103,将S102跨图聚合模块得到的匹配代价输入到代价聚合网络中,得到更新后的匹配代价; S104,保留最终的匹配代价中每个像素在维度上相似性最高的两个值,然后通过函数对这两个像素进行归一化,并对这两个维度进行软聚合得到每个像素的初始视差,再通过视差细分得到全分辨率的视差图; S105,在双目相机中,根据立体视觉的几何成像原理,深度的计算过程为 其中,为焦距;为视差,即点和在轴方向上的差值;Z为深度信息, 获得深度信息后,根据相机的内参,将图像坐标系转换为世界坐标系,最终转换为伪点云图,转换的计算过程为 其中,,,为点云坐标系下的坐标;,是图像坐标系下的坐标;为深度;,为相机的内参; 第二步,将所述伪点云图输入图像语义分割网络,先通过所述图像语义分割网络分割出车辆,然后生成只包含车辆信息的伪点云,通过引入自适应融合因子,结合视差预测置信度,降低噪声的影响,然后再将真伪点云在数据集进行融合,所述融合的计算过程为 其中,为融合后的点云坐标;为真实点云坐标,反射强度;为伪点云坐标;为视差预测置信度;为自适应融合因子,时,时; 第三步,通过栅格化车辆目标检测网络来检测车辆目标,获得车辆的三维目标框的位置、类别和朝向; S301,网格编码器接收融合后的点云,将所述融合后的点云划分为尺寸一致的栅格柱子,每个栅格柱子的截面大小为,并且在方向上无限延伸; 所述网格编码器对每个栅格柱子中的点进行编码,最终输出一个维度为的张量,其中,表示每个点被编码的维度,,表示栅格柱子的个数,,表示每个栅格柱子中点的数量,其中,所述栅格柱子中的每个点都被编码为具有9个维度的向量,为反射强度,为栅格柱子中一个预定点的坐标值,为该点到栅格柱子中所有点的算术几何中心的距离,为该点到栅格柱子中心点的距离; S302,主干部分接收所述网格编码器输出的维度为的张量,基于所述网格编码器提取的初步特征执行进一步的特征提取,然后,利用颈部聚合所述主干部分的特征; S303,检测头接收所述主干部分和颈部输出的特征,进行车辆目标检测后输出车辆目标框的位置、类别和朝向,所述车辆目标框的位置由7个参数定义为,其中,表示车辆目标框中心点的坐标,表示车辆目标框的宽度、长度和高度,表示车辆目标框的偏转角。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京航空航天大学,其通讯地址为:100083 北京市海淀区学院路37号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励