买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海智能网联汽车技术中心有限公司;上海交通大学申请的专利一种融合毫米波雷达与摄像头的路侧感知方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114280611B 。

龙图腾网通过国家知识产权局官网在2025-08-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111313286.5，技术领域涉及：G01S13/931；该发明授权一种融合毫米波雷达与摄像头的路侧感知方法是由王亚飞;殷承良;周志松;吴胜杰;陈炜邦;高瑞金设计研发完成，并于2021-11-08向国家知识产权局提交的专利申请。

本一种融合毫米波雷达与摄像头的路侧感知方法在说明书摘要公布了：本发明涉及一种融合毫米波雷达与摄像头的路侧感知方法，该方法包括以下步骤：步骤1：通过毫米波雷达获取毫米波雷达数据，对其进行有效目标的提取，以去除静止目标和随机噪声；步骤2：通过设置在路侧立杆的摄像头获取目标的图像数据，基于YOLOv3和DeepSORT跟踪算法进行目标检测与跟踪，得到摄像头数据；步骤3：基于融合算法将毫米波雷达数据与摄像头数据进行融合，以实现路侧设备对目标的实时检测、跟踪与定位，与现有技术相比，本发明具有减少计算量、实现数据融合后稳定地进行检测跟踪以及提高定位精度等优点。

本发明授权一种融合毫米波雷达与摄像头的路侧感知方法在权利要求书中公布了：1.一种融合毫米波雷达与摄像头的路侧感知方法，其特征在于，该方法包括以下步骤： 步骤1：通过毫米波雷达获取毫米波雷达数据，对其进行有效目标的提取，去除静止目标和随机噪声； 步骤2：通过设置在路侧立杆上的摄像头获取图像数据，基于YOLOv3和DeepSORT跟踪算法进行目标检测与多目标跟踪，得到摄像头数据； 步骤3：基于融合算法将毫米波雷达数据与摄像头数据进行多传感器融合，以实现路侧设备对目标的实时检测、跟踪与定位； 所述的步骤3中，基于融合算法将毫米波雷达数据与摄像头数据进行融合的过程具体包括以下步骤： 步骤301：对毫米波雷达数据和摄像头数据进行空间融合，将雷达坐标系下的点通过坐标系转换到摄像机对应的像素坐标系下，即可实现两者空间融合； 步骤302：对毫米波雷达与摄像头的时间进行融合，将毫米波雷达数据和摄像头数据的时间戳对准，以进行时间融合，即根据摄像头数据的时间戳，采用自适应算法进行对准，完成对毫米波雷达数据和摄像头数据的时间融合， 步骤303：基于融合算法对毫米波雷达数据和摄像头数据进行融合； 所述的步骤303中，基于融合算法对毫米波雷达数据和摄像头数据进行融合的过程具体包括以下步骤： 步骤303A：通过坐标变换对毫米波雷达数据和摄像头数据进行数据扩展； 步骤303B：对毫米波雷达数据和摄像头数据进行匹配数据初选； 步骤303C：将进行匹配数据初选后的毫米波雷达数据和扩展后的摄像头数据进行数据关联，计算每个毫米波雷达的数据属于每一个检测框的代价，即采用像素坐标系下毫米波雷达数据和摄像头数据之间的马氏距离以及世界坐标系下毫米波雷达数据和摄像头数据之间的欧氏距离作为代价矩阵，并基于匈牙利算法获取全局代价最小的匹配方式； 步骤303D：以视觉跟踪结果为主，匹配毫米波雷达关于该目标的数据，即以摄像头数据为主，将摄像头数据与毫米波雷达数据进行匹配和融合，并基于卡尔曼滤波进行更新，得到融合数据的航迹； 所述的步骤303C中，进行数据关联的过程具体包括以下步骤： 步骤303C1：至少有一个毫米波雷达数据落在每个摄像头输出的检测框内，即摄像头数据的数量M小于等于毫米波雷达数据的数量N，设摄像头数据和毫米波雷达数据的表达式分别为： 其中，为摄像头检测到的目标的ID，为置信度，和分别为检测框左上顶点的横坐标和纵坐标，和分别为检测框右下顶点的横坐标和纵坐标，为类别，为检测框下边界的中心点在世界坐标系下的坐标，为摄像头检测到的目标的数量，即摄像头数据的数量，为毫米雷达波检测到的目标的ID，为毫米雷达波检测到的目标在雷达坐标系下的雷达坐标，和分别为毫米雷达波检测到的目标在雷达坐标系下的纵向速度和横向速度，为毫米雷达波检测到的目标的像素坐标，为毫米雷达波检测到的目标的数量，即毫米雷达波数据的数量； 步骤303C2：计算像素坐标系下毫米波雷达数据和摄像头数据之间的马氏距离： 对于摄像头检测到的第i个目标，若该目标为首次检测到的目标，则以检测框的中心对摄像头数据的像素坐标进行初始化，以单位阵I 2×2对协方差矩阵进行初始化，摄像头数据的像素坐标和协方差矩阵的表达式为： 其中，为检测框的中心坐标，为摄像头检测到的第个目标对应的像素坐标，为摄像头检测到的第个目标对应的协方差矩阵； 若该目标属于现存的融合数据的航迹，则计算观测变量和观测空间的协方差矩阵，由于不涉及速度信息，因此取观测变量的位置信息对应的像素坐标对像素坐标d i 进行赋值，取观测空间协方差矩阵中的位置协方差对协方差矩阵S i 赋值： 其中，为时刻的观测空间协方差矩阵，为的矩阵，表示矩阵的转置； 根据像素坐标d i 和协方差矩阵S i 计算像素坐标系下毫米波雷达数据和摄像头数据之间的马氏距离，马氏距离的计算公式为： 其中，为像素坐标系下毫米波雷达数据和摄像头数据之间的马氏距离，为毫米波雷达检测到的第个目标对应的像素坐标； 步骤303C3：计算世界坐标系下毫米波雷达数据和摄像头数据之间的欧氏距离，欧氏距离的计算公式为： 其中，为世界坐标系下毫米波雷达数据和摄像头数据之间的欧氏距离，为毫米波雷达检测到的第j个目标对应的世界坐标，为摄像头检测到的第i个目标对应的世界坐标；为雷达坐标系的原点到世界坐标系的原点的纵向距离； 步骤303C4：对得到的马氏距离和欧氏距离分别归一化，再进行加权求和，得到第j个毫米波雷达数据匹配第i个摄像头数据的代价，代价的计算公式为： 其中，为第j个雷达数据匹配第i个摄像头数据的代价，λ为马氏距离和欧氏距离之间的权重； 步骤303C5：获取全局代价矩阵，并根据全局代价矩阵基于匈牙利算法得到全局代价最优的匹配结果，对于某一个匹配结果，若对应的代价大于设定的代价阈值，则认为该匹配结果是错误的，并将该匹配结果去掉。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海智能网联汽车技术中心有限公司;上海交通大学，其通讯地址为：201499 上海市奉贤区金海公路6055号22幢；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。