买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安电子科技大学;西安交通大学申请的专利基于毫米波雷达与可见光图像融合的目标检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115830423B 。

龙图腾网通过国家知识产权局官网在2025-07-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211597596.9，技术领域涉及：G06V10/80；该发明授权基于毫米波雷达与可见光图像融合的目标检测方法是由刘向丽;范文靖;王志国;李赞;许明辉;付祎;李思远设计研发完成，并于2022-12-12向国家知识产权局提交的专利申请。

本基于毫米波雷达与可见光图像融合的目标检测方法在说明书摘要公布了：本发明公开了一种于毫米波雷达与可见光图像融合的目标检测方法，其实现方法为：对雷达数据进行预处理，得到雷达图像；搭建毫米波雷达与可见光图像融合的目标检测网络，包括特征提取子网络、图像融合子网络以及RetinaNet网络；将经过预处理过的雷达图像和可见光图像输入毫米波雷达与可见光图像融合的目标检测网络进行训练，得到训练好的网络模型；测试集的雷达数据经过同样的预处理之后与可见光图像输入训练好的模型进行测试，得到目标检测结果。本发明相比于单独的图像检测方法，检测精度更高，能获得较好的检测结果，可用于进行目标检测。

本发明授权基于毫米波雷达与可见光图像融合的目标检测方法在权利要求书中公布了：1.一种基于毫米波雷达与可见光图像融合的目标检测方法，其特征在于，对毫米波雷达数据进行预处理生成雷达图像，在目标检测网络中构建雷达与可见光图像融合子网络；该方法的步骤包括如下： 步骤1，对毫米波雷达数据进行预处理生成雷达图像： 步骤1.1，车载雷达在获取雷达传感器接收雷达回波信号数据的同一时刻，车载视觉传感器获得与雷达回波信号数据对应的可见光图像； 步骤1.2，将雷达回波信号数据转换矩阵A，矩阵A中的行代表距离，列代表角度；对矩阵A进行取模后再归一化，得到一个128*128*1大小的矩阵B，对矩阵A进行归一化后得到128*128*2的矩阵C，将矩阵B与矩阵C进行拼接得到矩阵D； 步骤1.3，将矩阵D保存成雷达图像； 步骤2，生成训练集： 将雷达图像与可见光图像均生成json格式的标注文件，将雷达图像、可见光图像及其生成的标注文件组成训练集； 步骤3，构建一个雷达特征提取子网络： 搭建一个10层的特征提取子网络，其结构依次为：第一卷积层，第一批规范化层，第二卷积层，第二批规范化层，第三卷积层，第三批规范化层，第四卷积层，第四批规范化层，第五卷积层，第五批规范化层，将第一至第五卷积层的卷积核大小分别设置为7×7，1×1，1×1，3×3，1×1；卷积核数量分别设置为64，256，64，64，256；将第一至第五批规范化层参用FrozenBatchNorm函数实现； 步骤4，构建可见光特征提取子网络： 搭建一个22层的可见光特征提取子网络，其结构依次为：第一卷积层，第一批规范化层，第二卷积层，第二批规范化层，第三卷积层，第三批规范化层，第四卷积层，第四批规范化层，第五卷积层，第五批规范化层，第六卷积层，第六批规范化层，第七卷积层，第七批规范化层，第八卷积层，第八批规范化层，第九卷积层，第九批规范化层，第十卷积层，第十批规范化层，第十一卷积层，第十一批规范化层；将第一至第十一卷积层的卷积核大小分别设置为7×7，1×1，1×1，3×3，1×1，1×1，3×3，1×1，1×1，3×3，1×1；将第一至第十一卷积层的卷积核数量分别设置为64，256，64，64，256，64，64，256，64，64，256；将第一至第十一批规范化层参用FrozenBatchNorm函数实现； 步骤5，构建雷达与可见光图像融合子网络： 雷达与可见光图像融合子网络的结构依次为：第一多模态融合模块，第二多模态融合模块，第一卷积块，第二卷积块，第三卷积块； 步骤5.1，第一、第二多模态融合模块的结构相同，每个多模态融合模块的结构依次为：第一线性层，第二线性层，第三线性层，第一激活层，第二激活层；将第一多模态融合模块的第一至第三线性层的输出神经元个数均设置为256，将第二多模态融合模块的第一至第三线性层的输出神经元个数分别设置为512，256，256； 步骤5.2，第一卷积块采用Resnet50网络的Stage2结构，第二卷积块采用Resnet50网络的Stage3结构，第三卷积块使用Resnet50网络的Stage4结构；所述的Stage2，Stage3，Stage4结构均为4，6，3个Bottleneck结构串联，每个Bottleneck结构依次为第一卷积层，第一批规范化层，第二卷积层，第二批规范化层，第三卷积层，第三批规范化层； 步骤6，构建目标检测网络： 将雷达特征提取子网络与可见光特征提取子网络并联后，再与图像融合子网络，RetinaNet子网络依次级联，组成毫米波雷达与可见光图像融合的目标检测网络； 步骤7，训练目标检测网络： 将训练集输入到基于毫米波雷达与可见光图像融合的目标检测网络中，利用随机梯度下降算法，迭代更新网络的权重值，优化网络的总损失函数直至其收敛为止，得到训练好的目标检测网络； 步骤8，对目标进行检测： 采用与步骤1相同的处理方法，将车载雷达传感器接收到的雷达回波信号数据进行预处理，得到雷达图像，将雷达图像及雷达回波信号数据同一时刻的车载视觉传感器产生的可见光图像输入到训练好的网络中，输出毫米波雷达与可见光图像融合的目标检测结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安电子科技大学;西安交通大学，其通讯地址为：710071 陕西省西安市太白南路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。