买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东大学申请的专利基于Patch到像素的激光雷达和相机图像的跨模态配准方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119863496B 。

龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510232434.2，技术领域涉及：G06T7/33；该发明授权基于Patch到像素的激光雷达和相机图像的跨模态配准方法及系统是由元辉;岳远超;蒋奇;楼剑;李南君设计研发完成，并于2025-02-28向国家知识产权局提交的专利申请。

本基于Patch到像素的激光雷达和相机图像的跨模态配准方法及系统在说明书摘要公布了：本发明涉及基于Patch到像素的激光雷达和相机图像的跨模态配准方法及系统，包括：步骤1：进行数据预处理，将点云投影为两种投影图，包括反射率图与距离图；步骤2：获取投影图和相机图像的Patch级特征及像素级别特征；步骤3：利用Patch到像素的匹配网络来进行特征匹配，估计出投影图和相机图像的像素匹配对；步骤4：将像素匹配点对转换为点云和图像的三维‑二维点对，利用PnP算法从给定的三维‑二维点对中估计变换矩阵，完成配准过程。本发明实现了激光雷达点云与相机图像之间的跨模态配准，在KITTI数据集上配准准确率度可达99％以上。

本发明授权基于Patch到像素的激光雷达和相机图像的跨模态配准方法及系统在权利要求书中公布了：1.一种基于Patch到像素的激光雷达和相机图像的高效跨模态配准方法，其特征在于，包括： 步骤1：进行数据预处理，将点云投影为两种投影图，包括反射率图与距离图； 步骤2：将投影图和相机图像输入到由Python语言构建的卷积神经网络；卷积神经网络输出投影图和相机图像的Patch级特征及像素级别特征； 步骤3：利用Patch到像素的匹配网络来进行特征匹配，Patch级特征首先估计出Patch匹配对，然后利用估计出的Patch匹配对从像素级特征中取出每个Patch对应的像素级别特征；将取出的像素级别特征用于像素级匹配，估计出投影图和相机图像的像素匹配对； 步骤4：将像素匹配点对转换为点云和图像的三维-二维点对，利用PnP算法从给定的三维-二维点对中估计变换矩阵，完成配准过程； 将投影图和相机图像输入到由Python语言构建的卷积神经网络；卷积神经网络输出投影图和相机图像的Patch级特征及像素级别特征；包括： 特征提取网络即由Python语言构建的卷积神经网络分为两个支路，第一支路用于处理反射率图和距离图，第二支路用于处理相机图像；每条支路将提取原图像尺度14的Patch级特征以及和原图像尺度相同的像素级特征； 特征提取网络的前半部分为图像编码器部分，特征提取网络的后半部分为图像解码器部分，图像编码器部分特征的尺度逐渐下采样，图像编码器部分最终生成一个在原图像尺度的132处的高维特征；高维特征传递给图像解码器部分，在图像解码器部分中，特征的尺度逐渐上采样；具体包括： 首先，得到在原图像尺度14大小的Patch级特征其中，DPatch是Patch级特征通道数，H和W为原始图像的高和宽，指数学中的实数集；然后，再通过两层反卷积，得到在原图像分辨率下的像素级特征其中，Dpixel是像素级特征通道数； 第二支路中，将RGB三通道的相机图像输入卷积神经网络，经过五层全卷积网络后，得到128通道的小尺度特征，然后，利用反卷积将小尺度特征进行上采样，经过三层反卷积后，得到256通道的原始相机图像14尺度的Patch级特征，将Patch级特征继续利用反卷积进行上采样，经过两层反卷积后，将尺度恢复到了原始的图像尺度，此时，得到通道数为256的和原始相机图像尺度相同的像素级特征； 第一支路中，首先，分别对反射率图和距离图进行五层全卷积网络的特征提取，得到128通道的小尺度特征，然后，对分别得到的两个小尺度特征进行特征拼接，拼接特征的通道数为256，尺度不变；再次，将得到的拼接特征再次进行全卷积操作，对得到的特征进行反卷积上采样，经过三层反卷积后得到通道数为256，尺度为原始投影图14尺度的Patch级特征；将Patch级特征再次进行两次反卷积上采样得到和原始投影图尺度相同，通道数为256的像素级特征； 至此，获取相机图像和投影图的各自的Patch级特征和像素级特征； 卷积神经网络和匹配网络中，总的损失函数为： total＝LPatch+Lpixel 假设拥有实际对应关系其中包含M个对应项，将实际对应关系中的每个值除以4并取整，从而得到真实的Patch对应关系损失函数的第一部分LPatch表达式如下： 其中，i,j是指对应关系中的每个对应项的值，Pij是指分配矩阵P中第i行第j列对应的值； 对于每一个Patch对应关系，匹配网络计算出M个分配矩阵p；通过将实际对应关系除以4并取余数，在每个分配矩阵p中获得真实的像素对应关系从而得到损失函数的第二部分LPixel，损失函数的第二部分Lpixel表达式如下： 其中，pi表示匹配模块为第i对Patch计算的分配矩阵，表示第i个真实的像素对应关系，表示pi矩阵中对应位置的值。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东大学，其通讯地址为：250100 山东省济南市历城区山大南路27号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。