买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉之江实验室申请的专利一种基于语义点匹配的点云和图像同步方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117011676B 。

龙图腾网通过国家知识产权局官网在2025-10-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310863961.4，技术领域涉及：G06V10/94；该发明授权一种基于语义点匹配的点云和图像同步方法及装置是由黄崇栋;朱永东;黄倩设计研发完成，并于2023-07-14向国家知识产权局提交的专利申请。

本一种基于语义点匹配的点云和图像同步方法及装置在说明书摘要公布了：本发明公开一种基于语义点匹配的点云和图像同步方法及装置，通过将相机拍摄的连续图像输入帧插值模型，对相邻帧图像进行补帧得到插帧图像，然后对得到的图像进行图像语义分割；通过将同频的激光雷达扫描的三维点云数据输入点云语义分割模型，进行点云语义分割；最后将点云分割结果映射到图像坐标系，通过语义点匹配算法来找到与同步时刻相符合且同步性最佳的同步图像。本发明实现了点云与图像数据的毫秒级同步，缩小了数据融合的同步误差，从而提升了下游的自动驾驶车辆在复杂路况下环境感知能力，并具有广泛实用价值。

本发明授权一种基于语义点匹配的点云和图像同步方法及装置在权利要求书中公布了：1.一种基于语义点匹配的点云和图像同步方法，其特征在于，该方法包括如下步骤： 步骤一：车载激光雷达和车载相机固定在车辆形成刚体结构，保持相对静止，在车辆行驶过程中，在采集周期内车载激光雷达和车载相机以相同的频率进行扫描、拍摄，对周围环境进行点云与图像数据的采集，根据采集时刻的时间戳在采集周期内形成连续的点云与图像采集数据； 步骤二：采用图像插帧算法，得到相机拍摄的相邻两帧之间的数张补帧图像，从而形成从当前时刻的前一时刻到当前时刻的后一时刻的时间段内的图像集； 步骤三：采用训练后的图像语义分割模型对步骤二得到的图像集中的图像进行语义分割，得到分割图集合； 步骤四：采用训练后的点云语义分割模型对车载激光雷达扫描得到的点云数据集进行点云分割，得到所有语义点的空间坐标和其类别标签； 步骤五：采用步骤四得到的语义点匹配获得同步时刻的二维图像的分割图，并将匹配准确率最高的分割图对应的源图像作为最终的同步图像； 所述步骤五包括如下子步骤： 5.1在相机的外参矩阵Matext的在行末增加一行0,0,0,1向量，构成4x4大小的方阵；在相机的3x3大小的Matiner的列末增加一列零向量，构成3x4大小的矩阵；其中，Matext＝[rotat3D|trans3D]，Matiner＝trans2D×scaling2D，trans2D为相机的二维平移矩阵，scaling2D为相机的二维缩放矩阵，rotat3D为相机的三维旋转矩阵，trans3D为相机的三维平移列向量； 5.2在ti时刻，对于点云根据点云到图像的映射规则和相机的内外参矩阵Matiner和Matext，得到点云的二维映射projti, 5.3对于分割图segi与点云映射projti，在segi的宽高范围w×h对projti过滤:u＝0uw，v＝0vh，得到与segi的尺寸相同过滤后的点云的二维映射proj′ti； 5.4遍历与segi的尺寸相同过滤后的点云的二维映射proj′ti上的Np个点，对任意点xc,yc在上判断分割图像素，若c类点的映射坐标xc,yc在segi上有xc,yc＝pixc则匹配正确，匹配误差matchc＝0，否则为匹配错误，matchc＝1；对所有在segi范围内的点做完匹配后，计算segi的匹配准确率 5.5对分割图集合的所有元素做关于proj′ti的匹配准确率计算，得到匹配的最高准确率Syncmax，其分割图为segmax，其对应的源图像imgsync即为所求的同步图像。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人之江实验室，其通讯地址为：311121 浙江省杭州市余杭区中泰街道科创大道之江实验室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。