买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉清华大学申请的专利融合多视角图像和三维点云的目标跟踪方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115797408B 。

龙图腾网通过国家知识产权局官网在2025-12-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211522027.8，技术领域涉及：G06T7/246；该发明授权融合多视角图像和三维点云的目标跟踪方法及装置是由冯建江;张猛;郭文轩设计研发完成，并于2022-11-30向国家知识产权局提交的专利申请。

本融合多视角图像和三维点云的目标跟踪方法及装置在说明书摘要公布了：本发明公开了融合多视角图像和三维点云的目标跟踪方法及装置，该方法包括：首先融合多视角多模态数据预测出场景中目标的三维位置，然后利用三维检测结果获得目标的三维空间信息和多视角图像中的目标外观特征，计算匹配分数矩阵，最终得到精准的三维目标跟踪结果。本发明使用当前物体的外观特征和历史待恢复轨迹的外观特征匹配进行轨迹修复。本发明的三维目标跟踪方法可以极大消除单一模态跟踪结果中轨迹交换、目标丢失等问题，获得准确度高、连续性好、鲁棒性强的目标长时期跟踪轨迹，为场景感知和安防监控提供便利。

本发明授权融合多视角图像和三维点云的目标跟踪方法及装置在权利要求书中公布了：1.一种融合多视角图像和三维点云的目标跟踪方法，其特征在于，包括以下步骤： 基于多视角的二维图像和三维点云分别得到二维特征图和点云特征图； 将二维特征图和点云特征图融合后得到的多模态特征图，输入至预训练的多模态融合目标检测模型进行检测得到目标检测框；其中，所述目标检测框包括目标轨迹的三维目标检测结果； 根据目标检测框与历史时刻的轨迹跟踪结果的检测框对比结果得到空间位置匹配矩阵，以及对目标轨迹与历史时刻的轨迹跟踪结果的二维图像特征进行计算得到外观特征匹配矩阵，聚合空间位置匹配矩阵和外观特征匹配矩阵得到最终关系度量矩阵； 基于最终关系度量矩阵和预设的匹配算法对所述三维目标检测结果与历史时刻的轨迹跟踪结果进行匹配，根据匹配结果得到当前时刻目标轨迹的跟踪轨迹结果； 所述基于多视角的二维图像和三维点云分别得到二维特征图和点云特征图，包括： 获取多视角的二维图像和三维点云； 利用图像处理网络提取所述多视角的二维图像得到初始特征图，根据不同的相机参数将初始特征图投影到三维鸟瞰图进行拼接融合，以得到多视角融合的二维特征图；以及， 利用点云处理网络将所述三维点云进行时空配准后融合得到多角度稠密点云，并对所述多角度稠密点云进行特征提取得到点云特征图； 所述点云处理网络包括特征提取网络和骨干网络；所述骨干网络包括第一子网络和第二子网络；所述图像处理网络包括卷积神经网络，所述方法，还包括： 将所述多视角的三维点云输入所述特征提取网络进行点云转换得到伪图像，将所述伪图像输入所述第一子网络进行不同空间分辨率特征图的特征提取；将所述不同空间分辨率特征图提取的特征输入所述第二子网络进行反卷积操作后并串联得到所述点云特征图；以及， 将所述多视角的二维图像输入所述卷积神经网络计算多通道特征图，利用多通道特征图的投影变换进行多相机信息聚合，以将多通道特征图投影到三维鸟瞰图进行拼接融合得到所述二维特征图； 所述方法，还包括： 获取多模态特征图的样本数据，利用所述样本数据进行目标检测框的数据标注，利用标注好的数据训练所述多模态融合目标检测模型； 将待进行轨迹跟踪的二维图像和三维点云输入至训练好的多模态融合目标检测模型进行目标轨迹检测，得到每个预测时刻的三维目标检测结果； 所述方法，还包括： 根据当前时刻三维目标检测结果的检测框几何信息和历史时刻匹配得到的轨迹跟踪结果中的检测框几何信息进行匹配分数计算，以得到所述空间位置匹配矩阵； 将三维目标检测框投影至所述多视角的二维图像，并进行目标轨迹与历史时刻的轨迹跟踪结果的外观特征余弦距离计算得到外观特征匹配矩阵；以及， 对所述空间位置匹配矩阵和所述外观特征匹配矩阵进行相加融合，得到当前时刻目标与历史时刻的轨迹跟踪结果匹配的最终关系度量矩阵。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人清华大学，其通讯地址为：100084 北京市海淀区清华园；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。