买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉大连理工大学申请的专利一种基于多模态数据的多目标跟踪方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115810028B 。

龙图腾网通过国家知识产权局官网在2025-12-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211474956.6，技术领域涉及：G06T7/246；该发明授权一种基于多模态数据的多目标跟踪方法是由安毅;吴佳霖设计研发完成，并于2022-11-22向国家知识产权局提交的专利申请。

本一种基于多模态数据的多目标跟踪方法在说明书摘要公布了：本发明属于目标跟踪技术领域，一种基于多模态数据的多目标跟踪方法，包括以下步骤：1对每一帧采集点云和相机图像并融合为彩色点云，2对每一帧利用彩色点云构建高度‑强度‑密度图像，3对每一帧利用彩色点云进行三维目标检测，4利用旋转核相关滤波器进行第t+1帧目标位置预测，5对第t+1帧的检测目标和预测目标进行数据关联，6更新第t+1帧的跟踪目标，7对第t+1帧的未匹配预测目标进行目标保留，8对第t+1帧的未匹配检测目标进行目标重识别，9重复步骤4‑8对下一帧进行处理。本发明利用三维激光点云和相机图像多模态信息建立一个多目标跟踪框架，解决目标遮挡问题，提高多目标跟踪算法的准确度。

本发明授权一种基于多模态数据的多目标跟踪方法在权利要求书中公布了：1.一种基于多模态数据的多目标跟踪方法，其特征在于包含以下步骤： 步骤1、对每一帧采集点云和相机图像并融合为彩色点云，具体包括以下子步骤： a在每一帧，分别用激光扫描仪和相机采集激光点云和相机图像，激光点云和相机图像的几何映射关系，通过公式1进行描述， 其中，表示缩放因子，A表示内参矩阵，[R，t]表示激光扫描仪和相机之间的外参矩阵，依据针孔相机模型通过激光扫描仪和相机标定获得，表示三维激光点在点云坐标系下的坐标，表示该三维点投影到相机图像后在图像像素坐标系下的坐标，表示它们的齐次坐标； b激光扫描仪和相机的视野范围不同，一些超出相机视野的激光点无法投影到成像平面，组成无色点云；位于相机视野内的激光点可以投影到成像平面上并着色，组成彩色点云其中，表示第c个彩色激光点，xc，yc，zc表示第c个彩色激光点在点云坐标系下的坐标，表示第c个彩色激光点的反射强度，Rc＝Ruc，vc，Gc＝Guc，vc，Bc＝Buc，vc表示pc在相机图像中的投影ec＝uc，vc的三基色，nc表示彩色激光点的个数； 步骤2、对每一帧利用彩色点云构建高度-强度-密度HID图像，具体包括以下子步骤： a在点云坐标系xoy平面建立一个二维网格，将彩色点云P投影到二维网格单元中，二维网格单元中的点被定义为，通过公式2进行描述， Cu，v＝{pc|pc∈P，xmin+u-1q≤xc≤xmin+uq， ymin+v-1q≤yc≤ymin+vq}2 其中，u和v分别表示二维网格单元的列号与行号，xmin和ymin分别表示激光点x坐标和y坐标的最小值，q表示二维网格单元的尺寸，u和v的取值范围定义为其中xmax和ymax分别表示激光点x坐标和y坐标的最大值，运算符定义为向上取整，和分别表示二维网格单元u轴和v轴的数值下界； b计算每个二维网格单元的高度特征hu，v，通过公式3进行描述， 其中，zmax和zmin分别是激光点z坐标的最大值和最小值； c计算每个二维网格单元的反射强度特征iu，v，通过公式4进行描述， d计算每个二维网格单元的密度特征du，v，通过公式5进行描述， 其中，Nuv表示二维网格单元Cu，v内点的数目； e设定rh，ri，rd分别表示高度特征、反射强度特征、密度特征的权重，按照rh：ri：rd＝1：2：1的权重处理上述三个特征，以使特征强度达到平衡，并且将它们标准化到0-255的范围内，通过公式6至10进行描述， hidmax＝max{[hu，vrh，iu，vri，du，vrd]}6 hidmin＝min{[hu，vrh，iu，vri，du，vrd]}7 最终得到三个特征图：分别表示高度图、反射强度图和密度图，这三个特征图合并为一个新的三通道特征图，称为高度-强度-密度HID图像； 步骤3、对每一帧利用彩色点云进行三维目标检测，在每一帧，将彩色点云P输入Point-GNN目标检测器中进行三维目标检测，获取检测目标的三维检测框，并将三维检测框投影到xoy平面，获取HID图像中的二维检测框，具体地，将第t帧HID图像中的二维检测框表示为其中，表示第t帧HID图像中的第i个二维检测框，表示第t帧HID图像中二维检测框的个数； 步骤4、利用旋转核相关滤波器RKCF进行第t+1帧目标位置预测，利用第t帧HID图像训练RKCF，进行目标位置预测，得到第t+1帧HID图像中的预测目标，具体包括以下子步骤： a初始化跟踪目标：将第t帧HID图像Ωt中二维跟踪框定义为Bt＝{bts＝uts，vts，lts，wts，γts|1≤s≤nt}，其中，bts表示第t帧HID图像中的第s个二维跟踪框，uts，vts，lts，wts和γts分别表示二维跟踪框的中心坐标、尺寸和方向角，nt表示第t帧HID图像中的二维跟踪框个数，若t＝1，则用第t帧的二维检测框对第t帧的二维跟踪框进行初始化； b在第t帧旋转HID图像：对于每个二维跟踪框bts，以跟踪框中心uts，vts作为旋转中心点，θts为旋转角度对HID图像Ωt进行旋转得到旋转HID图像其中，若0°＜γts≤90°，则θts＝90°-γts，Ωt逆时针旋转；若90°＜γts＜180°，则θts＝90°-γts，Ωt顺时针旋转；若-180°≤γts≤90°，则θts＝-90°-γts，Ωt逆时针旋转；若-90°＜γts＜0°，则θts＝-90°-γts，Ωt顺时针旋转； c在第t帧训练分类器：对于每个二维跟踪框bts，根据其中心坐标uts，vts和尺寸lts，wts的2.5倍对进行图像裁剪得到训练基础样本，对基础样本利用置换矩阵进行循环移位得到训练样本，其中基础样本为正样本，其余为负样本，每个样本都与一个遵循二维高斯分布的输出关联，利用训练样本和对应的输出训练一个分类器； d在第t+1帧旋转HID图像：在第t+1帧，按照步骤2获取HID图像Ωt+1，对于每个二维跟踪框bt+1s，以uts，vts为旋转中心，θts为旋转角将Ωt+1进行旋转，得到旋转HID图像 e在第t+1帧预测目标位置：根据第t帧二维跟踪框bts的中心坐标uts，vts和尺寸lts，wts的2.5倍对进行图像裁剪，得到测试基础样本，将其循环移位得到测试样本，使用子步骤c中训练好的分类器计算预测响应，响应峰值所在的行号a和列号b分别代表跟踪目标在相邻两帧旋转HID图像中沿u轴和v轴方向移动的距离； f把旋转HID图像中预测得到的坐标还原到原始HID图像Ωt+1中，第t+1帧第s个二维跟踪框bt+1s的中心坐标计算，通过公式11进行描述， 由RKCF预测得到的t+1帧的跟踪目标被记为预测目标，其二维预测框表示为其中，为第t+1帧HID图像中的第j个二维预测框，为第t+1帧HID图像中二维预测框的个数； 步骤5、对第t+1帧的检测目标和预测目标进行数据关联：使用第t+1帧的检测框与预测框建立关联代价矩阵其中，为第t+1帧HID图像中二维检测框的个数，为第t+1帧HID图像中二维预测框的个数，mt+1i，j的值由和IOUi，j决定，通过公式12进行描述， 其中，IOUi，j表示t+1帧第i个检测框与第j个预测框的交并比，通过公式13进行描述， 其中，表示t+1帧第j个预测框的预测分数，设定初始值为1，基于关联代价矩阵Mt+1，利用Kuhn-Munkres数据关联算法将第t+1帧的检测目标与预测目标相关联，将检测目标与预测目标划分为未匹配预测目标、未匹配检测目标以及预测-检测目标匹配对； 步骤6、更新第t+1帧的跟踪目标：对于第t+1帧的预测-检测目标匹配对，用检测目标的二维检测框更新预测目标所对应的跟踪目标； 步骤7、对第t+1帧的未匹配预测目标进行目标保留，具体包括以下子步骤： a获得未匹配预测目标的相机图像裁片：定义第t+1帧未匹配预测目标为其中，表示第t+1帧HID图像中的第个未匹配预测目标的二维预测框，表示第t+1帧HID图像中未匹配预测目标的个数，将第t+1帧第个未匹配预测目标的三维边界框投影到第t+1帧相机图像上并裁剪，得到相机图像裁片将第t帧该目标对应的三维边界框投影到第t帧相机图像上并裁剪，得到相机图像裁片 b通过外观相似度分数进行目标保留：利用均值哈希算法计算与的外观相似度分数以判断该未匹配预测目标预测是否正确，如果外观相似度分数说明预测正确，第t帧和第t+1帧中两个目标属于同一个物体，保留t+1帧中的正确预测目标，用其二维预测框更新跟踪目标；如果外观相似度分数则说明预测错误，该目标被移入未成功跟踪目标中，等待进行目标重识别，其中，Ts为目标保留外观分数阈值，预定义Ts＝120； c预测分数计算：为每个预测目标给定一个预测分数，对于正确预测目标，初始预测分数设置为0.5，随着预测次数增加，逐渐降低预测分数，通过公式14进行描述， 其中，δ为下降因子，预定义δ＝0.05，表示第t帧第j个预测框的预测分数； 步骤8、对第t+1帧的未匹配检测目标进行目标重识别，具体包括以下子步骤： a获得第t+1帧未匹配检测目标的相机图像裁片：定义第t+1帧未匹配检测目标为其中，表示第t+1帧HID图像中的第个未匹配检测目标的二维检测框，为第t+1帧HID图像中未匹配检测目标的个数，将第t+1帧第个未匹配检测目标的三维边界框投影到相机图像上并裁剪，得到相机图像裁片 b获得未成功跟踪目标的相机图像裁片：定义未成功跟踪目标跟踪失败前的二维跟踪框其中，为第k个未成功跟踪目标的二维跟踪框，为未成功跟踪目标的个数，对应的相机图像裁片为 c通过外观相似度分数和空间距离分数进行目标重识别：利用均值哈希算法计算与的外观相似度分数如果说明这两个目标属于同一个物体；如果外观相似度分数则使用二者之间的空间距离分数进一步判断，其中Th，Tl分别表示目标重识别外观分数最高阈值和最低阈值，预定义Th＝200，Tl＝160；如果说明这两个目标属于同一个物体，距离阈值其中lm为连续两帧中目标能移动的最大距离，预定义lm＝25，为两个目标之间相差的帧数； d如果判断得到两个目标属于同一个物体，则此未匹配检测目标被视为正确检测目标或重新出现目标，用其二维检测框更新跟踪目标，以便在下一帧继续进行预测；否则，说明它是新出现目标，并用其二维检测框初始化一个新的跟踪目标，此外，如果一个目标连续5帧未成功实现跟踪，则认为该目标永久消失，删除该目标； 步骤9、重复以上步骤4-步骤8对下一帧进行处理，直到跟踪结束。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人大连理工大学，其通讯地址为：116024 辽宁省大连市高新园区凌工路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。