买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉苏州科技大学申请的专利基于跨视图特征融合的3D动态多目标检测方法、系统及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116152800B 。

龙图腾网通过国家知识产权局官网在2025-08-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310149031.2，技术领域涉及：G06V20/64；该发明授权基于跨视图特征融合的3D动态多目标检测方法、系统及存储介质是由钱佳俊;刘仪婷;周锋;李兴通;肖昊;陶重犇设计研发完成，并于2023-02-22向国家知识产权局提交的专利申请。

本基于跨视图特征融合的3D动态多目标检测方法、系统及存储介质在说明书摘要公布了：本发明提供了一种基于跨视图特征融合的3D动态多目标检测方法、系统及存储介质,该3D动态多目标检测方法包括特征提取步骤、特征映射与融合步骤、预选框生成与检测框优化步骤。本发明的有益效果是：本发明融合了激光雷达和摄像头两种传感器的优势，实现自动驾驶领域中的动态多目标检测技术，能够对车辆、行人、骑行的人等多类目标进行准确的识别和定位，该技术兼顾了实时性，能够应用在实际的场景中。

本发明授权基于跨视图特征融合的3D动态多目标检测方法、系统及存储介质在权利要求书中公布了：1.一种基于跨视图特征融合的3D动态多目标检测方法，其特征在于，包括如下步骤： 步骤一，特征提取步骤：包括点云特征提取网络和图像特征提取网络，通过并行的云特征提取网络和图像特征提取网络得到完整的多模态特征； 步骤二，特征映射与融合步骤：特征映射采用逐点对应的方式，得到点云特征与逐点对应的图像特征；特征融合过程首先计算每个点在点云特征和图像特征图中的权重，设点云加权特征为其中LiDARweightmap为点云加权值，FL代表点云特征图，图像特征图为FC，代表逐通道级联，×代表逐点乘积运算，图像加权特征为Cameraweightmap为图像加权值，接着将加权点云特征和加权图像特征进行级联，得到融合特征FRipe； 步骤三，预选框生成与检测框优化步骤包括如下步骤： 步骤1：将融合特征FRipe进行置信度检测，得到定位置信度与分类置信度图； 步骤2：对于特征图中的每一个点，生成两个角度的预选框，包含7个参数x，y,z,h，w，l，r，分别代表坐标轴坐标和预选框的长宽高及偏向角信息； 步骤3：检测框优化，对特征的丰富度进行提升，增强对点云和图像空间的上下文结构信息的感知能力； 点云特征提取网络由划分体素空间、体素特征编码模块和子流型稀疏卷积模块构成，设点云空间沿Z，X，Y坐标轴的范围为H，D，W，采样步长为vH，vD，vW，可得体素集合为划分的体素数量分别用h、d、w表示；设集合c＝cx，Cy，Cz为每个体素的局部质心，即每个体素采样点的坐标均值，则经过编码的体素特征集合Vin表示为T表示矩阵转置，为实数集合，cx、cy、cz为体素的质心坐标，ci为体素中第i个点的空间坐标xi，yi，zi和该点的激光雷达的反射率，t∈0，T]，代表该体素中采样点的数量，Voff表示每个点相对于局部质心C的偏移量；子流型稀疏卷积算法采用空值补零和失真区域清零的方式，保障卷积的实时性和避免卷积过程中出现失真，根据卷积尺度计算公式Ei指输入特征图中的点，Fi指输出特征图与输入特征图对应的点，推导出八倍下采样稀疏卷积后的尺度信息，其中f代表卷积核大小，s代表卷积步长，p为零值填充； 在所述步骤二中，在进行特征映射时，为了准确找到点云与图像之间的对应关系，遍历原始大小的体素，以体素中心点为参考坐标，通过实际情况的相机内外参数与激光雷达的对应关系，找到点云中的点在图像中的对应像素点，若找不到对应像素，则跳过该点；考虑到原始大小的信息和卷积得到的特征图存在八倍的尺度差距，为了防止原始图像中的像素坐标缩小八倍后不是整数，本发明采用双线性插值的方式解决；设Imk*，nk*为原始图像中坐标，Fmk*，nk*为特征图中的坐标，则通过公式可得 其中意为向下取整，i和j为索引范围，mk*和nk*为图像坐标系中第k个点所对应的横纵坐标，bi，j，m，n＝max1-|i-m|，0×max1-|j-n|，0，m代表横坐标，代表经过归一化处理后，四个坐标点到目标点mk*，nk*的权值，代表四个坐标点在图像特征图中的特征向量； 所述步骤3包括： 步骤A：对预选框沿坐标轴均匀采样6×6×6个关键点，并在图像特征图中找到对应的像素点，使用PointNet进行编码，得到预选框相对应的图像特征FCamera； 步骤B：然后对各阶段的稀疏卷积特征进行提取，包含一倍、两倍、四倍、八倍下采样的特征，则各阶段稀疏卷积融合的特征表示为FRaw＝∑m∈MMPmaxSm，其中，Sm代表为m层的体素特征向量集合，P·代表PointNet网络，M·表示多层感知机网络； 步骤C：采取逐通道级联的方式将FRipe、FCamera和FRaw融合，表示为F＝[FRipe，FRaw，FCamera]；对特征图中每一个点选取0°、30°、60°、90°、120°、150°六个角度生成检测框，接着输入框优化网络，对检测框的中心、大小和方向进行残差计算；框优化网络由具有两个分支的MLP网络构成，分别进行分类置信度和定位置信度预测，则第k个ROI区域的分类置信度Gk＝min1，max0，2IoUk-0.5，其中IoUk代表ROI与地面真实值的交互比。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人苏州科技大学，其通讯地址为：215000 江苏省苏州市高新区科锐路1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。