买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉吉林大学申请的专利基于点云数据与多视图图像数据融合的3D目标检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115512132B 。

龙图腾网通过国家知识产权局官网在2026-02-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211250323.7，技术领域涉及：G06V10/44；该发明授权基于点云数据与多视图图像数据融合的3D目标检测方法是由王国锋;秦贵和;晏婕;张钟翰;侯广哲;王坤鹏;张自展;冯瑶;杨立峰;王文轩设计研发完成，并于2022-10-12向国家知识产权局提交的专利申请。

本基于点云数据与多视图图像数据融合的3D目标检测方法在说明书摘要公布了：本发明涉及一种基于点云数据与多视图图像数据融合的3D目标检测方法，属于计算机视觉技术领域。包括从Nuscenes数据集中获取点云数据及多视图图像数据；生成点云BEV特征和图像BEV特征，输入图像及点云融合网络处理生成图像和点云融合特征，得到初始预测边界框及生成最终的目标边界框。优点是通过将图像及点云数据转化为统一的BEV表示，能较大程度的保留物体的几何结构和语义密度，方便的进行图像和点云的融合处理；基于注意力机制自适应软关联的二次融合，能获得对于图像质量退化的鲁棒性。

本发明授权基于点云数据与多视图图像数据融合的3D目标检测方法在权利要求书中公布了：1.一种基于点云数据与多视图图像数据融合的3D目标检测方法，其特征在于，包括下列步骤： 步骤1、从Nuscenes数据集中获取点云数据及多视图图像数据； 步骤2、将所述点云数据输入点云BEV特征提取网络处理生成点云BEV特征、同时将所述多视图图像数据输入图像BEV特征提取网络处理生成图像BEV特征： 步骤3、将所述的点云BEV特征及图像BEV特征输入图像及点云融合网络处理生成图像和点云融合特征； 步骤4通过所述点云BEV特征，生成每个类：车辆类、行人类、摩托车类的热力图，选择所有类别的前10个候选项作为初始对象查询，候选项的位置和特征用于初始化查询位置和查询特征，同时将点云BEV特征作为键及值输入第一层Transformer 解码层，经过前馈网络FFN独立解码为目标框，从而得到初始预测边界框；具体包括： 通过步骤2所获得点云BEV特征，经过DLA网络Deep Layer Aggregation进行特征提取，DLA网络中包含4 个不同尺度的图像特征提取模块，其次对得到的特征使用反卷积操作进行上采样以增大分辨率，然后根据上采样后的特征图生成每个类：车辆类、行人类、摩托车类的热力图，对于每个类别选择前10个候选项作为初始对象查询，每一个候选项的热力图的峰值位置为目标的中心点，再利用每个峰值区域的目标特征回归得到目标二维包围框的长度与宽度，将目标二维包围框的位置和特征用于初始化查询位置和查询特征，利用多层感知机MLP将查询位置嵌入到与查询特征维度一致的位置编码中，将位置编码和查询特征逐元素进行加和得到的特征作为查询、键、值输入多头注意力层Multi‑Head Attention，注意力按如下公式计算： ； 其中softmax为归一化函数，为K的维度，T为转置操作； 经过残差连接标准化层ADDNorm，残差连接可以在层数加深时仍然能进行很好的训练，之后经过标准化处理，将数据标准化到Relu激活函数的作用区域，使激活函数更好的发挥作用，之后将输出结果与查询位置逐元素进行加和后作为查询，同时将点云BEV特征作为键及值输入多头注意力层Multi‑Head Attention，再经过残差连接标准化层ADD Norm处理后，经过前馈层Feed Forward，前馈层是一个两层的全连接层，先进行线性变换，然后Relu非线性变换，再进行线性变换，之后再接残差连接标准化层ADDNorm，最后经过前馈全连接层FFN独立解码为目标框，从而得到初始预测边界框； 步骤5将所述初始边界框作为对象查询，初始边界框的位置和特征作为查询位置和查询特征、同时将所述图像和点云融合特征作为键及值输入第二层Transformer解码层，进行点云和图像特征的二次融合，再经过前馈网络FFN，生成最终的目标边界框； 其中将第一层Transformer解码层输出的初始预测边界框的位置和特征初始化第二层的位置编码和查询特征，之后将位置编码和查询特征逐元素进行加和得到的特征作为查询、键、值输入多头注意力层Multi‑Head Attention后，经过残差连接标准化层ADD Norm处理，将输出与位置编码再次加和后作为查询，同时将图像与点云融合特征作为键及值输入多头注意力层Multi‑Head Attention，再经过残差连接标准化层ADDNorm处理后，经过前馈层Feed Forward，之后再接残差连接标准化层ADDNorm，最后经过前馈全连接层FFN独立解码为目标框，从而得到最终的3D目标边界框。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人吉林大学，其通讯地址为：130012 吉林省长春市前进大街2699号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。