买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京航空航天大学申请的专利基于FPN Swin Transformer与Pointnet++的自动驾驶三维目标检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116403186B 。

龙图腾网通过国家知识产权局官网在2025-07-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310334275.8，技术领域涉及：G06V20/58；该发明授权基于FPN Swin Transformer与Pointnet++的自动驾驶三维目标检测方法是由王源隆;汪建成;江恒涛;陈观迎;时锋;马浩杰;谢泽亮设计研发完成，并于2023-03-31向国家知识产权局提交的专利申请。

本基于FPN Swin Transformer与Pointnet++的自动驾驶三维目标检测方法在说明书摘要公布了：本发明公开了一种基于FPNSwinTransformer与Pointnet++的自动驾驶三维目标检测方法，该方法利用相机和激光雷达获取路况的前视图像和点云信息，通过逆透视变换和投影对应得到融合点云信息的前视图像和鸟瞰图像，将其输入FPNSwinTransformer网络进行特征提取可以得到两种视角下的目标二维检测框和分类结果，通过视锥点云提取工作得到目标的候选点云区域并通过Pointnet++网络进行特征提取可以得到目标的三维边界回归框和分类结果，最后通过综合考虑两个网络下的目标分类结果得到最终的目标分类结果。本发明通过多层次融合图像和点云信息与采用基于二维检测框进行三维边界回归的方法，可以有效解决自动驾驶领域目标检测不全面，目标三维信息检测困难，目标分类结果不准确和鲁棒性差等问题。

本发明授权基于FPN Swin Transformer与Pointnet++的自动驾驶三维目标检测方法在权利要求书中公布了：1.基于FPNSwinTransformer与Pointnet++的自动驾驶三维目标检测方法，其特征在于，包括以下步骤： 步骤1，获取车辆行驶过程中路况的前视图像与激光雷达点云数据； 步骤2，对前视图像进行逆透视变换得到路况的鸟瞰图像，将激光雷达点云分别向前视图像与鸟瞰图像进行投影，得到融合点云特征的前视图像与鸟瞰图像； 步骤3，通过FPNSwimTransformer对融合点云特征的前视图像与鸟瞰图像分别进行特征提取，得到前视视角下的目标二维检测框、目标分类结果以及鸟瞰视角下的目标二维检测框、目标分类结果； 所述FPNSwinTransformer包含SwinTransformer模块和FPN模块； 所述SwinTransformer模块包含PatchPartition模块、以及第一至第四特征提取模块； 所述SwinTransformer模块的构建步骤如下： 步骤3.1.1，构建PatchPartition模块对融合点云特征的图像进行分块，将输入的大小为H×W×3的融合点云特征的图像分块为四个H4×W4×48的图像； 步骤3.1.2，构建第一特征提取模块，对PatchPartition模块得到的H4×W4×48的图像进行特征提取，得到H4×W4×C的特征图； 所述第一特征提取模块由一个LinearEmbeding层与2个连续的SwinTransformerBlock序贯组成； 所述SwinTransformerBlock的构建方式如下：将Transformer中的标准多头自注意力模块替换为基于移动窗口的模块，其他层保持不变，在每个MSA模块和每个MLP之前应用一个LayerNorm层； 步骤3.1.3，构建第二特征提取模块用于提取中层特征，对第一特征提取模块得到的H4×W4×C的特征图进行特征提取，得到H8×W8×2C的特征图； 所述第二特征提取模块由一个PatchMerging层和六个SwinTransformerBlock层序贯组成； 步骤3.1.4，构建第三特征提取模块，对第二特征提取阶段得到的H8×W8×2C的特征图进行特征提取，得到H16×W16×4C的特征图； 所述第三特征提取模块由一个PatchMerging层与六个SwinTransformerBlock层序贯组成； 步骤3.1.5，构建第四特征提取模块，对第三特征提取阶段得到的H16×W16×4C的特征图进行特征提取，得到H32×W32×8C的特征图； 所述第四特征提取模块由一个PatchMerging层与两个SwinTransformerBlock层序贯组成； 所述FPN模块的构建步骤如下： 步骤3.2.1，构建四个Conv2d1×1,s1模块分别对第一至第四特征提取模块得到的特征图进行卷积工作，将第四特征提取模块得到的H32×W32×8C的特征图转变成H32×W32×C的特征图，将第三特征提取模块得到的H16×W16×4C的特征图转变成H16×W16×C的特征图，将第二特征提取模块得到的H8×W8×2C的特征图转变成H8×W8×C的特征图，将第一特征提取模块得到的H4×W4×C的特征图转变成H4×W4×C的特征图； 步骤3.2.2，构建三个上采样工作与融合模块分别对四个Conv2d1×1,s1模块得到的特征图进行尺度变化工作并将相同尺度特征图进行融合，将Conv2d1×1,s1模块得到H32×W32×C的特征图转变成H16×W16×C的特征图并与Conv2d1×1,s1模块得到的H16×W16×C的特征图进行融合，将Conv2d1×1,s1模块得到H16×W16×C的特征图变成H8×W8×C的特征图并与Conv2d1×1,s1模块得到的H8×W8×C的特征图进行融合，将Conv2d1×1,s1模块得到的H8×W8×C的特征图变成H4×W4×C的特征图并与Conv2d1×1,s1模块得到的H4×W4×C的特征图进行融合； 步骤3.2.3，构建四个Conv2d3×3,s1模块分别对三个经过上采样工作与融合模块得到的特征图、以及经过Conv2d1×1,s1模块得到的H32×W32×8C的特征图再进行卷积操作，该卷积操作不会对特征图尺度造成影响； 步骤3.2.4，构建Maxpool1×1,s2模块对四个Conv2d3×3,s1模块得到的特征图中的H32×W32×C的特征图进行池化操作，得到H64×W64×C的特征图； 步骤3.2.5，构建Contact模块对通过四个Conv2d3×3,s1模块得到的H32×W32×8C特征图、H16×W16×C特征图、H8×W8×C特征图、H4×W4×C特征图与通过Maxpool1×1,s2模块进行池化操作得到的H64×W64×C特征图进行融合连接，得到融合连接特征图； 步骤3.2.6，构建FullyContectedLayer对融合连接特征图进行全连接操作，得到图像目标二维检测框、目标分类结果； 步骤4，对前视视角下的目标二维检测框和鸟瞰视角下的目标二维检测框分别进行点云提取工作，得到前视视角下的视锥点云区域和鸟瞰视角下的柱体点云区域： 步骤4.1，基于相机成像原理，根据前视视角下的目标二维检测框得到前视视角下的目标二维检测框向三维空间投射的视锥区域，根据和鸟瞰视角下的目标二维检测框得到鸟瞰视角下的目标二维检测框向三维空间投射的柱体区域； 步骤4.2，考虑相机与激光雷达的内部参数及二者之间的旋转矩阵和平移向量，实现点云从激光雷达坐标系向相机坐标系的坐标转换；若点云位于目标二维检测框向三维空间投射的锥体区域或者柱体区域内，则表示它们能够投影到该目标的二维边界框内，提取这部分点云的信息用于后续对目标的三维边界框的回归；通过点云坐标转换与提取工作分别得到前视视角对应的视锥点云空间区域与鸟瞰视角对应柱体点云空间区域； 步骤5，对每个目标的前视视角对应的视锥点云空间区域和鸟瞰视角对应的柱体点云空间区域进行匹配，通过提取重合空间区域得到目标的候选点云区域： 对每个目标的视锥点云空间区域的点云坐标与柱体点云空间区域的点云坐标进行比对工作，在视锥点云空间区域与柱体点云空间区域内同时出现的点云坐标即为候选点云，所有候选点云组成点云候选区域； 步骤6，对候选点云区域进行目标点云分割后使用Pointnet++提取点云特征，得到空间点云下的目标三维边界回归框与目标分类结果； 步骤7，通过综合考虑前视视角下的目标分类结果、鸟瞰视角下的目标分类结果与空间点云下的目标分类结果，得到目标的最终分类结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京航空航天大学，其通讯地址为：210016 江苏省南京市秦淮区御道街29号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。