买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东南大学申请的专利一种基于点云和图像特征融合的非结构化道路分割方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115965783B 。

龙图腾网通过国家知识产权局官网在2025-10-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211647922.2，技术领域涉及：G06V10/26；该发明授权一种基于点云和图像特征融合的非结构化道路分割方法是由李旭;冯允佳;倪培洲;张学文设计研发完成，并于2022-12-21向国家知识产权局提交的专利申请。

本一种基于点云和图像特征融合的非结构化道路分割方法在说明书摘要公布了：本发明提出了一种基于点云和图像特征融合的非结构化道路分割方法。首先，利用自动驾驶仿真模拟器CARLA构建非结构化道路场景的数据集。然后，针对点云数据特性设计了用于训练和推理的3D主干网络，针对图像数据的特征设计了用于辅助训练的2D网络。接着，利用知识蒸馏进行点云‑图像特征融合，在保留原有3D特征知识的基础上，充分利用2D特征的纹理和颜色特征作为先验信息辅助训练，利用多模态特征增强3D主干网络。最后，利用自建的非结构化道路场景数据集训练模型，并进行非结构化道路分割。本发明有效解决了当前非结构化道路场景数据集稀缺的问题，并将互补的多模态特征进行有效的提取和融合，进一步提高了非结构化道路分割的准确性和高效性。

本发明授权一种基于点云和图像特征融合的非结构化道路分割方法在权利要求书中公布了：1.一种基于点云和图像特征融合的非结构化道路分割方法，其特征在于，具体包括以下步骤： 1构建非结构化道路场景数据集 构建针对非结构化道路场景的数据集，利用自动驾驶仿真模拟器CARLA搭建非结构化道路场景，按照KITTI数据集格式对采集的数据进行处理；该非结构化道路场景的数据集包括RGB图像、图像的语义分割标签、点云数据、点云的语义分割标签、图像点云标定文件； 2设计3D主干网络 设计基于点云-体素的3D主干网络，输入为激光雷达采集的3D点云数据，该网络能用于训练和推理；具体实现方式包括以下子步骤： 子步骤1：设计体素支路网络，该支路将点云转化为体素进行操作，采用编码器-解码器结构；具体包括： ①设计体素卷积模块；该模块由3D卷积层、批标准化层、LeakyReLU激活函数层组成，其中3D卷积层利用的卷积核大小为2，步长为2； ②设计体素反卷积模块；该模块由3D卷积层、批标准化层、LeakyReLU激活函数层组成，其中3D卷积层利用的卷积核大小为3的卷积核，步长为1； ③设计标准残差模块；该模块由3D卷积层和批标准化层组成，其中卷积核大小为3，步长为1； ④根据子步骤1中①和③设计下采样模块；该模块由一个①中的体素卷积模块和两个③中的残差模块组成； ⑤根据子步骤1中②和③设计上采样模块；该模块由一个②中的体素反卷积模块和两个③中的残差模块组成； ⑥根据上述子步骤1中①～⑤的模块，将所涉及的不同类型的网络模块进行组合，设计体素支路网络模型；通过对比不同网络架构下模型的准确性和高效性，得到最优网络如下： 点云预处理：首先对点云数据进行标准化，将所有点转换为以重心为原点的局部坐标系，并将这些点归一化到单位球中，将点坐标转化至[0,1]；然后将归一化后的点云栅格化，转化为三维体素的形式； 下采样层1：根据步骤1中④设计的下采样模块，先用32个大小为2的卷积核对原始体素做卷积，之后进行批标准化和LeakyReLU激活；然后用32个大小为3的卷积核做卷积，并进行批标准化；最后经过LeakyReLU激活，将原始体素转化为32维的特征向量； 下采样层2：根据步骤1中④设计的下采样模块，先用64个大小为2的卷积核对原始体素做卷积，之后进行批标准化和LeakyReLU激活；然后用64个大小为3的卷积核做卷积，并进行批标准化；最后经过LeakyReLU激活，将体素向量转化为64维的特征向量； 下采样层3：根据步骤1中④设计的下采样模块，先用128个大小为2的卷积核对原始体素做卷积，之后进行批标准化和LeakyReLU激活；然后用128个大小为3的卷积核做卷积，并进行批标准化；最后经过LeakyReLU激活，将体素向量转化为128维的特征向量； 下采样层4：根据步骤1中④设计的下采样模块，先用256个大小为2的卷积核对原始体素做卷积，之后进行批标准化和LeakyReLU激活；然后用256个大小为3的卷积核做卷积，并进行批标准化；最后经过LeakyReLU激活，将体素向量转化为256维的特征向量； 下采样层5：重复下采样层4的操作，得到更精确的256维的特征向量； 上采样层1：根据步骤1中⑤设计的上采样模块，先用256个大小为3的卷积核对原始体素做卷积，之后进行批标准化和LeakyReLU激活；将所得特征向量与下采样层4融合，然后用128个大小为3的卷积核做卷积，并进行批标准化；最后经过LeakyReLU激活，将体素向量转化为128维的特征向量； 上采样层2：根据步骤1中⑤设计的上采样模块，先用128个大小为3的卷积核对原始体素做卷积，之后进行批标准化和LeakyReLU激活；将所得特征向量与下采样层3融合，然后用64个大小为3的卷积核做卷积，并进行批标准化；最后经过LeakyReLU激活，将体素向量转化为64维的特征向量； 上采样层3：根据步骤1中⑤设计的上采样模块，先用64个大小为3的卷积核对原始体素做卷积，之后进行批标准化和LeakyReLU激活；将所得特征向量与下采样层2融合，然后用32个大小为3的卷积核做卷积，并进行批标准化；最后经过LeakyReLU激活，将体素向量转化为32维的特征向量； 上采样层4：根据步骤1中⑤设计的上采样模块，先用32个大小为3的卷积核对原始体素做卷积，之后进行批标准化和LeakyReLU激活；将所得特征向量与下采样层1融合，然后用32个大小为3的卷积核做卷积，并进行批标准化；最后经过LeakyReLU激活，得到更精准的32维特征向量； 子步骤2：设计点云融合支路网络，该支路直接对点云进行操作，设计针对点云序列的上采样层和下采样层；具体包括： ①设计点云卷积模块，卷积数量为3，全部设计为全连接结构； ②设计点云-体素融合模块，用于将点云序列的点和体素进行映射；首先为体素张量中的所有激活点构造一个哈希表，然后遍历点云张量中的所有点，使用每个点体素化坐标作为键，在体素张量中查询相应的索引； ③根据上述子步骤2中①、②模块，将所涉及的不同类型的网络模块进行组合，设计点云融合支路网络模型；通过对比不同网络架构下模型的准确性和高效性，得到最优网络如下： 点云下采样层1：利用子步骤2中①的点云卷积模块，利用全连接、批标准化、ReLU激活函数，将点云序列转化成32维特征向量； 点云下采样层2：利用子步骤2中①的点云卷积模块，利用全连接、批标准化、ReLU激活函数，将点云序列转化成64维特征向量； 点云-体素融合层1：利用子步骤2中②的体素-点云融合模块，将子步骤1中的下采样层5进行转化，并与点云下采样层2进行叠加，得到256维特征向量； 点云上采样层1：利用全连接、批标准化、ReLU激活函数对点云-体素融合层1进行操作，将点云序列转化成64维特征向量； 点云-体素融合层2：利用子步骤2中②的体素-点云融合模块，将子步骤1中的上采样层2进行转化，并与点云上采样层1进行叠加，得到32维特征向量； 点云上采样层2：利用全连接、批标准化、ReLU激活函数对点云-体素融合层2进行操作，将点云序列转化成64维特征向量； 点云-体素融合层3：利用子步骤2中②的体素-点云融合模块，将子步骤1中的上采样层4进行转化，并与点云上采样层2进行叠加，得到32维特征向量，即3D特征，表示为F3D； 3设计2D辅助训练网络 设计的辅助语义分割网络为2D图像网络，输入为RGB相机采集的2D图像数据，该网络采用编码器-解码器结构，仅用于辅助训练；利用透视投影进行图像-点云映射，将像素级特征转化为点级特征；具体实现方式包括以下子步骤： 子步骤1：设计2D特征提取网络，采用语编码器-解码器结构，对RGB图像进行处理，用于辅助训练； ①设计2D卷积层；采用常规的2D卷积，卷积核大小为3，步长为1； ②设计池化层；采用最大池化，采样尺寸为2，步长为2； ③设计dropout层；采用dropout操作，在模型训练阶段的前向传播过程中让某些神经元的激活值以一定的概率停止工作，提升模型的泛化性能力； ④设计2D反卷积层；该层用于将特征图恢复到原始图片大小，采用常规的2D卷积，卷积核大小为3，步长为2； ⑤根据上述子步骤1中①～⑤的模块，将所涉及的不同类型的网络层进行组合，设计2D辅助训练网络；通过对比不同网络架构下模型的准确性和高效性，得到最优网络如下： 下采样层1：根据子步骤1中①～③中的设计，利用32个大小为3的卷积核，步长为1，对输入的RGB图像做卷积；对所得特征图进行批标准化处理，再利用大小为2的池化核，步长为2，进行最大池化操作，得到32维特征图； 下采样层2：根据子步骤1中①～③的设计，利用64个大小为3的卷积核，步长为1，对下采样层1中的32维特征图做卷积；对所得特征图进行批标准化处理，然后进行dropout操作，再利用大小为2的池化核，步长为2，进行最大池化操作，得到64维特征图； 下采样层3：根据子步骤1中①～③的设计，利用128个大小为3的卷积核，步长为1，对下采样层2中的64维特征图做卷积；对所得特征图进行批标准化处理，然后进行dropout操作，再利用大小为2的池化核，步长为2，进行最大池化操作，得到128维特征图； 下采样层4：根据子步骤1中①～③的设计，利用256个大小为3的卷积核，步长为1，对下采样层3中的128维特征图做卷积；对所得特征图进行批标准化处理，然后进行dropout操作，再利用大小为2的池化核，步长为2，进行最大池化操作，得到256维特征图； 上采样层1：根据子步骤1中②～④的设计，利用128个大小为3的卷积核，步长为2，对下采样层4中的256维特征图做反卷积；对所得特征图进行批标准化处理，然后进行dropout操作，将所得特征图与下采样层3中输出的特征图逐像素相加，得到128维特征图； 上采样层2：根据子步骤1中②～④的设计，利用64个大小为3的卷积核，步长为2，对上采样层1中的128维特征图做反卷积；对所得特征图进行批标准化处理，然后进行dropout操作，将所得特征图与下采样层2中输出的特征图逐像素相加，得到64维特征图； 上采样层3：根据子步骤1中②～④的设计，利用32个大小为3的卷积核，步长为2，对上采样层2中的64维特征图做反卷积；对所得特征图进行批标准化处理，然后进行dropout操作，将所得特征图与下采样层1中输出的特征图逐像素相加，得到32维特征图； 子步骤2：设计像素到点的映射模块；采用透视投影，计算点云与图像之间的点到像素映射，将RGB图像的像素级特征映射转换为点级特征，得到点级2D特征，表示为F2D，便于之后的特征融合； 用pi＝xi,yi,zi表示3D点云的坐标，用p'i＝ui,vi表示点云投影到2D图像上的坐标，用K和T分别表示相机的内参矩阵和外参矩阵，能得3D点云投影到2D图像的转换关系如下： 4设计2D特征到3D特征的知识蒸馏网络 利用知识蒸馏，在保留原有3D特征知识的基础上，充分利用2D特征的纹理和颜色特征作为先验信息辅助训练，利用多模态特征增强3D主干网络；具体实现方式包括以下子步骤： 子步骤1：设计特征逼近模块；为方便表达，将2和3中提取的3D特征表示为F3D，2D特征表示为F2D；将F3D输入一个多层感知机MLP，得到与F2D相似的特征，表示为F3D’，从而减小3D特征和2D特征的差异； 子步骤2：设计知识蒸馏网络；将子步骤1中得到特征F3D’分为两路，一路与2D特征进行拼接操作实现多模态特征融合，得到3D2D融合特征，表示为F3D2D；另一路连接回3D支路；对两路支路分别进行处理，具体操作如下： ①将F3D2D输入进一个多层感知机，将所得结果输入进另一个多层感知机，并利用Sigmoid函数激活，将所得权重与上一多层感知机输出结果相乘，再与纯2D特征F2D进行元素级相加，得到增强的3D2D融合特征，表示为F3D2De；将所得结果输入全连接层，输出融合分割结果，该分割结果的损失函数会通过反向传播影响特征F3D’； ②将F3D’与纯3D特征F3D进行元素级相加，得到增强的3D特征，表示为F3De；将所得结果输入全连接层，输出3D分割结果； ③计算子步骤2中①和②中的融合分割结果和3D分割结果之间的KL散度，使3D分割结果向融合分割结果逼近，从而强化3D主干网络； 5网络模型训练 根据所设计的网络，将初始学习率设置为0.01，dropout率设置为0.5，batchsize设置为2，epoch设置为64，利用自建的非结构化道路场景数据集与KITTI数据集进行混合训练，首先利用KITTI数据集对模型进行预训练，得到预训练权重，再利用非结构化道路场景数据集做进一步训练，得到最终的网络权重。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东南大学，其通讯地址为：210096 江苏省南京市玄武区四牌楼2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。