买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京理工大学申请的专利一种基于双流特征融合的三维点云开放场景理解方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119445176B 。

龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411581715.0，技术领域涉及：G06V10/762；该发明授权一种基于双流特征融合的三维点云开放场景理解方法是由许春燕;翁铭澳;张艳;张晓雅;崔振设计研发完成，并于2024-11-07向国家知识产权局提交的专利申请。

本一种基于双流特征融合的三维点云开放场景理解方法在说明书摘要公布了：本发明公开了一种基于双流特征融合的三维点云开放场景理解方法，属于多模态学习领域，包括数据准备，收集三维点云数据V，进行数据标注得到三维点云开放场景理解数据集A，将获得的三维点云开放场景理解数据集A进行数据集划分；构建三维点云开放场景监督信息，构建前景兴趣区和构建开放语义信息，融合双流特征信息；设计包含一个三维点云特征提取器E、预训练的文本特征提取器θtext与多模态判别器D的模型M；训练模型M得到模型M*；在模型M*上进行测试；本发明采用上述一种基于双流特征融合的三维点云开放场景理解方法，实现了在开集上的三维点云场景理解，显著提高了开集语义分割等任务的精度。

本发明授权一种基于双流特征融合的三维点云开放场景理解方法在权利要求书中公布了：1.一种基于双流特征融合的三维点云开放场景理解方法，其特征在于，包括以下步骤： S1、数据准备与数据集划分； S2、构建三维点云开放场景监督信息；包括： S21、构建自底向上的前景兴趣区信息；具体为： 基于采集的二维图像模态，利用滑动窗口或预训练的模型预测前景区域，并通过转换矩阵得到前景区域对应的三维点云坐标范围，其过程表示为： ; ; 其中，代表通过自底向上的方法获取的前景区域集合，代表将自底向上方法获取的前景区域投影至三维空间得到的集合； S22、构建自顶向下的前景兴趣区信息；具体为： 基于采集的三维点云模态，利用预训练模型预测前景区域，通过相机位姿旋转矩阵将三维点云的区域映射到二维图片空间中，其过程表示为： ; ; 其中，和分别表示自顶向下方法获得的三维空间和二维空间前景区域的集合，表示某个三维点云数据的场景； S23、从前景兴趣区构建开放场景语义信息；具体为： 整合获取得到的前景兴趣区与，得到双流的前景区域，并使用预训练图片描述模型获取前景兴趣区域的图片文本描述信息作为开放场景描述标签集合；通过预训练大语言模型获取开放场景描述标签集合中的前景实体名词信息集合，用于构建自底向上与自顶向下的语义原型，表示为： ； ； ； ； 其中，表示在3D空间中的区域；为语义描述信息；为实体名词信息； S24、融合自底向上与自顶向下的双流特征信息；具体为： 将获取得到的双流的前景区域使用预训练的图像编码器获得图像特征，将获取得到的同一实体下的子类特征通过平均的方法建立类原型中心，为建立类的图像特征原型，通过计算图像特征与对应的特征原型之间的余弦距离，筛选开放场景描述标签集合中高质量样本，构建训练集的伪标签语义监督信息，使用前景区域在三维点云空间中对应的关系，建立三维点云与语义监督信息的对应关系，完成三维点云的开放语义特征数据集构建，其过程表示为： ； ； ； 其中，是平均函数，是余弦距离函数，是余弦距离筛选的阈值； S3、设计模型；具体步骤为： S31、整体模型记为，包含一个三维点云特征提取器、预训练的文本特征提取器与多模态判别器，其中采用了CLIP的文本编码器，模型输入为多模态三维点云数据集；三维点云特征提取器接收三维点云数据，输出三维点云特征，表示为： ； 预训练的文本特征提取器用于接收双流融合后的开放场景文本语义监督信息，编码输出为目标区域文本特征； 利用跨模态Transformer来弥补特征分布之间的差距，并且使用注意力机制强化目标区域的特征表达；跨模态Transformer定义为：，，，、、分别表示查询、键和值； ； 其中，，，均为可学习的参数，表示从文本模态到三维点云模态的强化特征； S32、使用对比学习将开放文本描述特征蒸馏至三维点云网络，将强化特征通过多层MLP处理后，与文本特征一起送入到多模态判别器D中，多模态判别器输出强化特征中每个点与文本特征的余弦相似度预测分数，使用交叉熵计算输出与文本特征区域间的匹配关系，定义为： ； ； 其中，为匹配对应的区域的onehot编码向量，是交叉熵损失，计算为： ； 其中，是预测值，是标签真值； 使用对比学习增强两个开放场景特征间的损失，计算为： ； 其中，是开放场景的文本特征中第个特征向量，是强化特征中与文本特征对应的正样本区域，则是当前样本对应的负样本区域，是文本特征的总数，是温度参数； 对于训练集中已知类的物体，使用真实物体标签与交叉熵对已知类学习进行监督，计算为： ； ； 其中，是取输出特征中包含在已知类范围内的特征点，是已知类的相似度预测分数，是对应的区域的onehot编码向量； S33、计算模型M的总训练损失，其中，、和分别是开放文本特征交叉熵损失、对比学习损失和已知类学习损失的权重；使用梯度下降法更新模型M的权重，并重复操作S3若干次以获得在开放场景理解任务下预测性能高的模型； 梯度下降法的过程为：在计算得到的基础上，计算对参数的梯度，并在该梯度方向上更新参数，公式为： ； 其中，表示学习率； S4、训练模型； S5、测试模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京理工大学，其通讯地址为：210094 江苏省南京市玄武区孝陵卫200号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。