西安理工大学宁小娟获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉西安理工大学申请的专利基于联合Transformer与稀疏卷积的点云语义分割方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116778161B 。
龙图腾网通过国家知识产权局官网在2026-04-10发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310724243.9,技术领域涉及:G06V10/26;该发明授权基于联合Transformer与稀疏卷积的点云语义分割方法是由宁小娟;李志寰;陆志伟;吕志勇;金海燕设计研发完成,并于2023-06-19向国家知识产权局提交的专利申请。
本基于联合Transformer与稀疏卷积的点云语义分割方法在说明书摘要公布了:本发明公开了基于联合Transformer与稀疏卷积的点云语义分割方法,首先采用Transformer中的核心注意力机制对原始点云数据进行逐点的全局特征提取,然后将原始点云数据体素化,通过稀疏子流形卷积对体素化后的点云数据进行局部特征提取,最后将提取到的全局特征和局部特征进行融合,得到最终的语义分割结果。本发明解决了现有方法局部特征提取不充分的问题,提高了室内场景语义分割的精度和效率。
本发明授权基于联合Transformer与稀疏卷积的点云语义分割方法在权利要求书中公布了:1.基于联合Transformer与稀疏卷积的点云语义分割方法,其特征在于,首先采用Transformer中的核心注意力机制对原始点云数据进行逐点的全局特征提取,然后将原始点云数据体素化,通过稀疏子流形卷积对体素化后的点云数据进行局部特征提取,最后将提取到的全局特征和局部特征进行融合,得到最终的语义分割结果; 具体按照以下步骤实施: 步骤1,特征嵌入:输入点云数据,使用由两个级联的LBR组成的共享神经网络将原始位置编码和输入特征合并到一个基于坐标的编码模块中; 步骤1.1,输入三维物体的点云数据,其中表示第个点的位置信息,为输入点云中点的个数,包含点云三维坐标信息; 步骤1.2,输入点云先经过Linear层进行线性变换,该层通常包括权重矩阵和偏置项,其计算公式为y=wx+b,其中w是权重矩阵,x是输入数据,b是偏执项,y是输出数据; 步骤1.3,在Linear层后添加Batch-Normalization层; 步骤1.4,在Batch-Normalization层添加ReLU激活函数,对输入数据进行非线性映射,将所有负值置为0,保留所有正值不变; 步骤1.5,将步骤1.4的输出再次经过步骤1.2-步骤1.4处理,得到嵌入特征,为嵌入特征每个点包含的特征维数; 步骤2,计算偏移注意力:将嵌入特征输入到注意力机制模块进行进一步的特征提取,具体为,首先通过线性变换将点云映射到低维特征空间,然后计算每个点与周围点之间的偏移向量,利用偏移向量指导注意力的计算; 步骤2.1,将嵌入特征模块输出经过线性层进行线性变换得到查询Q、关键字K和值V矩阵,对应的计算公式如式1所示: 式1中: 、和——代表共享可学习线性变换层的权重矩阵; ——代表和的维度; 步骤2.2,在得到、和矩阵之后,使用查询矩阵和关键字矩阵通过矩阵点积来计算注意力权重,具体的计算公式如式2所示, 步骤2.3,将注意力权重通过SoftMax算子和L1Norm进行归一化处理得到注意力图,归一化后的结果用表示,具体的计算公式如式3所示, 步骤2.4,将得到的归一化结果和值向量进行加权和,得到偏移注意力的输出特征,具体的计算公式如式4所示, 步骤2.5,将偏移注意力的输出特征和最开始输入的嵌入特征进行相加得到最终的输出特征,具体的计算公式如式5所示, 步骤3,构建残差模块:将偏移注意力的输入与输出相加,从而完成残差模块的构建; 步骤4,全局特征提取:首先线性连接四个残差模块,构成完整注意力机制模块,然后对注意力机制的输出进行线性变换得到点云特征,最后对点云特征进行最大池化操作和平均池化操作,将得到的最大池化特征映射和平均池化特征映射进行合并,得到全局特征; 步骤5,点云数据体素化:对原始输入点云进行坐标归一化,根据体素分辨率确定每个点的体素编号,以体素中每个点的平均特征作为当前的体素特征; 步骤6,局部特征提取:对体素化结果进行稀疏子流形卷积操作,以提取点云局部特征; 步骤6.1,根据体素化数据建立输入哈希表Hashin,将体素网格中数据pin存入哈希表Hashin中,表中vin表示序号,keyin表示对应数据的坐标; 步骤6.2,建立输出哈希表Hashout,对于输入哈希表Hashin中的一组数据Hii=1,2,3……,in,将能够包含到数据点Hi的卷积操作得到的输出张量的坐标pout存入Hashout中,表中vout表示pout对应序号,keyout表示坐标; 步骤6.3,将pout转化到GetOffSetpin,P,保存pout对应的卷积操作中卷积核权重的位置到GetOffSetpin,P中,重复步骤6.3,直到pout中所有的值都对应到GetOffSet中; 步骤6.4,将GetOffSetpin,P转化到RuleBook,记录对应的输入点位置以及卷积结果的输出位置,RuleBook表中第一列记录了GetOffSet的权重结果,count记录了各个卷积权重的数量统计,v_in记录了对应点的输入序号,v_out记录了卷积结果对应的输出序号; 步骤6.5,利用上述步骤得到的RuleBook,首先通过权重结果找到卷积核权重,其次,根据输入的数据点序号,查找输入哈希表找到对应的张量向量,然后根据卷积核权重乘以对应的张量向量得到最后的输出稀疏张量,通过稀疏卷积得到的局部特征; 步骤7,去体素化处理:使用三线性插值上采样方法对步骤6提取到的局部特征进行去体素化处理,将每个体素的特征映射到对应点云中,得到局部特征; 步骤8,特征融合:将步骤4和步骤7中得到的全局特征和局部特征进行拼接融合,经过多个多层感知机处理得到最终语义分割的结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西安理工大学,其通讯地址为:710048 陕西省西安市碑林区金花南路5号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励