买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京航空航天大学申请的专利基于Transformer的双分支互补语义线检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115908912B 。

龙图腾网通过国家知识产权局官网在2025-12-19发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211429951.1，技术领域涉及：G06V10/764；该发明授权基于Transformer的双分支互补语义线检测方法是由童超;马伯乐;王煜设计研发完成，并于2022-11-14向国家知识产权局提交的专利申请。

本基于Transformer的双分支互补语义线检测方法在说明书摘要公布了：语义线对于场景感知与场景理解等高级视觉任务具有重要意义。由于能够利用简单的线结构为图像场景赋予直观的视觉解释，语义线检测任务近年来受到了更多的关注。然而现有的语义线检测方法存在模型难以端到端优化、正负类别样本数量不平衡以及缺少全局建模导致线语义关联性低的问题。为解决上述问题，本发明以Transformer模型作为主体结构，设计并实现了基于Transformer的双分支互补语义线检测模型及互补检测方法。该方法的整体检测流程可分为三个阶段：1多尺度图像特征的提取与利用深度霍夫变换的空间变换2由粗粒度到细粒度的双分支解码3实现热图预测方法和参数回归方法的语义线互补检测。

本发明授权基于Transformer的双分支互补语义线检测方法在权利要求书中公布了：1.基于Transformer的双分支互补语义线检测方法，其特征在于可以实现对线语义上下文进行局部建模和全局交互,可以实现更全面地捕获语义线并且可以为端到端监督学习训练优化过程提供帮助，包括以下步骤： 步骤1、使用模型编码器提取多尺度图像特征，并利用深度霍夫变换将深度特征表示由图像空间转换至霍夫参数空间，本步骤具体包括： 步骤1.1骨干网络输入原始图像，经过四阶段特征编码后得到一组多尺度特征图； 步骤1.2完成图像特征提取步骤后，通过扩展传统图像处理领域中的霍夫变换方法得到的深度霍夫变换操作，此时需要设定量化间隔，将连续取值的线参数量化至离散空间； 步骤1.3使用深度霍夫变换操作对图像特征进行空间变换，以便在后续解码流程中更紧凑地表示线结构语义信息； 步骤1.4在量化的过程同时计算量化级数，其中，深度霍夫变换对各层特征图采用固定的角度量化级数以及逐层增加的距离量化级数； 步骤1.5对于任意一条直线，其对应的图像特征在深度霍夫变换后的参数空间特征图中被聚集至点，其中为位置索引，为直线对应的量化后的线参数；最终，将经过深度霍夫变换的输出通过变换得到霍夫参数空间中的多尺度特征图，其中，表示深度霍夫变换，为多尺度特征图； 步骤2、由粗粒度到细粒度的双分支解码；在获得霍夫参数空间中的多尺度特征图之后，利用模型解码器从最高层级的粗粒度特征图开始解码，并向下逐层迭代接收汇聚更细粒度的语义信息；从整体上看，解码器具有双分支结构，分别称为语义内容分支和语义查询分支；从局部上看，这两个分支在解码器的每个层级中分别由语义内容模块和语义查询模块堆叠构建而成；本步骤具体包括： 步骤2.1语义内容模块以Transformer块作为主体，用于挖掘特征中包含的有价值的语义内容信息，本模块具体包括： 步骤2.1.1在语义内容模块设计了一种双侧区域注意力机制，以替代Transformer块原本使用的多头自注意力机制，提升其在处理密集特征表示上的性能和效率； 步骤2.1.2双侧区域注意力模块直接接收参数空间特征图作为输入，并按照流程执行双侧区域特征生成，其目的是为每条隐式候选线汇聚双侧区域特征信息，形成一组可以分别描述线结构左侧、右侧区域特征的双侧区域特征图，首先生成高斯加权特征图； 步骤2.1.3将得到的每张高斯加权特征图，按参考轴拆分为左右两部分区域特征，得到拆分区域特征图；之后将各区域特征聚集为一个像素点表示；再将以不同列为参考轴计算的区域聚集特征在列的维度上拼接，构成与参数空间特征图同尺度的双侧区域特征图； 步骤2.1.4采用余弦相似度，其中表示双侧区域特征图位置索引，表示向量的模，和为双侧区域特征生成流程最终得到的一组双侧区域特征图，每个像素点特征的含义为其对应线结构的双侧区域语义信息；用该相似度来衡量双侧区域的语义相似度，从而对比双侧区域语义信息的异质性程度；该过程为双侧区域特征图中的每个像素位置计算了其对应线结构双侧区域的语义相似度，相似度越高则代表左右两部分区域语义差异程度越小； 步骤2.1.5通过计算双侧区域注意力图，其中和为双侧区域特征生成流程最终得到的一组双侧区域特征图；在获得双侧区域注意力图后，采用一个简单高效的注意力加权方法对参数空间特征图计算注意力加权融合结果，其中表示按元素乘运算； 步骤2.1.6除了使用双侧区域注意力机制替代多头自注意力机制以外，语义内容模块还向标准Transformer块中由全连接层构建的前馈神经网络中加入了深度卷积； 步骤2.1.7语义内容模块的最后一部分与Transformer块保持一致，由跳跃连接和层归一化组成； 步骤2.2语义查询模块则以另一种解码方式实现对参数空间特征图的线结构特征提取；其主要通过学习一组线查询嵌入作为候选线代理，借助交叉注意力机制在特征图中查询并汇聚其感兴趣的区域特征，最终通过参数回归的方式直接预测语义线参数； 步骤2.2.1语义内容模块首先接收来自于对应层级模型编码器输出的霍夫参数空间特征图，经解码后得到语义内容中间特征表示，并与前一层解码器输出的线查询解码特征和线查询嵌入一同作为语义查询模块的输入，其中表示线查询总数； 步骤2.2.2经语义查询模块解码后，得到更新的线查询解码特征以及高斯先验交叉注意力产生的注意力图； 步骤2.2.3然后，为了促进双分支网络之间的信息交流以及更充分地利用监督信号，提升模型的泛化能力，模型解码器采用注意力融合方法在解码过程中为语义内容中间特征表示引入互补信息；注意力融合方法采用在通道维度上的拼接操作将语义内容中间特征表示与注意力图进行拼接，其意义是将线查询在特征图上的关注区域信息补充给语义内容中间特征表示； 步骤2.2.4使用基于特征金字塔网络的方法将不同解码层输出的语义内容解码特征融合在一起，形成多尺度的、具有丰富高级语义与空间细节信息的解码特征表示，相邻解码层的融合过程为，其中表示上采样操作，使用双线性插值方法将前一层特征图尺度上采样对齐于当前层特征图尺度，表示不同解码层输出的语义内容解码特征，表示语义内容解码特征；最终模型解码器的输出包含双分支解码结果，即经过四个解码层得到的语义内容解码特征与线查询解码特征 步骤3、语义线互补检测作为模型整体检测流程的最后一个阶段，承担结果预测、结果互补、线参数逆映射这些后处理步骤；基于模型双分支解码器输出的语义内容解码特征与线查询解码特征所具备的不同语义性质与含义，在预测阶段分别使用热图预测方法和参数回归方法进行预测，并对应设计了热图预测头和参数回归头，本步骤具体包括： 步骤3.1在结果预测过程中，模型为热图预测任务和参数回归任务分别配备了热图预测头与参数回归头；对于热图预测任务而言，可视为对特征图中的每个像素执行二分类任务，预测头采用由卷积层构成的两层感知机； 步骤3.2通过选取热图预测阈值作为预测正负样本的划分标准，并连通所有预测为正的相邻样本点形成若干连通区域，计算各连通区域的质心坐标和对应概率作为预测语义线的参数与置信度结果；通过将热图中的所有预测结果形成预测语义线的参数集合和置信度结果集合，即可作为语义内容分支输出的最终检测结果；同时，在热图预测任务中，在给定真实热图标签的情况下，可以采取经典的二分类交叉熵损失，除此以外，考虑到真实热图标签中正负样本数量比例差距悬殊且正样本存在一定的聚集性，而交叉熵损失是对各像素预测结果独立计算而得，是一种区域无关的损失，因此还需添加区域相关的Dice损失作为补充； 步骤3.3对于参数回归任务而言，利用两个三层感知机分别为所有线查询预测线参数与置信度，由线查询解码特征直接预测得出的参数坐标是其基于参考点的相对位置坐标，因此还需与参考点坐标相加来获取绝对位置坐标；在参数回归任务中，利用二分图匹配算法，对于由线查询预测结果和真实语义线标签构成的二分图寻求一个最佳匹配，在该匹配中包含与真实标签总体相关程度最高的个线查询；二分图构造完成后，使用匈牙利算法计算得到该图的最大权匹配；之后基于最优置换函数，可以为线查询预测的语义线参数和置信度分别计算L1距离损失和Focal损失； 步骤3.4双分支网络均采用各自解码所得的特征独立地完成语义线检测任务，因此检测得到的结果势必存在一定差异；在双分支网络完成语义线检测任务后，首先将检测结果合并至同一集合之中，，，其中和表示双分支语义线检测结果的并集，，，，分别表示热图预测方法和参数回归方法预测得到的语义线参数和置信度； 步骤3.5参考目标检测任务中利用非极大值抑制算法去除冗余边界框的思路，通过修改算法中的抑制判定条件，该算法同样可用于抑制邻域内相靠近的语义线参数坐标，从而去除重复的语义线检测结果； 步骤4、通过应用参数化映射函数的逆映射，将语义线参数转换回原始图像空间，即可获得最终的语义线检测结果，至此完成全部的检测任务。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京航空航天大学，其通讯地址为：100191 北京市海淀区学院路37号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。