买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安电子科技大学申请的专利基于特征局部校正和多模态信道稀疏选择提示的红外跟踪方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119068217B 。

龙图腾网通过国家知识产权局官网在2025-11-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411122743.6，技术领域涉及：G06V10/62；该发明授权基于特征局部校正和多模态信道稀疏选择提示的红外跟踪方法是由张向荣;罗仁俊;李鹏;徐宏伟;白昆;曾庆杰;张天扬设计研发完成，并于2024-08-15向国家知识产权局提交的专利申请。

本基于特征局部校正和多模态信道稀疏选择提示的红外跟踪方法在说明书摘要公布了：本发明公开了基于特征局部校正和多模态信道稀疏选择提示的红外跟踪方法，包括以下步骤；步骤1：将多模态视频按照时间顺序截取为多帧静止图像，得到数据集，对于训练阶段和跟踪阶段进行不同操作；步骤2：使用数据集训练微调网络权重参数，得到算法网络权重，在跟踪阶段的网络加载权重时，使用该网络权重参数进行推理；步骤3：加载训练阶段得到的网络权重参数，然后在视频首帧中标注出目标所在位置，将在未来帧中持续跟踪该目标，输出该目标的位置信息。本发明通过提示模块从语义空间两个角度考虑了不同模态特征的内在联系和互补性，提高了提示信息的有效性。通过特征校正模块，有效解决了因空间未对齐造成的特征偏差问题。

本发明授权基于特征局部校正和多模态信道稀疏选择提示的红外跟踪方法在权利要求书中公布了：1.基于特征局部校正和多模态信道稀疏选择提示的红外跟踪方法，其特征在于，包括以下步骤； 步骤1：将多模态视频，即时间上对齐的红外图像视频和可见光图像视频，按照时间顺序截取为多帧静止图像，得到数据集，对于某一个时刻，数据集中包含成对的可见光和热红外图像，对于训练阶段和跟踪阶段进行不同操作； 步骤2：对于训练阶段：训练过程中将数据集输入到网络中，将最终输出与真实标签计算损失，从而得到梯度来更新微调网络权重参数，得到算法网络权重，在跟踪阶段的网络加载权重时，使用该网络权重参数进行推理； 步骤3：对于跟踪阶段：加载训练阶段得到的网络权重参数，然后在视频首帧中标注出目标所在位置，将在未来帧中持续跟踪该目标，输出该目标的位置信息； 所述步骤2具体为： 2.1获取训练图像对：通过抽取以目标为中心的多模态模板和多模态搜索图像，从带标注的多模态视频数据集中获得成对图像帧，这两帧都包含目标，并且最多间隔T帧，所述两帧为后续网络训练需要可见光的模板图和搜索图、红外的模板图和搜索图，这两帧中，其中一帧的可见光和和红外图像作为搜索图，另外一帧的可见光和和红外图像作为模板图；此时网络输入是一对可见光模板搜索图和一对对应的热红外模板搜索图；同时，目标的类别在训练时被忽略，每个图像内的目标比例被归一化，从而保持图像的宽高比； 2.2预处理图像对：在训练的过程中，对于两个多模态模板和多模态搜索图像进行调整、缩放图像，使边界框加上上下文的附加空白具有固定的区域； 2.3PatchEmbedding提取图像Patch特征：对两对多模态模板搜索图进行二维卷积，将会得到可见光模板图特征和可见光搜索图特征，热红外模板图特征和热红外模板图特征； 2.4模态局部特征校正：将热红外特征作为查询Q，可见光特征作为K，V，利用交叉注意力机制权重对V加权，依次得到辅助图特征，最后将辅助图与热红外特征加和得到校正后特征，可见光特征保持不变； 2.5生成提示信息：使用模态稀疏信道选择提示模块，对于第一层提示模块，将可见光特征和校正后的热红外特征作为输入，而对于后续的提示模块，将基础网络输出的特征和上一层提示模块的输出作为输入，将两个特征池化加和后使用不同的线性变化解耦出特征特异的信道特征，拼接后横向求两个输入的信道权重，此外，对于可见光特征，由信道权重加权后还需要使用空间注意力机制再次加权，之后将两个加权后的输入进行加和，得到提示信息； 2.6基础网络前向传播：将步骤2.5中得到的提示信息与对应层的编码器的输出加和，从而构成下一层编码器的输入；得到最终的特征图； 2.7将所述最终的特征图输入输进中心跟踪头，使用中心跟踪头获取目标中心位置、中心偏移量和目标尺寸，通过中心分支获得特征图中的响应，即响应特征图，通过偏移分支获取该中心位置的偏移量，进一步微调目标位置，最后通过尺寸分支获取该中心位置的长和宽； 2.8求出响应特征图与真实特征图的分布差异损失值和预测框和真实框之间中心位置和IOU的损失值并反向传播； 所述步骤2.4中，热红外特征为搜索图特征和模板图特征；可见光特征为搜索图特征和模板图特征； 设计模态局部特征自适应校正模块，该结构主要分为两个部分，第一部分是使用交叉注意力机制，产生辅助特征图，第二部分是校正过程，将辅助特征图与原始红外特征加和，得到校正后特征，通过该结构校准红外局部偏移特征，降低链式传递过程中出现信息累计偏差的可能性； 来自可见光模态和热红外模态，分别表示为和的标记序列构成该模块的输入，首先将两个首层输入，可见光特征和红外特征拆分为{ZRGB,XRGB}和{ZTIR,XTIR}，Z,X分别代表模板图特征和搜索图特征，然后{ZRGB,XRGB}通过GateK·和GateV·后得到： {ZTIR,XTIR}通过GateQ·后得到： 此处的GateK·,GateV·,GateQ·是1×1卷积，通过Q查询K中相似像素，构建模态特征像素相似性矩阵，再与V加权得到辅助特征图； 最后将之与{ZTIR,XTIR}加和拼接后得到矫正后红外特征： HTIR′＝ConcatZTIR+AuxMapZ,XTIR+AuxMapX； 所述步骤2.5中，提示模块12层，每一层的输入由前一层网络的输出和对应层的提示模块的输出加和而来； 模态提示模块插入到骨干网络的多阶段中，两种模态的初始输入标记序列为以及一个包含L层的冻结基础编码器，设计的模态稀疏信道选择提示模块是用这两个输入流学习提示信息，该过程写成： 其中，MCSPl·代表第l层稀疏模态通道选择提示器，Pl+1l＝0,1,...,L-1代表不同层级的提示信息，特别的是，当l＝0时，P0＝HTIR′，即2.4中特征校正模块的输出； 模态稀疏信道选择提示模块包括四个步骤： i特征池化后融合解耦； ii使用稀疏Top-k选择模态显著通道； iii利用横向通道权重对原始特征加权； iv基础网络特征通过空间注意力后与提示特征加和生成多模态提示。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安电子科技大学，其通讯地址为：710071 陕西省西安市雁塔区太白南路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。