买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉安徽大学申请的专利一种基于Transformer的跨模态特征融合与精炼的目标跟踪方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120852473B 。

龙图腾网通过国家知识产权局官网在2025-11-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511321894.9，技术领域涉及：G06T7/246；该发明授权一种基于Transformer的跨模态特征融合与精炼的目标跟踪方法是由周云;王伟杰;谭春雨设计研发完成，并于2025-09-16向国家知识产权局提交的专利申请。

本一种基于Transformer的跨模态特征融合与精炼的目标跟踪方法在说明书摘要公布了：本发明涉及一种基于Transformer的跨模态特征融合与精炼的目标跟踪方法，包括对给定的RGB与红外视频序列获取模板图像对和搜索图像对；构建包含非对称周期性插入令牌自适应融合与精炼模块的双路目标跟踪网络；将模板图像对和搜索图像对分别输入双路目标跟踪网络，通过令牌自适应融合与精炼模块进行跨模态特征融合与精炼，并将融合后的特征矩阵送入预测头，最终输出跟踪目标的位置信息。本发明解决现有RGBT跟踪器中跨模态特征融合不充分、计算冗余以及未能对模板和搜索区域特征进行差异化处理的问题，通过引入一个非对称应用的令牌自适应融合与精炼模块，在有效融合多模态信息的同时，提升了计算效率和跟踪的鲁棒性。

本发明授权一种基于Transformer的跨模态特征融合与精炼的目标跟踪方法在权利要求书中公布了：1.一种基于Transformer的跨模态特征融合与精炼的目标跟踪方法，其特征在于，包括以下步骤： S1、基于给定跟踪目标初始边界框，分别获取RGB与红外视频序列中的模板图像对和搜索图像对，所述模板图像对包括RGB模板与红外模板，所述搜索图像对包括RGB搜索区域和红外搜索区域； S2、构建双流结构的视觉编码器网络，该网络包括两路结构相同、权重共享的Transformer编码器，分别用于对模板图像对和搜索图像对提取并处理RGB特征和红外特征，获得RGB输出特征和红外输出特征；所述Transformer编码器的特定Transformer块之后非对称地插入有令牌自适应融合与精炼模块； S21、所述双流结构的视觉编码器网络，其中的Transformer编码器包括12个Transformer块，分别在其第3、第6和第9个Transformer块之后插入令牌自适应融合与精炼模块； S22、所述令牌自适应融合与精炼模块由三个核心子模块按序连接构成，包括：令牌自适应软剪枝模块、局部精炼适配器模块、跨模态残差注意力模块； S23、所述令牌自适应软剪枝模块，该模块通过对来自特定Transformer块的RGB特征和红外特征进行概率化与坐标系构建，并基于每个通道独立计算得到的一组几何矩，处理以生成重要性权重向量，进而对所输入的RGB特征和红外特征进行加权，输出RGB加权特征和红外加权特征； S231、对于输入的RGB特征，在其每个通道的空间维度上进行概率化处理得到信息能量密度图，同时为该RGB特征的二维空间构建一个归一化的坐标系，即生成一个与该RGB特征空间维度相同的网格，其中每个空间位置都被赋予一个从-1到1范围内的连续坐标值； S232、分别计算RGB特征各通道在其上的平均激活值，得到用于表征信号整体强度的零阶矩； S233、对信息能量密度图计算用于精确标定信息能量空间中心位置的一阶矩，即质心； S234、对信息能量密度图计算用于量化信息能量围绕其质心分布形态的二阶中心距，即空间离散度； S235、将步骤S232到步骤S234所计算得到的各阶几何矩进行堆叠，为RGB特征的每个通道构建高维几何描述符： ； S236、将该高维几何描述符输入一个以为参数的权重生成网络进行非线性映射，以解析其复杂的空间形态信息，最终得到的重要性权重向量可由下式表示： ； 其中，权重生成网络的映射过程可概括为： ； 上式中，代表压缩映射函数，代表归一化函数，代表非线性激活函数，而则代表回归映射函数； S237、所述令牌自适应软剪枝模块最终输出的RGB加权特征由该重要性权重向量与输入的RGB特征逐元素相乘获得，其关系可表示为： ； 其中，符号表示广播式的逐元素相乘； S238、对于输入的红外特征重复上述步骤S231-S237的过程，即获得红外加权特征； S24、所述局部精炼适配器模块，其包括一个结合有批归一化和激活函数的深度可分离卷积单元，以及一个残差连接结构，在增强特征局部性的同时保留原始信息； S25、所述跨模态残差注意力模块，其利用多头注意力机制进行双向信息融合，并通过两个独立的可学习参数和将计算得到的注意力特征以残差形式注入回本模块的输入特征中，获得RGB输出特征和红外输出特征，上述输出关系可表示为： ； ； 其中，和分别表示经过局部精炼适配器模块处理后的RGB加权特征和经过局部精炼适配器模块处理后的红外加权特征，表示标准的多头注意力计算过程，其计算得到注意力特征； S3、将模板图像对和搜索图像对分别输入双流结构的视觉编码器网络，获取模板区域特征和搜索区域特征并进行融合，将融合后的特征矩阵送入预测头，最终输出跟踪目标的位置信息。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人安徽大学，其通讯地址为：230601 安徽省合肥市经济技术开发区九龙路111号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。