西安交通大学鲍芃荣获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉西安交通大学申请的专利基于特征重构与协同交互的RGBT目标跟踪方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120147363B 。
龙图腾网通过国家知识产权局官网在2025-11-21发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510297758.4,技术领域涉及:G06T7/246;该发明授权基于特征重构与协同交互的RGBT目标跟踪方法及装置是由鲍芃荣;杨艺;张思贤;杨淇林;虞锦杰;米鹏博;向金城;李岸航设计研发完成,并于2025-03-13向国家知识产权局提交的专利申请。
本基于特征重构与协同交互的RGBT目标跟踪方法及装置在说明书摘要公布了:本发明属于视觉目标跟踪技术领域,公开了一种基于特征重构与协同交互的RGBT目标跟踪方法及装置;其中,所述RGBT目标跟踪方法包括以下步骤:获取待跟踪目标选中时间段的可见光视频序列与热红外视频序列;将获取的可见光视频序列与热红外视频序列同时作为输入,利用预先训练好的RGBT目标跟踪模型逐帧进行目标跟踪处理,获得目标跟踪结果;所述RGBT目标跟踪模型包括:特征提取模块、特征增强模块、特征融合模块和跟踪预测模块。本发明公开的技术方案中,采用训练好的RGBT目标跟踪模型进行目标跟踪,实现了对RGBT双模态信息的有效利用和融合,能够提高RGBT目标跟踪的准确性和鲁棒性。
本发明授权基于特征重构与协同交互的RGBT目标跟踪方法及装置在权利要求书中公布了:1.一种基于特征重构与协同交互的RGBT目标跟踪方法,其特征在于,包括以下步骤: 获取待跟踪目标选中时间段的可见光视频序列与热红外视频序列; 将获取的可见光视频序列与热红外视频序列同时作为输入,利用预先训练好的RGBT目标跟踪模型逐帧进行目标跟踪处理,获得目标跟踪结果; 其中,所述RGBT目标跟踪模型包括:特征提取模块、特征增强模块、特征融合模块和跟踪预测模块;其中, 所述特征提取模块为基于孪生架构的特征提取网络,用于输入可见光模态数据与热红外模态数据并进行特征提取,输出四个分支的初始特征图;其中,四个分支分别为可见光模态模板分支、可见光模态检测分支、热红外模态模板分支以及热红外模态检测分支; 所述特征增强模块包括四个尺度多向联合模块,各个尺度多向联合模块分别用于输入一个分支的初始特征图并进行特征增强,输出对应分支的增强后特征图;其中,所述尺度多向联合模块进行特征增强时,先将初始特征图进行多尺度增强,然后在高度、宽度、通道三个方向进行多向联合交互,最终获得增强后特征图; 所述特征融合模块包括四个层级中值融合模块,各个层级中值融合模块分别用于输入一个分支的增强后特征图并从最低层级逐层向上一层级融合,获得各层级的融合后特征;将各层级的融合后特征进行元素相加,获得对应分支的融合后特征图; 所述跟踪预测模块用于输入各个分支的融合后特征图并进行互相关操作,输出目标跟踪结果; 所述尺度多向联合模块进行特征增强的具体步骤包括:将输入的初始特征图经过不同空洞率的并行增强分支处理,得到多尺度特征;将得到的多尺度特征分别在高度、宽度以及通道三个方向进行平均池化和最大池化操作,再将高度方向的平均池化与宽度方向的平均池化进行相乘,将高度方向的最大池化与宽度方向的最大池化进行相乘,得到三个方向处理后的特征;将三个方向处理后的特征应用共享卷积层,得到三个注意力权重;将多尺度特征按得到的三个注意力权重进行加权,并通过对应元素相加的方式得到最终的增强后特征图; 所述层级中值融合模块中,从最低层级逐层向上一层级融合的步骤中,对于最低层级以外的各选中层级,先将选中层级的原始特征与选中层级的下一层级的融合后特征逐元素加和,然后通过中值混合注意力网络进行通道注意力和空间注意力加权处理,最后将中值混合注意力网络处理结果与选中层级的原始特征逐元素加和,获得选中层级的融合后特征;其中,所述中值混合注意力网络进行通道注意力加权处理时,采用全局最大池化、全局平均池化以及全局中值池化;最低层级的原始特征与融合后特征保持一致; 中值混合注意力网络表示为: ; ; 式中,表示Sigmoid函数;表示全连接层,表示全连接层相应的权重信息,表示通道维度上的最大池化,表示通道维度上的平均池化;为通道注意力的输出特征;为输入特征;表示通道注意力的多层感知机;表示空间维度上的全局最大池化,表示全局平均池化,表示全局中值池化。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西安交通大学,其通讯地址为:710049 陕西省西安市碑林区咸宁西路28号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励