买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国矿业大学申请的专利一种基于多模态层次关系建模的RGB-T目标跟踪方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116580275B 。

龙图腾网通过国家知识产权局官网在2025-11-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310545491.7，技术领域涉及：G06V10/80；该发明授权一种基于多模态层次关系建模的RGB-T目标跟踪方法是由姚睿;仇甲柱;周勇;邵志文;刘兵;赵佳琦;祝汉城设计研发完成，并于2023-05-15向国家知识产权局提交的专利申请。

本一种基于多模态层次关系建模的RGB-T目标跟踪方法在说明书摘要公布了：本发明公开了一种本发明公开了一种基于多模态层次关系建模的RGB‑T目标跟踪方法，通过堆叠多层的Transformer编码器结构，利用自注意力机制在图像特征学习的多个阶段渐进式地聚集并融合多模态图像特征。在整个网络的多模态交互过程中，利用基于图像块的动态部件特征融合模块，动态求解跟踪场景中每个区域的可见光信息的重要程度，从而调节可见光信息和红外信息在跟踪过程中的相互作用，更好地适应复杂性场景，获得更好的跟踪性能。

本发明授权一种基于多模态层次关系建模的RGB-T目标跟踪方法在权利要求书中公布了：1.一种基于多模态层次关系建模的RGB-T目标跟踪方法，其特征在于：包括如下步骤： 1从RGB-T数据流中获取训练样本集，从每个训练样本中提取出相对应的一幅可见光图像Rt和一幅红外图像Tt，从可见光图像Rt中裁剪出可见光模板图像和可见光搜索图像，从红外图像Tt中裁剪出红外模板图像和红外搜索图像，对裁剪出的图像进行分块，得到可见光模板块序列zv、可见光搜索块序列xv、红外模板块序列zi和红外搜索块序列xi； 2构建动态部件融合模块获取可见光搜索图像的照明程度信息，并估计出可见光权重值0,1，可见光权重值α用于描述可见光搜索图像中可见光信息的可信任程度，使用可见光权重值α全程动态指导可见光模特和红外模态的相互作用； 3通过线性投影层将可见光模板块序列zv、可见光搜索块序列xv、红外模板块序列zi和红外搜索块序列xi投影成2维特征，获得可见光模板标记嵌入序列Zv、可见光搜索标记嵌入序列Xv、红外模板标记嵌入序列Zi和红外搜索标记嵌入序列Xi； 4构建L层Transformer编码器，将可见光模板标记嵌入序列Zv、红外模板标记嵌入序列Zi、可见光搜索标记嵌入序列Xv和红外搜索标记嵌入序列Xi按顺序合并为一个序列，并行输入到L层Transformer编码器进行自注意运算，获得交互嵌入总序列E； 5利用可见光权重值α对交互嵌入总序列E做加权求和获取输出嵌入序列Efusion； 6将输出嵌入序列Efusion重构为空间特征F，通过全卷积网络获取空间特征F的得分图M，将得分最高的位置作为目标位置的中心，确定最终的目标框坐标； 7使用损失函数对跟踪网络的训练过程进行监督； 8将视频流中的待跟踪图像输入到训练好的跟踪网络中，在视频流中对待跟踪图像进行跟踪，待跟踪图像属于视频流中某一帧图片或某一帧图片中的部分。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国矿业大学，其通讯地址为：221116 江苏省徐州市泉山区大学路1号中国矿业大学科研院；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。