买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国人民解放军国防科技大学申请的专利基于红外和可见光图像的双模态目标跟踪方法和装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117078719B 。

龙图腾网通过国家知识产权局官网在2025-08-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311077408.4，技术领域涉及：G06T7/246；该发明授权基于红外和可见光图像的双模态目标跟踪方法和装置是由李冬冬;高智楠;蒯杨柳;陈睿设计研发完成，并于2023-08-24向国家知识产权局提交的专利申请。

本基于红外和可见光图像的双模态目标跟踪方法和装置在说明书摘要公布了：本申请涉及一种基于红外和可见光图像的双模态目标跟踪方法和装置。所述方法包括：对获取的同一对可见光‑红外双模态图像数据进行预处理，根据得到的可见光‑红外图像对序列的第一帧图像进行模板和搜索区域裁剪；采用得到的模板和搜索区域对双模态目标跟踪模型进行训练，得到训练好的双模态目标跟踪模型；该模型包括特征提取网络、双特征聚合模块和检测模块；以初始帧目标位置为模板，利用训练好的双模态目标跟踪模型进行推理，在搜索区域确定目标位置。本方法在基于可见光目标跟踪的基础上，引入红外模态数据，增加了在黑夜场景下的鲁棒性，帮助无人机在低光照、高亮度等场景下对目标的跟踪，有效的扩展了无人机目标跟踪算法的应用场景范围。

本发明授权基于红外和可见光图像的双模态目标跟踪方法和装置在权利要求书中公布了：1.一种基于红外和可见光图像的双模态目标跟踪方法，其特征在于，所述方法包括： 对获取的同一对可见光-红外双模态图像数据进行预处理，得到可见光-红外图像对序列； 根据所述可见光-红外图像对序列的第一帧图像进行裁剪，得到可见光-红外图像对第一帧的模板和搜索区域； 将可见光-红外图像对的模板和搜索区域作为输入，对双模态目标跟踪模型进行训练，得到训练好的双模态目标跟踪模型；所述双模态目标跟踪模型包括特征提取网络、双特征聚合模块以及检测模块；所述特征提取网络用于分别提取可见光-红外图像对的模板和搜索区域的可见光图像特征和红外图像特征；所述双特征聚合模块用于采用空间聚合模块和通道聚合模块对可见光图像特征和红外图像特征进行特征聚合，得到聚合后的模板和搜索区域特征图；所述检测模块用于将聚合后的模板和搜索区域特征图进行相关处理后，将得到的处理结果送入检测头后，回归出目标的预测边界框； 将待跟踪目标的红外-可见光多帧视频对输入到训练好的双模态目标跟踪模型中，以初始帧目标位置为模板，在搜索区域确定目标位置； 其中，将可见光-红外图像对的模板和搜索区域作为输入，对双模态目标跟踪模型进行训练，得到训练好的双模态目标跟踪模型，包括： 将可见光-红外图像对的模板和搜索区域输入特征提取网络，得到可见光图像特征和红外图像特征； 将所述可见光图像特征和所述红外图像特征输入到所述双特征聚合模块中，得到聚合后的模板和搜索区域特征图；所述双特征聚合模块包括空间聚合模块和通道聚合模块，所述空间聚合模块包括可见光分支和红外分支；所述可见光分支包括多头注意力模块和标准化处理层； 将所述聚合后的模板和搜索区域特征图输入到检测模块中，得到目标的预测边界框；所述检测模块包括图像相关操作模块和检测头，所述图像相关操作模块包括SwinTrack中基于级联的编码器和解码器；所述编码器由一个多头自注意力模块和一个前馈网络组成，在多头自注意力模块和前馈网络模块中使用残差结构；所述解码器的结构是将所述编码器中的多头自注意力模块替换为多头互注意力模块后得到的； 根据所述预测边界框和真实位置，对所述双模态目标跟踪模型进行反向训练，得到训练好的双模态目标跟踪模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国人民解放军国防科技大学，其通讯地址为：410073 湖南省长沙市开福区德雅路109号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。