恭喜浙江工业大学马青获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜浙江工业大学申请的专利一种基于先验指示表征框架的遥感图文检索方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117171373B 。
龙图腾网通过国家知识产权局官网在2025-06-10发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311179519.6,技术领域涉及:G06F16/483;该发明授权一种基于先验指示表征框架的遥感图文检索方法是由马青;潘建成;倪鸿泽;白琮设计研发完成,并于2023-09-13向国家知识产权局提交的专利申请。
本一种基于先验指示表征框架的遥感图文检索方法在说明书摘要公布了:一种基于先验指示表征框架的遥感图文检索方法,包括图文预处理、图文检索模型的搭建和表征对齐,其中图文检索模型搭建包括构建图文预编码,构建视觉指示表征模块和语言循环注意力模块三部分;所述视觉指示表征模块通过信念矩阵对图像特征进行排序和过滤以实现冗余过滤,过滤遥感图像中的冗余信息。所述语言循环注意力模块通过递归地使用上一时间步特征激活当前时间步特征增强文本表征;其中在表征对齐中设计了归属损失函数来约束类间关系,减少语义混淆区域。本发明解决现有遥感图文检索方法中存在的语义噪声引起的性能衰退问题,提升遥感图文检索性能。
本发明授权一种基于先验指示表征框架的遥感图文检索方法在权利要求书中公布了:1.一种遥感图文检索方法,其特征在于,所述方法包括以下步骤:步骤一、遥感图文预处理,对遥感图像-文本数据集的图像和文本输入进行预处理操作;步骤二、遥感图文检索模型的搭建,包括构建图文预编码,构建视觉指示表征模块和语言循环注意力模块,实现对视觉和文本模态特征提取,获得最终的视觉和文本嵌入特征;步骤三、表征对齐,包括相似度量和子空间表征;计算视觉和文本模态特征的余弦相似度矩阵,设计损失函数,包括对比损失函数和归属损失函数,通过最小化损失函数实现图像和文本的对齐;所述步骤二包括以下子步骤:步骤2.1:构建图文预编码;所述的图文预编码包括一个视觉编码器、一个指示编码器和一个文本编码器,过程如下:步骤2.1.1:使用SwinTransformer网络作为视觉编码器,用于提取图像的全局相关特征和局部相关特征;步骤2.1.2:使用在AID数据集上预训练的ResNet网络作为指示编码器,以获得指示嵌入特征,从而指导遥感图文检索模型进行无偏的视觉表征;步骤2.1.3:使用一个预训练的Bert作为文本编码器,用于提取文本的全局相关特征和局部相关特征;步骤2.2:构建渐进式注意力编码器;Transformer编码层由自注意力层和跨注意力层组成,根据Transformer编码器间的信息传递方式的不同将传递方法划分为空间渐进式注意力编码器和时隙渐进式注意力编码器,空间渐进式注意力编码器记为Spatial-PAE,时隙渐进式注意力编码器记为Temporal-PAE,其中Spatial-PAE使用线性投影与外部源的输入序列进行空间连接,利用包含全局信息的外部知识协助远程依赖建模,Temporal-PAE使用线性投影与最后时刻的输入序列进行时间连接,利用之前和当前时间步长的序列输出计算注意力图;步骤2.3:构建视觉指示表征模块;首先使用步骤2.1.1获得的图像的全局相关特征和局部相关特征和步骤2.1.2获得的指示嵌入特征计算获得信念矩阵,然后通过信念矩阵对局部相关特征进行排序和过滤以实现冗余过滤,去除遥感图像中的冗余信息,将过滤后的局部相关特征通过空间渐进式注意力编码器进行激活,得到图像的无偏局部相关嵌入特征,最后将图像的无偏局部相关嵌入特征进行映射并与图像全局相关特征相加得到最终视觉嵌入特征;步骤2.4:构建语言循环注意力模块;将步骤2.1.3中得到的文本特征,即文本全局相关特征和局部相关特征放入时隙渐进式注意力编码器中进行激活,得到文本的无偏局部相关嵌入特征,最后将文本的无偏局部相关嵌入特征进行映射并与文本全局相关特征相加得到最终文本嵌入特征。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江工业大学,其通讯地址为:310014 浙江省杭州市下城区朝晖六区潮王路18号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。