西北工业大学王琦获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉西北工业大学申请的专利一种基于对比学习预训练的遥感图像描述生成方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117173418B 。
龙图腾网通过国家知识产权局官网在2025-06-27发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311132295.3,技术领域涉及:G06V10/40;该发明授权一种基于对比学习预训练的遥感图像描述生成方法是由王琦;周情;李学龙设计研发完成,并于2023-09-04向国家知识产权局提交的专利申请。
本一种基于对比学习预训练的遥感图像描述生成方法在说明书摘要公布了:本发明公开了一种基于对比学习预训练的遥感图像描述生成方法,首先构建中文数据集,然后进行对比学习预训练,得到查询编码器和键编码器,再进行视觉特征提取,最后利用提取到的视觉特征,通过循环神经网络建立图像特征与语言特征之间的映射并解码;本发明方法有效提升了模型对遥感图像特征的理解和提取,进而提升了模型对遥感图像的描述生成的准确性。
本发明授权一种基于对比学习预训练的遥感图像描述生成方法在权利要求书中公布了:1.一种基于对比学习预训练的遥感图像描述生成方法,其特征在于,包括如下步骤: 步骤1:中文数据集构建; 获取公开的具有英文文本描述的遥感图像数据集,利用机器翻译算法将其翻译成中文描述,针对翻译得到的中文描述进行校准,消除机器翻译算法引入的错误文本; 步骤2:对比学习预训练; 步骤2-1:构建无标签多模态、多季节遥感图像数据集作为预训练数据集D,包含N个样本,每个样本表示为x;Γ表示随机图像增强操作集合,包含图像随机旋转、随机缩放、随机裁剪、随机翻转、高斯模糊等操作; 步骤2-2:对于每个输入样本xi,对xi应用从Γ中随机采样得到的不同的两个图像增强操作,得到两个增强视角的正样本对q和k+;得到不同增强视角的正样本对后,构造特征提取网络E; 步骤2-3:基于MoCo框架,分别使用查询编码器E·,θq和键编码器E·,θk,将一个视角增强的结果通过查询编码器,另一个视角的增强结果通过键编码器,进而分别得到两个在对比表征空间中的表征向量fq和其过程表示为如下形式: fq=Eq,θq 其中,键编码器的参数在初始化时同查询编码器一致; 步骤2-4:在训练过程中,查询编码器采用梯度更新策略,键编码器采用指数平均动量更新,让键编码器的参数向查询编码器靠近:θk:=mθk+1-mθq,其中m为动量参数,是一个接近1的超参数;编码后得到的向量表征存储在一个动态字典中,当一次迭代完成时,将队头的表征向量出队,并将当前时刻编码器得到的表征向量入队; 动态字典中,来自于其他样本增强得到视图经过键编码器得到的表征构成负样本j≠i;通过特征提取网络E将数据投影到对比表征空间,使得正样本之间距离近于负样本之间的距离; 通过下式作为对比损失函数拉近fq和的距离,拉远fq和的距离: 其中,τ是一个温度超参数,用于控制样本对之间的相似性;样本对之间的相似性使用向量内径进行计算; 步骤3:视觉特征提取; 将步骤2中预训练得到的查询编码器和键编码器的参数初始化当前模型中的视觉特征提取器G,同时冻结其中前三个阶段的参数不参与下游任务训练;将由G提取到的特征fg,利用注意力机制来关注和增强语义特征得到fa;具体如下: 给定一张输入图片input∈C×H×W,利用预训练的提取器G得到视觉特征向量fg: fg=input,θtrainable,θfrozen 其中,θtrainable表示会由梯度下降算法更新的参数,θfrozen表示不会更新的固定参数; G使用由多个重复的残差块组成的ResNet网络结构,残差结构计算过程如下: zl=xl-1+Fxl-1 其中,xl-1表示第l-1层的输出,F·表示由卷积层-批归一化-激活函数组成的非线性函数; 将特征向量fg∈c×h×w展平并进行位置嵌入转换为fs∈c×hw,应用注意力机制对展平后的特征向量fs进行增强得到视觉特征向量fa: MHx=Concath1,h2,…,hnWO 其中,Concat表示张量拼接操作,分别表示查询、键、值对应的可学习线性变换矩阵,WO表示所有注意力头合并后的变换矩阵;h1,h2,...,hn表示不同的注意力头; 步骤4:自然语言解码; 利用提取到的视觉特征,通过循环神经网络建立图像特征与语言特征之间的映射并解码;在解码阶段,首先将图像特征输入到解码器的初始状态中,随后在每个时间步,解码器会生成一个概率分布,用来表示当前时间步下一个生成的单词或者单词序列;生成过程会迭代进行,直至生成一个特殊的结束符号或者达到预设的最大生成长度。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西北工业大学,其通讯地址为:710072 陕西省西安市友谊西路127号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。