西安电子科技大学张昊获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉西安电子科技大学申请的专利一种基于多模态知识蒸馏传输的SAR图像分类方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119131477B 。
龙图腾网通过国家知识产权局官网在2025-11-18发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411175556.4,技术领域涉及:G06V10/764;该发明授权一种基于多模态知识蒸馏传输的SAR图像分类方法是由张昊;苏钰迪;孙剑桥;陈驰宇;陈渤;王正珏设计研发完成,并于2024-08-26向国家知识产权局提交的专利申请。
本一种基于多模态知识蒸馏传输的SAR图像分类方法在说明书摘要公布了:本发明公开了一种基于多模态知识蒸馏传输的SAR图像分类方法,涉及土地覆盖分类技术领域。本发明的基于多模态知识蒸馏传输的SAR图像分类方法,构建了一个包括教师模型和学生模型的多模态知识蒸馏模型,利用训练完成的学生模型对待测SAR图像进行分类识别。在模型在训练过程中,基于知识蒸馏传输的光学‑SAR知识迁移策略实现了不同模态图像之间以及图像文本模态之间的知识迁移,可以从遥感光学图像的教师模型中提取多级语义特征辅助SAR图像的学生模型的学习,并且以最优传输方法进行图像语义和多标签文本语义的对齐,克服了光学和SAR图像在不同环境条件下识别能力的不足,有效地提高了SAR图像多标签地物类型判别的精度。
本发明授权一种基于多模态知识蒸馏传输的SAR图像分类方法在权利要求书中公布了:1.一种基于多模态知识蒸馏传输的SAR图像分类方法,其特征在于,包括: 步骤1:构建训练数据集以及包括教师模型和学生模型的多模态知识蒸馏模型;所述训练数据集包括多个遥感光学图像和对应SAR图像的图像对,其中,所述遥感光学图像和所述SAR图像均赋有真实类别标签;所述教师模型和所述学生模型均为VisionTransformer架构; 步骤2:利用所述训练数据集对所述多模态知识蒸馏模型中的教师模型进行预训练,得到预训练教师模型; 步骤3:将所述训练数据集分别输入至所述预训练教师模型和所述学生模型,利用所述训练数据集对所述学生模型进行训练,在所述学生模型的训练过程中,基于知识蒸馏传输实现不同模态图像之间以及图像文本模态之间的知识迁移,得到训练完成的学生模型;所述步骤3包括: 步骤3.1:将所述训练数据集中的遥感光学图像输入至所述预训练教师模型,得到所述遥感光学图像的多层图像特征; 步骤3.2:将所述训练数据集中的SAR图像输入至所述学生模型,得到所述SAR图像的图像向量分布、多层图像特征和预测分类标签; 步骤3.3:将所述训练数据集中的SAR图像的真实类别标签输入至Bert文本编码器,得到所述SAR图像的标签向量分布; 步骤3.4:根据所述遥感光学图像的多层图像特征、所述SAR图像的图像向量分布、多层图像特征和预测分类标签以及所述SAR图像的标签向量分布,利用构建的复合损失函数计算得到基于知识蒸馏传输的复合总损失,根据所述复合总损失优化所述学生模型的模型参数,得到所述训练完成的学生模型; 所述复合总损失包括:所述遥感光学图像的多层图像特征与所述SAR图像的多层图像特征之间的知识蒸馏损失、所述SAR图像的预测分类标签与所述SAR图像的真实类别标签之间的分类损失、以及所述SAR图像的图像向量分布与所述SAR图像的标签向量分布之间的最优传输损失;所述知识蒸馏损失包括所述遥感光学图像的多层图像特征与所述SAR图像的多层图像特征中每一层图像特征的对齐蒸馏损失; 步骤4:利用所述训练完成的学生模型对待测SAR图像进行分类识别,得到SAR图像分类结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西安电子科技大学,其通讯地址为:710071 陕西省西安市太白南路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励