广东工业大学庞艳华获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉广东工业大学申请的专利基于多源遥感影像的视觉大模型构建方法、装置、设备及介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120612601B 。
龙图腾网通过国家知识产权局官网在2026-02-13发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510709069.X,技术领域涉及:G06V20/10;该发明授权基于多源遥感影像的视觉大模型构建方法、装置、设备及介质是由庞艳华;周郭许;李晶设计研发完成,并于2025-05-29向国家知识产权局提交的专利申请。
本基于多源遥感影像的视觉大模型构建方法、装置、设备及介质在说明书摘要公布了:本申请涉及一种基于多源遥感影像的视觉大模型构建方法、装置、设备及介质,方法包括:针对光学遥感影像、SAR遥感影像与红外遥感影像像特征差异大、模型跨源泛化性弱的问题,研究基于多源遥感影像的视觉大模型,通过融合多模态数据互补特征,建立跨源目标统一表征空间,解决单一模型对不同影像源特征适应性不足的瓶颈,重点挖掘多源影像中目标纹理、几何与辐射特性的关联性,设计多层级特征交互与自适应融合机制,增强模型对跨源目标的语义一致性理解,最终构建具备强泛化能力的视觉大模型,为星上轻量化小模型提供高精度监督信号,确保跨源遥感影像目标检测性能的稳定性。本申请能够降低对目标域标注数据的依赖,使模型保持良好的泛化能力。
本发明授权基于多源遥感影像的视觉大模型构建方法、装置、设备及介质在权利要求书中公布了:1.一种基于多源遥感影像的视觉大模型构建方法,其特征在于,包括: 获取包含各个目标对象的雷达遥感影像以及其相对应的红外遥感影像、光学遥感影像,采用预设的多尺度遮蔽策略生成随机掩码矩阵动态遮蔽所述雷达遥感影像、所述红外遥感影像以及所述光学遥感影像的特定区域,以确定所述雷达遥感影像、所述红外遥感影像以及所述光学遥感影像的随机遮蔽影像; 在编码器的特征提取网络中,基于Swin Transformer模型采用局部窗口自注意力机制根据所述光学遥感影像的随机遮蔽影像相对应的编码数据,捕捉所述光学遥感影像中的各个目标对象相对应的局部细节特征,基于Vision Transformer模型采用全局注意力机制根据所述雷达遥感影像、所述红外遥感影像的随机遮蔽影像相对应的编码数据,提取所述雷达遥感影像以及所述红外遥感影像中各个目标对象相对应的全局语义信息; 在编码器的跨模态融合层中,采用门控交叉注意力机制将所述各个目标对象相对应的局部细节特征与所述目标对象相对应的全局语义信息进行特征融合,以确定所述各个目标对象相对应的多源融合特征,其包括: 获取所述光学遥感影像中的各个目标对象相对应的局部细节特征以及所述雷达遥感影像以及所述红外遥感影像中各个目标对象相对应的全局语义信息,以生成所述局部细节特征相对应的查询矩阵以及所述全局语义信息相对应的键矩阵;采用预设的Sigmoid门控函数根据所述查询矩阵以及所述键矩阵的匹配程度进行加权,使得不同模态的特征在不同的区域上被加权融合;将门控加权后的特征拼接在一起,以将各个模态的信息整合到同一个空间中,以保留它们的局部细节特征和全局语义信息;在特征拼接之后,通过通道重标定对拼接后的特征图进行重新标定,以确定一个统一的跨模态表示,其中,所述跨模态表示包含各个目标对象的局部细节特征和全局语义信息; 在解码器中对所述多源融合特征进行重构以确定重构影像与原始影像之间的重构损失,训练至一定迭代次数以使所述重构损失尽可能小,完成基于多源遥感影像的视觉大模型的构建及其预训练; 将预训练好的编码器添加具体的任务头进行微调后,以应用于下游解译任务,其包括目标检测任务、目标识别任务或变化检测任务,其中,所述任务头包括目标识别头、目标检测头、变化检测头。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人广东工业大学,其通讯地址为:510000 广东省广州市越秀区东风东路729号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励