买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东北大学申请的专利一种基于跨模态对比学习与全局注意力的水下光学-声学图像融合与分类方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121616948B 。

龙图腾网通过国家知识产权局官网在2026-04-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202610139411.1，技术领域涉及：G06V20/05；该发明授权一种基于跨模态对比学习与全局注意力的水下光学-声学图像融合与分类方法是由张祥越;徐红丽;刘禄;茹敬雨;赵耀设计研发完成，并于2026-02-02向国家知识产权局提交的专利申请。

本一种基于跨模态对比学习与全局注意力的水下光学-声学图像融合与分类方法在说明书摘要公布了：本发明的一种基于跨模态对比学习与全局注意力的水下光学‑声学图像融合与分类方法，包括：获取水下光学图像数据与声学图像数据；构建双流特征提取网络，提取光学图像、声学图像的低层通用特征和高层语义特征；构建全局查询空间注意力模块并嵌入双流特征提取网络，对光学图像的低层通用特征和声学图像的低层通用特征进行融合，获得融合后的通用特征图；训练时引入跨模态对比学习模块，将光学图像、声学图像的高层语义特征映射至共享嵌入空间，计算对比损失驱动模态间的语义对齐；将光学图像、声学图像的高层语义特征以及融合后的通用特征图进行全局聚合处理，生成全局特征向量；将全局特征向量输入多标签分类头，输出水下目标的分类预测结果。

本发明授权一种基于跨模态对比学习与全局注意力的水下光学-声学图像融合与分类方法在权利要求书中公布了：1.一种基于跨模态对比学习与全局注意力的水下光学-声学图像融合与分类方法，其特征在于，包括： 步骤1：获取时间同步且空间配准的水下光学图像数据与声学图像数据，构成原始数据集并划分为训练集和测试集； 步骤2：构建包含光学特征提取分支与声学特征提取分支的双流特征提取网络，将训练集输入所述双流特征提取网络，分别提取光学图像、声学图像的低层通用特征和高层语义特征； 步骤3：构建全局查询空间注意力模块并嵌入双流特征提取网络，利用全局查询空间注意力模块对光学图像的低层通用特征和声学图像的低层通用特征进行融合，获得融合后的通用特征图； 步骤4：训练阶段引入跨模态对比学习模块，将光学图像的高层语义特征和声学图像的高层语义特征映射至共享嵌入空间，通过计算对比损失函数驱动模态间的语义对齐； 步骤5：将光学图像的高层语义特征、声学图像的高层语义特征以及全局查询空间注意力模块输出的融合后的通用特征图进行全局特征聚合处理，生成全局特征向量； 步骤6：将全局特征向量输入多标签分类头，输出水下目标的分类预测结果； 所述步骤3的全局查询空间注意力模块的具体处理过程包括： 步骤3.1：根据光学图像数据和声学图像数据的成像质量，动态选择质量好的模态的低层通用特征作为主模态特征，另一模态的低层通用特征作为辅助模态特征； 步骤3.2：将主模态特征输入1×1卷积层得到查询向量Q，将辅助模态特征经过1×1卷积层得到键向量K和值向量V； 步骤3.3：对所述查询向量Q和键向量K分别进行自适应平均池化，将其空间维度压缩为1×1，得到主模态全局上下文向量和辅助模态全局上下文向量； 步骤3.4：计算主模态全局上下文向量和辅助模态全局上下文向量的点积，并通过Softmax函数计算得到全局注意力分数； 其中，S为全局注意力分数，为特征通道数； 步骤3.5：将全局注意力分数与保留完整空间信息的值向量V进行矩阵乘法，得到加权后的上下文信息； 其中，表示标量对张量的广播乘法； 步骤3.6：将加权后的上下文信息通过卷积层处理后，通过残差连接与原始主模态特征相加，输出融合后的通用特征图。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东北大学，其通讯地址为：110819 辽宁省沈阳市和平区文化路三号巷11号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。