买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东南大学申请的专利面向RGB-D图像稠密预测任务的跨模态对比学习方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116434033B 。

龙图腾网通过国家知识产权局官网在2025-11-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310268449.5，技术领域涉及：G06V10/82；该发明授权面向RGB-D图像稠密预测任务的跨模态对比学习方法及系统是由陈浩;陈梓超设计研发完成，并于2023-03-20向国家知识产权局提交的专利申请。

本面向RGB-D图像稠密预测任务的跨模态对比学习方法及系统在说明书摘要公布了：本发明公开了一种面向RGB‑D图像稠密预测任务的跨模态对比学习方法及系统，构建RGB‑D跨模态自监督框架对编码器进行预训练，并将预训练的编码器参数输入下游RGB‑D稠密预测任务的网络模型中，对网络模型进行有监督训练，得到训练后的下游RGB‑D稠密预测任务的网络模型，完成推理输出预测结果；本发明方法克服了数据不足的问题，也填补了RGB‑D跨模态数据的鸿沟，通过本发明的预训练方法能提取多尺度模态特定线索和异质跨模态相关性，从而促进下游任务多模态融合。

本发明授权面向RGB-D图像稠密预测任务的跨模态对比学习方法及系统在权利要求书中公布了：1.面向RGB-D图像稠密预测任务的跨模态对比学习方法，其特征在于:构建RGB-D跨模态自监督框架对编码器进行预训练，并将预训练的编码器参数输入下游RGB-D稠密预测任务的网络模型中，对网络模型进行有监督训练，得到训练后的下游RGB-D稠密预测任务的网络模型，完成推理输出预测结果； 所述RGB-D跨模态自监督框架至少包括局部-全局耦合模块和跨模态训练范式，所述局部-全局耦合模块包含多尺度投影头的空间感知跨模态对比度损失，在预训练阶段可以同时学习具有全局理解、局部上下文和多尺度跨模态相关性的特征；所述跨模态训练范式只使用跨模态一致性作为多模态对比损失；具体包括如下步骤： S1，数据集获取：获取RGB-D跨模态图像数据集，分别用于RGB-D跨模态自监督框架对编码器进行预训练和下游RGB-D稠密预测任务的网络模型的训练； S2，编码器选取：采用ResNet50网络结构作为编码器； S3，构建自监督框架：构建RGB-D跨模态自监督框架对步骤S2选取的编码器进行预训练，所述预训练为下游RGB-D稠密预测任务提供RGB-D领域特定的模型初始化参数； S31：每一个训练样本图片会通过两种不同的数据增强操作进行变换得到，从而产生同个样本的不同视角，其中表示数字增强操作随机裁剪拼接，旋转缩放和翻转； S32:每一对RGB和Depth配对图片都分别同样经过步骤S31的数据增强后输入对应的编码器与动量编码器进行编码：，其中和为编码后生成的特征图； S33:利用空间感知的局部-全局耦合模块对步骤S32生成的特征图进行特征提取：f通过全局池化层得到全局特征图y，通过两种局部池化层得到局部特征图F1、F2，将y，F1、F2三个特征图展开成向量，合并向量，使它们成为包含多尺度特征的一维表示； S34:利用不同模态生成的一维向量进行跨模态对比学习预训练，总损失函数为跨模态损失函数： ； 式中，作为RGB模态的锚点样本更新RGB模态编码器参数，作为Depth模态的锚点样本更新Depth模态编码器参数，与分别为两种模态的负样本池； S4，预测任务的网络模型训练：将步骤S3获得的自监督预训练的编码器参数输入下游RGB-D稠密预测任务的网络模型中，并对该网络模型进行有监督训练； S5，预测结果输出：根据不同的RGB-D任务，利用步骤S4训练好的下游RGB-D稠密预测任务网络模型完成推理输出预测结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东南大学，其通讯地址为：210096 江苏省南京市玄武区四牌楼2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。