买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华东师范大学申请的专利基于深度学习的单模态诱导的多模态预训练方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116758397B 。

龙图腾网通过国家知识产权局官网在2025-08-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310770693.1，技术领域涉及：G06V10/82；该发明授权基于深度学习的单模态诱导的多模态预训练方法及系统是由王妍;金婷;李庆利设计研发完成，并于2023-06-27向国家知识产权局提交的专利申请。

本基于深度学习的单模态诱导的多模态预训练方法及系统在说明书摘要公布了：本发明公开了基于深度学习的单模态诱导的多模态预训练方法及系统，本发明的工作旨在处理多模态图像组学分类的主要挑战从高维度模态数据中提取特征的困难，以及考虑高阶相关性的有效融合。具体地说，本发明首先提出了一组多头自注意编码器来捕获长序列中的全局结构化特征。然后，本发明设计了一个掩蔽补丁建模范式，该范式从高分辨率图像的固定的长度连续子序列中屏蔽随机补丁特征，以捕获潜在特征。最后，本发明结合成对模式的分类标记，提出一个三联体学习模块来学习高阶相关性和提取全局特征。经过预训练后，可以采用简单的微调来得到分类结果。本发明可以用于视觉问答，图像处理，自动驾驶，医疗等领域。

本发明授权基于深度学习的单模态诱导的多模态预训练方法及系统在权利要求书中公布了：1.基于深度学习的单模态诱导的多模态预训练方法，其特征在于，包括以下步骤： S1：采集长序列数据和高分辨率图像； S2：基于分组的多头自注意力编码器GroupMSA，获得长序列数据中的全局结构化特征，作为诱导多模态预训练的单模态特征； S3：基于屏蔽补丁建模预训练策略，从高分辨率图像的固定的长度连续子序列中屏蔽随机补丁特征，获得高分辨率图像中的全局结构化特征； S4：构建单模态诱导的三重学习模块，将所述长序列数据中的全局结构化特征和所述高分辨率图像中的全局结构化特征输入所述单模态诱导的三重学习模块，融合得到多模态特征，再通过CLS标记字符提取多模态特征的高阶全局特征； 所述S2中，获得长序列数据中的全局结构化特征的方法包括： S21：将长序列数据划分为个不重叠片段； S22：基于所述个不重叠片段，使用线性映射，获得片段特征，其中d为隐藏维度； S23：引入一个内部注意力模块，获得所述片段特征中的局部和全局信息，其中，所述片段特征中的局部和全局信息即为所述长序列数据中的全局结构化特征； 所述S3中，获得高分辨率图像中的全局结构化特征的方法包括： S31：设置固定的连续子序列长度L的阈值； S32：将所述连续子序列长度L小于阈值的连续子序列重复构建小批次，并设置掩蔽比和掩蔽下标集，获得掩码序列； S33：采用基于两层Nystrom的补丁聚合器和轻量级重构解码器处理所述掩码序列，屏蔽随机补丁嵌入，并重构不可见信息，获得高分辨率图像中的全局结构化特征； 所述S4中，构建单模态诱导的三重学习模块，将所述长序列数据中的全局结构化特征和所述高分辨率图像中的全局结构化特征输入所述单模态诱导的三重学习模块，通过CLS标记字符提取高阶全局特征的方法包括： S41：对所述分组的多头自注意力编码器GroupMSA进行预训练，获得序列特征，并在迭代中冻结； S42：将高分辨率图像的可学习CLS标记字符添加到所述掩码序列中，获得补丁嵌入； S43：分别提取所述补丁嵌入和所述序列特征，并和最终的分类标记连接为； S44：利用三重态学习的损失函数对所述进行优化； S45：利用多层感知器头将所述进行映射，获得最终的高阶全局特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华东师范大学，其通讯地址为：200241 上海市闵行区东川路500号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。