买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京理工大学申请的专利面向模态缺失的细粒度多模态元学习识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117009875B 。

龙图腾网通过国家知识产权局官网在2025-10-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311105472.9，技术领域涉及：G06F18/241；该发明授权面向模态缺失的细粒度多模态元学习识别方法是由魏秀参;于泓涛设计研发完成，并于2023-08-29向国家知识产权局提交的专利申请。

本面向模态缺失的细粒度多模态元学习识别方法在说明书摘要公布了：本发明公开了一种面向模态缺失的细粒度多模态元学习识别方法，以解决模态缺失问题，该方法包括：在完整数据集上进行采样，构建多个缺失模态的元任务进行训练；在每个任务中，从多模态数据中提取局部和全局特征，通过注意力机制融合特征；将融合后的特征送入补全模块，补充缺失模态信息，最后合并特征进行分类。通过在完整数据集上使用元学习，模型在不同缺失情况下具有出色的泛化性能，能够有效地补全信息并实现细粒度多模态数据分类。

本发明授权面向模态缺失的细粒度多模态元学习识别方法在权利要求书中公布了：1.一种面向模态缺失的细粒度多模态元学习识别方法，其特征在于，包括以下步骤： 步骤1，在细粒度多模态数据完备的数据集上采样，构造多个含模态数据缺失的元任务，在每个任务上对模型进行训练； 步骤2，每个任务内，对细粒度多模态数据提取局部特征以及全局特征，利用注意力机制分别对局部特征以及全局特征进行特征融合；具体为： 在每个元任务内，先对细粒度多模态数据提取局部特征以及全局特征，通过带有空间注意力机制的卷积神经网络提取图片模态的特征对Ximg做全局平均池化得到全局特征ximg，同理得到音频和视频模态的全局特征xaud，xvideo，对于文本数据采用长短时记忆网络提取特征xtxt；对图片模态和音频模态特征融合，利用注意力机制，计算图片模态和文本模态特征的点积，得到关系系数；将关系系数乘以音频模态特征并加上图片模态的特征得到图片模态和音频模态的融合特征ximgaud，公式如下： 其中代表图片模态和音频模态特征的关系系数；按照相同的方式，得到图片模态特征和其他模态特征的融合特征，将所有融合特征相加，得到图片模态特征和其他所有模态特征的融合特征ximg_fuse： ximg_fuse＝ximgaud+ximgtxt+ximgvideo3其中ximgtxt为图片模态和文本模态的融合特征，ximgvideo为图片模态和视频模态的融合特征；对于剩余模态，按相似的方式得到融合特征，最终将所有特征加和，得到全局的融合特征： xagg＝ximg_fuse+xaud_fuse+xtxt_fuse+xvideo_fuse其中xaud_fuse、xtxt_fuse、xvideo_fuse分别为音频、文本、视频模态特征和其他所有模态特征的融合特征；对于局部特征的融合，通过深度模型提取图片特征Ximg，其包含144个事例，利用Gumbel top‑k方法从Ximg的144个事例里选出k个关键事例；对于第i个事例学习一个线性模型得到对应事例i的分数si： 其中为对线性模型参数矩阵进行转置，b为线性模型的偏置参数，ReLU为激活函数； 根据Gumbel‑max技巧对事例分数进行重参数化操作： 其中|Ximg|代表事例的个数，λ是温度参数，gi是从Gumbel分布种得到的采样Gumbel0,1＝‑log‑logq,q～Uniform0,1；ui代表事例i的重要程度，选取前k个重要的事例组成图片模态的局部特征对于剩余模态也用相似的方式获得局部特征对于图片局部特征和音频局部特征的融合，对其中每个事例进行特征融合： 其中为图片模态经过筛选后的第a个事例与音频模态经过筛选后的第b个事例计算关系度，exp为取以e为底的结果，是经过归一化后图片模态和音频模态特征的关系系数；得到图片和音频模态的融合特征后，继而得到局部特征最终的融合特征； 步骤3，将融合后的局部特征和全局特征分别送入对应的补全模块，补全缺失模态的特征，最后将补全的局部以及全局特征拼接进行分类； 步骤4，元任务训练结束后，将得到的模型在细粒度多模态数据缺失的数据集上训练，得到最终的模型以及分类结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京理工大学，其通讯地址为：210094 江苏省南京市孝陵卫200号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。