买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东北大学申请的专利一种基于互信息约束和对抗学习的缺失模态数据处理方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119415848B 。

龙图腾网通过国家知识产权局官网在2025-10-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411556215.1，技术领域涉及：G06F18/15；该发明授权一种基于互信息约束和对抗学习的缺失模态数据处理方法是由毛克明;徐也川;刘佳乐设计研发完成，并于2024-11-04向国家知识产权局提交的专利申请。

本一种基于互信息约束和对抗学习的缺失模态数据处理方法在说明书摘要公布了：本发明提供了一种基于互信息约束和对抗学习的缺失模态数据处理方法，属于人工智能技术领域。该方法首先收集全模态数据和对应的缺失模态数据；然后对收集到的全模态数据和对应的缺失模态数据进行预处理操作来提高全模态数据和对应的缺失模态数据的质量；其次获得预处理好的全模态数据和对应的缺失模态数据后，构建基于跨模态互信息和对抗学习的缺失模态处理模型，同时构建缺失模态处理模型的损失函数来约束缺失模态处理模型；不断训练并优化缺失模态处理模型，得到训练完成的缺失模态处理模型；最后将实际任务面对的带有缺失模态的数据，输入至训练好的缺失模态处理模型，得到分割图。

本发明授权一种基于互信息约束和对抗学习的缺失模态数据处理方法在权利要求书中公布了：1.一种基于互信息约束和对抗学习的缺失模态数据处理方法，其特征在于：包括以下步骤： 步骤1：收集全模态数据，并采用一定的策略从全模态数据中生成对应的缺失模态数据； 所述全模态数据包括图像数据、文本数据、音频数据、视频数据和传感器数据； 步骤2：对收集到的全模态数据和对应的缺失模态数据进行预处理操作来提高全模态数据和对应的缺失模态数据的质量； 步骤3：获得步骤2预处理好的全模态数据和对应的缺失模态数据后，构建基于跨模态互信息和对抗学习的缺失模态处理模型，同时构建缺失模态处理模型的损失函数来约束缺失模态处理模型；不断训练并优化缺失模态处理模型，得到训练完成的缺失模态处理模型； 步骤4：将实际任务面对的带有缺失模态的数据，输入至步骤3中训练好的缺失模态处理模型，得到分割图； 所述步骤3构建的基于跨模态互信息和对抗学习的缺失模态处理模型，包括跨模态互信息最大化编码器、知识对抗正则化模块、混合注意力上采样模块、熵正则化模块和解码器； 所述跨模态互信息最大化编码器逐层对齐全模态数据和缺失模态数据的特征表示，同时引入信息论中的互信息来衡量全模态数据和缺失模态数据的联合分布与各自的边缘分布之间的差异； 记输入的全模态数据为Xmulti，输入的缺失模态数据为Xmissing，跨模态互信息最大化编码器的输出结果为全模态数据的特征表示Fmulti以及缺失模态数据的特征表示Fmissing；跨模态互信息最大化编码器共有K层，可获得K对全模态数据和缺失模态数据的特征表示其中k表示跨模态互信息最大化编码器的第k层，表示全模态数据在跨模态互信息最大化编码器第k层的特征表示，表示缺失模态数据在跨模态互信息最大化编码器第k层的特征表示；为了简便书写，用mk指代uk指代记跨模态互信息最大化编码器第k层的全模态数据的熵为也即Hmk，记跨模态互信息最大化编码器第k层的缺失模态数据的熵为也即Huk，记跨模态互信息最大化编码器第k层的给定缺失模态数据下全模态数据的条件熵为也即Hmk|uk；则每对全模态数据和缺失模态数据的特征表示之间的互信息可以定义为： 互信息的数值能够量化在跨模态互信息最大化编码器第k层的全模态数据和缺失模态数据之间共享的信息量；根据变分信息最大化下界法，满足如下条件： 其中，pmk，uk为mk和uk的联合概率分布，pmk|uk为给定uk时，mk的条件概率分布，qmk|uk为通过跨模态互信息最大化编码器估计的pmk|uk的近似分布，为给定uk的条件下mk的对数似然期望值； 通过最小化改进近似分布qmk|uk的参数使其更接近实际的条件分布pmk|uk；则跨模态互信息最大化编码器将根据如下损失函数来优化： 其中，为跨模态互信息最大化编码器的损失函数，γk为一组超参数，且γk随k值的增加而增加，C、H、W分别为uk的通道数、高度和宽度，μk和σk分别为uk的均值和标准差，Z是为了确保函数为合法概率分布的配方常数； 所述知识对抗正则化模块对缺失模态数据的特征表示Fmissing进行调整，包括生成器Gkn和鉴别器Dkn； 所述生成器Gkn在缺失模态处理模型运行时接受缺失模态数据的特征表示Fmissing作为输入，对缺失模态数据的特征表示Fmissing经过多层次的非线性转换和特征提取以生成与全模态数据的特征表示Fmulti类似的虚假特征表示 所述鉴别器Dkn在缺失模态处理模型运行时接受虚假特征表示和全模态数据的特征表示Fmulti作为输入，借助区分全模态数据的特征表示Fmulti和虚假特征表示的先验知识，判断哪一个是全模态数据的特征表示Fmulti，哪一个是由生成器Gkn生成的虚假特征表示 所述知识对抗正则化模块的生成器Gkn与鉴别器Dkn将根据以下损失函数进行优化： 其中，为知识对抗正则化模块的损失函数； 所述训练基于跨模态互信息和对抗学习的缺失模态处理模型的过程为： s1：将全模态数据Xmulti和缺失模态数据Xmissing输入至跨模态互信息最大化编码器，优化跨模态互信息最大化编码器的损失函数得到跨模态互信息最大化编码器的输出结果为全模态数据的特征表示Fmulti和缺失模态数据的特征表示Fmissing； s2：将步骤s1得到的缺失模态数据的特征表示Fmissing和全模态数据的特征表示Fmulti输入至知识对抗正则化模块，包括以下步骤： s2.1：利用知识对抗正则化模块中的生成器Gkn对缺失模态数据的特征表示Fmissing经过多层次的非线性转换和特征提取，得到虚假特征表示 s2.2：利用知识对抗正则化模块中的鉴别器Dkn的先验知识，判断哪一个是全模态数据的特征表示Fmulti，哪一个是由生成器Gkn生成的虚假特征表示 s2.3：根据知识对抗正则化模块的损失函数优化生成器Gkn与鉴别器Dkn，从而以“软对齐”的方式对齐不同模态数据在潜在空间中的分布，得到知识对抗正则化模块的输出结果为虚假特征表示 s3：将虚假特征表示和全模态数据的特征表示Fmulti输入至混合注意力上采样层模块，得到的输出为缺失模态数据的增强特征F′missing，和全模态数据的增强特征F′multi； s4：将步骤s3得到的缺失模态数据的增强特征F′missing和全模态数据的增强特征F′multi输入至熵正则化模块，包括以下步骤： s4.1：生成器Gen接收全模态数据的增强特征F′multi作为输入，经过多层次的非线性转换和特征提取，由此得出全模态数据的初级分割图并计算出全模态数据的熵图Imulti； s4.2：生成器Gen接受缺失模态数据的增强特征F′missing作为输入，经过多层次的非线性转换和特征提取，由此得出缺失模态数据的初级分割图并计算出缺失模态数据的熵图 s4.3：鉴别器Dkn利用先验知识，判断Gen生成的是缺失模态数据的熵图还是全模态数据的熵图Imulti； s4.4：根据熵正则化模块的损失函数优化Gen和Dkn，从而让缺失模态数据的增强特征F′missing的熵分布逐渐接近于全模态数据的增强特征F′multi的熵分布，最小化缺失模态数据的增强特征F′missing的熵，得到熵正则化模块的输出结果为缺失模态数据的初级分割图 s5：将步骤s4.4得到的缺失模态数据的初级分割图输入至解码器中，得到最终的分割图； s6：缺失模态处理模型的总损失函数为： 其中，为跨模态互信息最大化编码器的损失函数，表示知识对抗正则化模块的损失函数，表示熵正则化模块的损失函数，为分割任务中缺失模态数据的分割损失函数与全模态数据的分割损失函数，λmissing、λmulti、λ、λ、λ分别为各损失函数的权重系数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东北大学，其通讯地址为：110819 辽宁省沈阳市和平区文化路3号巷11号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。