买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉苏州大学申请的专利基于变分蒸馏的多模态联合表示学习方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114841335B 。

龙图腾网通过国家知识产权局官网在2025-06-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210062288.X，技术领域涉及：G06N3/082；该发明授权基于变分蒸馏的多模态联合表示学习方法及系统是由张亚伟;王晶晶;李寿山设计研发完成，并于2022-01-19向国家知识产权局提交的专利申请。

本基于变分蒸馏的多模态联合表示学习方法及系统在说明书摘要公布了：本发明涉及一种基于变分蒸馏的多模态联合表示学习方法，包括部署学生模型、文本教师模型和图像教师模型，多模态数据包括原始的文本模态数据和图像模态数据，整理得到输入相同的文本模态输入和图像模态输入；将其分别输入至模态联合表示模块，得到文本输出和图像输出，将原始的文本模态数据和图像模态数据输入至文本教师模型和图像教师模型，得到文本输出和图像输出；利用变分互信息表征学生模型和教师模型对应的文本输出和图像输出的相关性，将文本输出和图像输出利用蒸馏损失函数进行联合蒸馏训练，使学生模型获得匹配教师模型的能力。本发明提出一种基于变分蒸馏的多模态联合表示学习方法及系统，在不同模态数据集上均超越了现有的基准模型。

本发明授权基于变分蒸馏的多模态联合表示学习方法及系统在权利要求书中公布了：1.一种基于变分蒸馏的多模态联合表示学习方法，其特征在于，包括以下步骤： 部署学生模型和教师模型，所述教师模型包括文本教师模型和图像教师模型，所述学生模型包括多模态数据统一模块，输入原始多模态数据，其中所述原始多模态数据包括原始文本模态数据和原始图像模态数据，将原始文本模态数据和原始图像模态数据输入至多模态数据统一模块，得到输入形式相同的文本模态输入和图像模态输入，并对文本模态输入和图像模态输入进行归一化操作； 所述学生模型包括模态联合表示模块，将归一化操作后的文本模态输入和图像模态输入分别输入至模态联合表示模块，得到所述学生模型的文本输出和图像输出，同时将原始文本模态数据和原始图像模态数据分别输入至文本教师模型和图像教师模型，得到教师模型的文本输出和图像输出； 利用变分互信息表征所述学生模型和教师模型对应的文本输出和图像输出之间的相关性，并将所述文本输出和图像输出利用蒸馏损失函数进行联合蒸馏训练，以使学生模型同时获得匹配所述文本教师模型和图像教师模型的能力； 其中所述多模态数据统一模块部署于所述模态联合表示模块的前端，利用所述多模态数据统一模块将原始文本模态数据和原始图像模态数据整理成相同的输入形式，得到文本模态输入和图像模态输入； 将原始文本模态数据和原始图像模态数据整理成相同的输入形式，得到文本模态输入和图像模态输入，包括： 在原始文本模态数据中增加[CLS]符号和[SEP]符号，同时在原始文本模态数据中的句子的末尾增加[DIS]符号，并通过词向量矩阵得到文本模态输入； 将原始图像模态数据分割成若干图片块，将每个图片块拉伸成一维向量，在一维向量的开始位置和末尾位置增加[CLS]符号和[DIS]符号，并通过维度缩放得到与文本模态输入形式相同的图像模态输入。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人苏州大学，其通讯地址为：215000 江苏省苏州市吴中区石湖西路188号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。