买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京邮电大学申请的专利一种多模态情感识别方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119559472B 。

龙图腾网通过国家知识产权局官网在2025-11-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411625181.7，技术领域涉及：G06V10/80；该发明授权一种多模态情感识别方法及系统是由孙宁;王月;张维亮设计研发完成，并于2024-11-14向国家知识产权局提交的专利申请。

本一种多模态情感识别方法及系统在说明书摘要公布了：本发明公开了一种多模态情感识别方法及系统，涉及图像处理技术领域，包括以下步骤：获取多模态情感数据和缺失情感数据，并进行标注，得到标注后的多模态情感数据和缺失情感数据，其中，所述多模态情感数据包括图像、语音和文本特征；将标注后的多模态情感数据和缺失情感数据输入至预先建立的基于蒸馏机制与对比学习的可训练的深度神经网络模型内，输出得到融合特征和更新的单模态特征；基于融合特征和更新的单模态特征，生成正负样本，基于正负样本将融合特征输入至全连接层，得到情感识别预测结果。

本发明授权一种多模态情感识别方法及系统在权利要求书中公布了：1.一种多模态情感识别方法，其特征在于，方法包括以下步骤： 获取多模态情感数据，并进行标注，将标注后的多模态情感数据进行随机屏蔽得到缺失情感数据，其中，所述多模态情感数据包括图像、语音和文本特征； 将标注后的多模态情感数据和缺失情感数据输入至预先建立的基于蒸馏机制与对比学习的可训练的深度神经网络模型内，输出得到融合特征和更新的单模态特征； 所述预先建立的基于蒸馏机制与对比学习的可训练的深度神经网络模型包括教师网络、学生网络、蒸馏算法模块和对比预测编码模块； 所述预先建立的基于蒸馏机制与对比学习的可训练的深度神经网络模型的构建过程包括以下步骤： 将完整模态数据作为教师网络模型输入进行训练，得到包含综合的多模态信息的教师融合特征，保存预训练权重； 将缺失特征作为学生模型的输入进行训练，得到学生融合特征； 将教师融合特征与学生融合特征共同输入到蒸馏算法中； 再将缺失数据经过学生模型的编码器的单模态特征与学生融合特征输入到对比预测编码模块中，保留有价值的关键任务信息，最终生成基于蒸馏机制与对比学习的可训练的深度神经网络模型； 所述蒸馏算法通过将综合的多模态知识嵌入到学生模型中，以利用完整模态信息来辅助数据缺失的学习，蒸馏算法建立在关系一致性来转移教师知识，其输入为教师融合-学生的融合层表示； 所述对比预测编码模块使用一个作用于两种归一化向量的评分函数，衡量单模态特征与融合表示的相关性，处于同一融合关系的单模态-融合表示视作正样本对，将同一批次中的其他单模态与融合表示视作负样本对，最后三个模态与融合表示的对比损失并相加构成最终的对比损失结果； 基于融合特征和更新的单模态特征，生成正负样本，基于正负样本将融合特征输入至全连接层，得到情感识别预测结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京邮电大学，其通讯地址为：210003 江苏省南京市鼓楼区新模范马路66号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。