买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南方电网人工智能科技有限公司申请的专利鲁棒多模态情感识别方法、装置、计算机设备、可读存储介质和程序产品获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119128593B 。

龙图腾网通过国家知识产权局官网在2025-11-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411263472.6，技术领域涉及：G06F18/24；该发明授权鲁棒多模态情感识别方法、装置、计算机设备、可读存储介质和程序产品是由李轩昂;吴石松;梁寿愚;卢志良;陈柔伊;董召杰;赵翔宇;王鹏凯;任正国;林全郴;李晋伟;陈骞;郑桦;冯勤宇;李成设计研发完成，并于2024-09-10向国家知识产权局提交的专利申请。

本鲁棒多模态情感识别方法、装置、计算机设备、可读存储介质和程序产品在说明书摘要公布了：本申请涉及一种鲁棒多模态情感识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，涉及自然语言处理技术领域。所述方法包括：获取目标场景下的待识别语料；将所述待识别语料进行语音识别处理，得到待识别文本；将所述待识别语料和所述待识别文本输入预训练的多模态情感识别模型，得到待识别语料对应的情感标签；所述预训练的多模态情感识别模型通过预设语料库进行隐含特征重构和特征对齐后训练得到；所述预设语料库包括干净语料和带噪语料；所述隐含特征重构用于补全所述带噪语料相对于所述干净语料损坏的数据；所述特征对齐用于减小所述带噪语料和所述干净语料的特征空间的分布差异。采用本方法能够提高语音的情感识别准确度。

本发明授权鲁棒多模态情感识别方法、装置、计算机设备、可读存储介质和程序产品在权利要求书中公布了：1.一种鲁棒多模态情感识别方法，其特征在于，所述方法包括： 获取目标场景下的待识别语料； 将所述待识别语料进行语音识别处理，得到待识别文本； 将所述待识别语料和所述待识别文本输入预训练的多模态情感识别模型，得到语音隐含特征和文本隐含特征；分别对所述语音隐含特征和所述文本隐含特征进行平均池化，得到平均池化后的语音隐含特征和平均池化后的文本隐含特征，将所述平均池化后的语音隐含特征和所述平均池化后的文本隐含特征进行特征拼接操作，得到多模态高级特征；将所述多模态高级特征输入所述多模态情感识别模型的情感分类器，得到待识别语料对应的情感标签；所述预训练的多模态情感识别模型通过预设语料库进行隐含特征重构和特征对齐后训练得到；所述预设语料库包括干净语料和带噪语料；所述隐含特征重构用于补全所述带噪语料相对于所述干净语料损坏的数据；所述特征对齐用于减小所述带噪语料和所述干净语料的特征空间的分布差异； 其中，所述预训练的多模态情感识别模型通过下述方法得到： 对所述预设语料库进行特征提取，得到所述干净语料的初级特征和所述带噪语料的初级特征； 采用多模态Transformer编码器分别对所述干净语料的初级特征和所述带噪语料的初级特征进行特征提取，得到所述干净语料的隐含特征和所述带噪语料的隐含特征； 对所述带噪语料的隐含特征依次进行解码处理和重构处理，得到所述带噪语料的重构后的隐含特征和局部特征重构目标函数； 分别计算所述干净语料的隐含特征和所述带噪语料的重构后的隐含特征各自对应的多模态高级特征； 对所述干净语料的多模态高级特征和所述带噪语料的多模态高级特征进行特征对齐处理，得到特征对齐目标函数； 根据所述局部特征重构目标函数和所述特征对齐目标函数，对预设情感识别模型进行训练，得到预训练的多模态情感识别模型； 其中，所述局部特征重构目标函数，对应的公式包括： 其中，L1代表L1范数损失函数，表示局部重构的损失，表示带噪语音的初级特征，表示带噪文本的初级特征，Ma表示语音语料的掩蔽矩阵，Mt表示带噪文本的掩蔽矩阵；Da表示带噪语音的重构后的隐含特征；Dt表示带噪文本的重构后的隐含特征； 其中，所述特征对齐目标函数，对应的公式包括： 其中，h表示带噪语料的多模态高级特征，表示干净语料的多模态高级特征，JSD代表Jensen-Shannon散度，能够衡量两个概率分布之间的差异程度，表示特征对齐损失。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南方电网人工智能科技有限公司，其通讯地址为：510700 广东省广州市黄埔区中新广州知识城亿创街1号406房之822；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。