买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉重庆大学申请的专利面向对话场景的多模态情感识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119397025B 。

龙图腾网通过国家知识产权局官网在2025-10-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411227725.4，技术领域涉及：G06F16/353；该发明授权面向对话场景的多模态情感识别方法是由苏晓杰;田宇沃;于忠良;黄江帅设计研发完成，并于2024-09-03向国家知识产权局提交的专利申请。

本面向对话场景的多模态情感识别方法在说明书摘要公布了：本申请提供一种面向对话场景的多模态情感识别方法，涉及计算机处理技术领域。方法包括：获取包括记录同一对话场景的音频文件、视频文件和文本文件的待测样本；通过预设多模态情感识别策略，对待测样本进行情感识别，分别得到包括待测样本对应的单模态预测概率分布的第一识别结果和包括待测样本对应的多模态融合预测概率分布的第二识别结果；对第一识别结果和第二识别结果进行拼接，得到表征当前语句情感状态的情感预测结果。如此，通过对对话场景中的语句进行单模态和多模态的双重情感识别，并对二者进行拼接得到情感预测结果，能够更好的适应复杂对话场景对情感识别结果造成的影响，改善情感识别误差较大、与情感影响因素关联性较低的问题。

本发明授权面向对话场景的多模态情感识别方法在权利要求书中公布了：1.一种面向对话场景的多模态情感识别方法，其特征在于，所述方法包括： 获取待测样本，所述待测样本包括记录同一对话场景的音频文件、视频文件和文本文件； 通过预设多模态情感识别策略，对所述待测样本进行情感识别，分别得到第一识别结果和第二识别结果，所述第一识别结果包括所述待测样本对应的单模态预测概率分布，所述第二识别结果包括所述待测样本对应的多模态融合预测概率分布； 对所述第一识别结果和所述第二识别结果进行拼接，得到表征所述待测样本中，当前语句情感状态的情感预测结果； 其中，通过预设多模态情感识别策略，对所述待测样本进行情感识别，分别得到第一识别结果和第二识别结果，包括： 对所述待测样本进行特征提取，得到所述音频文件对应的音频特征、所述视频文件对应的视频特征以及所述文本文件对应的文本特征，作为特征集； 对所述特征集进行特征编码，得到所述特征集对应的编码特征； 对所述编码特征进行图卷积运算，得到图卷积运算结果，所述图卷积运算结果包括所述音频特征、所述视频特征和所述文本特征分别对应的模态内特征； 对所述卷积运算结果进行情感识别，得到所述第一识别结果，所述第一识别结果包括所述待测样本中每个语句的不同模态对应的所述单模态预测概率分布； 根据所述卷积运算结果，通过预设多头注意力拼接策略，对所述音频特征、所述视频特征和所述文本特征分别对应的所述模态内特征进行拼接，得到多模态特征； 对所述多模态特征进行情感识别，得到所述第二识别结果，所述第二识别结果包括所述待测样本中每个语句对应的所述多模态融合预测概率分布； 其中，根据所述卷积运算结果，通过预设多头注意力拼接策略，对所述音频特征、所述视频特征和所述文本特征分别对应的所述模态内特征进行拼接，得到多模态特征，包括： 将所述音频特征和所述视频特征映射至文本空间，作为单个注意力头的注意力输出： ； 其中： ； 式中，、和表示音频特征、文本特征和视频特征分别对应的卷积运算结果，、和表示将视频特征映射至文本空间得到的注意力参数，、和表示将音频特征映射至文本空间得到的注意力参数，、、、、和分别表示可训练的权重矩阵； 对所述音频特征对应的所述注意力输出、所述视频特征对应的所述注意力输出分别进行拼接，得到所述音频特征和所述视频特征在所述文本空间内的注意力特征： ； 式中，表示音频特征在文本空间内的注意力特征，表示视频特征在文本空间内的注意力特征，表示拼接，表示注意力头的数量； 对所述音频特征在文本空间内的注意力特征、所述视频特征在文本空间内的注意力特征、以及文本模态的编码特征对应的所述卷积运算结果进行拼接，得到所述多模态特征： ； 式中，表示多模态特征，表示文本模态的编码特征对应的卷积运算结果； 其中，对所述多模态特征进行情感识别，得到所述第二识别结果，包括： 将所述待测样本中的每个语句作为一个节点，根据所述节点对应的所述多模态特征，识别当前节点与同一段对话中其他节点的连接关系，得到关系特征： ； 式中，表示第个节点的关系特征，表示第个节点对应的多模态特征，表示第个节点对应的多模态特征，，表示与第个节点处于同一段对话内的所有节点的集合，为归一化常数，和表示可训练的参数； 获取所述当前节点与所述同一段对话中的其他节点之间的权重参数； 根据每个节点对应的关系特征以及所述权重参数，确定每个所述节点的全局特征： ； 式中，表示第个节点对应的全局特征，表示第个节点对应的关系特征，表示第个节点对应的关系特征，，表示与第个节点处于同一段对话内的所有节点的集合，和表示可训练的权重矩阵，表示权重参数； 根据所述关系特征和所述全局特征，确定所述第二识别结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人重庆大学，其通讯地址为：400030 重庆市沙坪坝区正街174号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。