买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉哈尔滨理工大学申请的专利一种多模态对话情感识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116775873B 。

龙图腾网通过国家知识产权局官网在2025-09-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310738400.1，技术领域涉及：G06F18/24；该发明授权一种多模态对话情感识别方法是由王玉静;唐勇强;谢金宝;蒋雅冰;王玉龙设计研发完成，并于2023-06-20向国家知识产权局提交的专利申请。

本一种多模态对话情感识别方法在说明书摘要公布了：本发明提出一种多模态对话情感识别方法，属于对话情感识别技术领域。包括：S1.使用不同的编码器对每轮对话的单模态数据进行编码，得到对话中每个模态的特征表示；S2.对一轮对话的上下文对话信息进行聚合；S3.将对话中的每句话交互的多模态特征进行线性变换后进行模态间的特征融合；S4.基于辅助任务对每个模态的特征使用独立的分类器进行分类，使用主任务分类器对融合后的特征进行主任务情感分类，分别计算分类损失，最终模型损失由辅助任务和主任务损失进行加权计算；S5.将多模态数据输入至主任务分类器中，输出情感类别。解决没有结合所有对话上下文对情感信息进行充分的挖掘，各模态数据表达情感的关联性没有被充分利用的问题。

本发明授权一种多模态对话情感识别方法在权利要求书中公布了：1.一种多模态对话情感识别方法，其特征在于，包括以下步骤： S1.使用不同的编码器对每轮对话的单模态数据进行编码，得到对话中每个模态的特征表示，包括以下步骤： S11.使用TextCNN提取句子文本的原始特征； S12.使用双向长短时记忆网络对句子文本序列初步建模，编码句子文本序列的长期依赖关系，学习句子序列中的上下文信息； 其中，表示文本模态上下文无关的原始特征表示，表示表示上一句话语来自文本模态的高级特征表示，表示当前句话语来自文本模态的高级特征表示，表示下一句话语来自文本模态的高级特征表示； S13.OpenSmile工具包提取原始的声学特征； S14.使用在FER+语料库上预训练过的DenseNet模型来提取面部表情的原始特征； S15.采用全连接网络对语音和视觉模态原始特征进行建模； 其中，表示来自语音模态的高级特征表示，表示训练的权重参数，表示声学模态上下文无关的原始特征表示，表示偏置参数，表示表示视觉模态的高级特征表示，表示训练的权重参数，表示偏置参数，表示视觉模态上下文无关的原始特征表示； S16.对说话人的特征进行编码并嵌入到原始特征中，原始的说话人特征表示成独热向量si，说话人特征的嵌入Si的计算方式如式所示： 其中，Ws为可训练的权重参数，si表示说话人特征的独热向量，为偏置参数； 得到嵌入了说话人信息的原始特征，如下式所示： 其中表示嵌入了说话人信息的原始特征，为不包含说话人特征嵌入的原始特征，Sk表示当前句话语的说话人嵌入特征； S2.使用深度图卷积网络对一轮对话的上下文对话信息进行聚合； S3.将对话中的每句话交互后的文本模态、语音模态和视觉模态特征进行线性变换后进行模态间的特征融合； S4.基于辅助任务对每个模态的特征使用独立的分类器进行分类，使用主任务分类器对融合后的特征进行主任务情感分类，分别计算分类损失，最终模型损失由辅助任务和主任务损失进行加权计算； S5.将文本模态、语音模态和视觉模态的数据输入至主任务分类器中，输出情感类别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人哈尔滨理工大学，其通讯地址为：150080 黑龙江省哈尔滨市南岗区学府路52号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。