买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州电子科技大学申请的专利一种基于多模态注意力机制的情感分类方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114169408B 。

龙图腾网通过国家知识产权局官网在2025-12-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111368526.1，技术领域涉及：G06F18/24；该发明授权一种基于多模态注意力机制的情感分类方法是由孔万增;郭继伟;唐佳佳;刘栋军;刘国文;崔岂铨设计研发完成，并于2021-11-18向国家知识产权局提交的专利申请。

本一种基于多模态注意力机制的情感分类方法在说明书摘要公布了：本发明公开一种基于多模态注意力机制的情感分析方法。本发明利用异构图不同节点之间的复杂的关系去构建多个模态之间的交互。在多个模态信息交互的过程中，将不同的模态信息汇聚到一个紧凑的多模态表示中，用于偏移文本模态信息在语义空间中的位置。同时，多模态注意力机制技术能够以一种细粒度的方式对于多模态信息做融合，因此能够很好的解决在多模态学习中存在的固有问题，即行为信息的变化频率通常快于文本信息的变化频率。通过实验发现，该方法在不同任务的情感分析取得很好的表现，说明多模态注意力机制应用在情感分析任务的可行性，是对当前情感识别领域的多模态融合框架提供了新的研究手段。

本发明授权一种基于多模态注意力机制的情感分类方法在权利要求书中公布了：1.一种基于多模态注意力机制的情感分类方法，其特征在于：步骤1、获取不同情感类别下的多模态特征信息； 步骤2、对多模态特征信息进行预处理，抽取音频模态、视频模态和语言模态的初级表征、、；音频模态、视频模态的初级表征、，通过长短期记忆网络分别处理初始的音频模态、视频模态特征信息的方式获得；语言模态的初级表征，通过对语言模态特征信息进行映射操作的方式获得； 步骤3、异构的多模态交互图的构建： 3-1.将对齐的多模态数据进行分割操作；用一个三元组表示第个单词对应的三个模态特征信息；将语言、视频和音频模态分别划分为，，；其中，N代表的是划分的节点数；将、、依次连接，形成；其中M=3N； 3-2.针对每个语言模态节点，分别计算其相对于自身及所有视频和音频模态节点的重要性如下： ； 其中，为权矩阵；a·表示节点执行注意力机制；；i=1,2,...,N； 3-3.对所有相邻节点之间的重要性进行归一化处理，得到对应的相关系数； 3-4.利用不同节点之间的相关系数更新语言模态节点；第个语言模态节点的更新表达式如下： ； 其中，R·为非线性激活函数； 3-5.将一个单词更新后的所有语言模态节点拼接在一起得到多模态表示如下： ； 3-6.通过缩放因子补充视频和音频模态内部的连续性，得到更新的多模态表示如下： ； 其中，表示逐元素相加；为缩放因子；所述的缩放因子通过交叉验证机来确定； 3-7.偏移语言模态中单词在语义空间中的位置，获得偏移后的语言模态信息如下： ； 步骤4、利用语言模态信息训练分类模型后，使用分类模型对被测者的多模态信息进行识别，获得被测者在采集多模态信息时的情感类别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州电子科技大学，其通讯地址为：310018 浙江省杭州市下沙高教园区2号大街；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。