买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州电子科技大学申请的专利一种基于模态增强卷积图的多模态情感分类方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115659242B 。

龙图腾网通过国家知识产权局官网在2025-09-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211377291.7，技术领域涉及：G06F18/241；该发明授权一种基于模态增强卷积图的多模态情感分类方法是由孔万增;倪斌斌;唐佳佳;杨宇涛;戴玮成;朱莉设计研发完成，并于2022-11-04向国家知识产权局提交的专利申请。

本一种基于模态增强卷积图的多模态情感分类方法在说明书摘要公布了：本发明公开一种基于模态增强卷积图的多模态情感分类方法。本发明提出了一个新的模态增强融合框架，它基于图卷积神经网络，为融合未对齐的多模态序列提供了一个有效的方法。在文本模态的帮助下，首先使用多模态增强模块来增强视觉和听觉模态以获得具有更强情感鉴别性的模态信息，从而帮助后续的聚合过程。此外，还构建了文本驱动的多模态特征图来进行模态融合，这可以有效地处理图卷积聚合过程中各模态之间的不平衡问题。最后将模态增强卷积图中提取的融合信息整合到文本表征中，从而动态地将原始文本表征向最准确的多模态语义空间转化。相比于现有多模态融合方法，本发明的结果更优。

本发明授权一种基于模态增强卷积图的多模态情感分类方法在权利要求书中公布了：1.一种基于模态增强卷积图的多模态情感分类方法，其特征在于包括以下步骤： 步骤1、获取多模态数据；所述多模态数据包括语音模态、视频模态、文本模态； 步骤2、多模态信息数据预处理，抽取初级表征； 步骤3、利用多模态增强，获取与文本模态最相关的语音模态和视频模态中的复杂情感上下文相关信息；具体是： 3-1将文本模态初级特征数据Xt和其他模态初级特征数据Xs，s∈{a,v}通过矩阵点乘运算映射到一个跨模态情感交互空间，即构建一个联合的跨模态情感表示空间，表示为： Xm＝Xt⊙Xs,s∈{a,v}#3 其中⊙表示矩阵点乘运算；a、v分别表示语音模态和视频模态； 3-2由于其他模态数据的信息在跨模态联合表示空间中与文本模态一起被丰富起来，利用L2范数归一化联合表示数据，用以计算文本模态对其他两种模态的影响，表示为： X′m＝||Xm||2#4 3-3利用归一化后联合表示数据改变输入时其他模态数据Xs在其原始语义空间中的位置，得到文本丰富处理后的其他模态数据X's，表示为： X's＝X'm+Xs，s∈{a,v}#5 步骤4、构造多模态卷积图进行模态融合 为了捕捉跨模态的情感信息，构建一个谱域图卷积网络编码多模态语境信息，进行文本驱动的跨模态融合，得到文本驱动下的多模态情感融合信息hs； 所述谱域图卷积网络包括2N个多模态无向图，其中N表示文本模态的数量，具体包括N个文本-语音模态图Gta＝Vta,Eta，以及N个文本-视觉图Gtv＝Vtv,Etv；Vts,s∈{v,a}表示文本模态分别与语音模态、视频模态的话语节点；是一个包含不同模态关系的集合，表示时域和特征域中的情感语境； 步骤5、对文本驱动下的多模态情感融合信息hs进行多模态情感分类。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州电子科技大学，其通讯地址为：310018 浙江省杭州市下沙高教园区2号大街；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。