华南理工大学刘琦获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉华南理工大学申请的专利一种基于半监督学习的多模态交互情感分析方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119312153B 。
龙图腾网通过国家知识产权局官网在2025-10-21发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411145262.7,技术领域涉及:G06F18/241;该发明授权一种基于半监督学习的多模态交互情感分析方法是由刘琦;林锦濠设计研发完成,并于2024-08-20向国家知识产权局提交的专利申请。
本一种基于半监督学习的多模态交互情感分析方法在说明书摘要公布了:本发明公开了一种基于半监督学习的多模态交互情感分析方法。所述方法首先对语音、文本及视觉模态进行特征提取,接着通过模态内、模态间两大交互分支网络进行特征融合,最后基于门控机制自适应提取两大交互分支的融合信息,其中,模态内、模态间交互网络基于transformer的编码器结构,所不同的是多头自注意力层引入了所提出的注意力掩码机制;训练方法上,以半监督学习的方式,生成伪标签辅助模型稳定训练,减少了对标签数据的依赖。本发明解决了多模态情感分析领域存在的人工标注成本高昂以及如何挖掘有效交互信息的问题,提高了情感识别精度。
本发明授权一种基于半监督学习的多模态交互情感分析方法在权利要求书中公布了:1.一种基于半监督学习的多模态交互情感分析方法,其特征在于,包括以下步骤: S1、基于开源数据集,构建监督学习阶段所使用的训练集验证集和测试集同时,基于AMI数据集,构建半监督学习阶段所使用的无标签数据集Du; S2、通过语音编码器、文本编码器,对语音、文本进行特征提取;视觉模态则通过帧级别的人脸检测以获取人脸区域,随后使用视觉编码器对人脸区域进行视觉特征提取; S3、对提取到的语音、文本及视觉特征进行一维卷积操作,获得语音、文本及视觉的局部特征; S4、对局部特征进行模态编码,随后沿着特征长度的维度,与情感极性分类头和情感强度分类头拼接,最后进行位置编码,得到模态内模态间编码器的输入序列; S5、通过模态内编码器和模态间编码器对输入序列进行特征融合,得到模态内、模态间融合表征; S6、通过门控机制对模态内、模态间融合表征进行选择性过滤,接着经投影层映射,得到情感强度和极性预测,二者与情感极性标签、强度标签计算得到损失Ltotal,经梯度优化,选择在验证集上表现最好的,得到预训练模型; S7、通过步骤S6所得的预训练模型,对步骤S1构建得到的无标签数据集Du进行推理,得到预测及其置信度,对预测采取top-k筛选策略,得到包括情感极性标签的半监督数据集 S8、整合数据集D′u与有标签训练集重复步骤S2-S6,得到最终的情感识别模型; S9、通过步骤S8得到的情感识别模型,推理步骤S1所构建的测试集以此评估模型表现。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人华南理工大学,其通讯地址为:510640 广东省广州市天河区五山路381号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励