海信电子科技(武汉)有限公司许畅获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉海信电子科技(武汉)有限公司申请的专利电子设备及基于多通路融合的多模态情感分类方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116089853B 。
龙图腾网通过国家知识产权局官网在2026-02-13发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211634753.9,技术领域涉及:G06F18/24;该发明授权电子设备及基于多通路融合的多模态情感分类方法是由许畅;廖嘉璇设计研发完成,并于2022-12-19向国家知识产权局提交的专利申请。
本电子设备及基于多通路融合的多模态情感分类方法在说明书摘要公布了:本申请提供一种电子设备及基于多通路融合的多模态情感分类方法,所述电子设备通过响应用户输入的情感识别指令,获取待分类信号。并将分类信号中的语音信号、图像信号以及文本信号转化为分类数据。分别提取分类数据中语音数据、图像数据以及文本数据的情感特征,以得到音频情感特征、图像情感特征以及文本情感特征,并将上述情感特征进行特征融合,最后通过情感分类模型对情感融合特征进行情感预测,得到情感分类结果。本申请通过将音频、图像和文本三种模态的情感特征进行融合,并情感融合特征进行情感预测,能够从多个情感维度对情感数据进行识别,提高情感识别的准确度,加快情感分类效率,提高用户体验感。
本发明授权电子设备及基于多通路融合的多模态情感分类方法在权利要求书中公布了:1.一种电子设备,其特征在于,包括: 用户接口,被配置为分别获取用户输入的语音信号、图像信号以及文本信号; 存储器,所述存储器中存储有情感分类模型; 控制器,被配置为: 响应于用户输入的情感识别指令,获取待分类信号,所述待分类信号包括用户输入的语音信号、图像信号以及文本信号; 将所述待分类信号转化为分类数据,所述分类数据包括语音数据、图像数据以及文本数据; 对所述语音数据、所述图像数据以及文本数据进行情感特征提取,以得到音频情感特征、图像情感特征以及文本情感特征; 通过所述情感分类模型的编码器模块对所述音频情感特征、所述图像情感特征以及所述文本情感特征进行编码,分别得到音频情感编码、图像情感编码以及文本情感编码; 在所述音频情感编码、所述图像情感编码以及所述文本情感编码中提取模态隐向量; 所述模态隐向量包括音频情感隐向量、图像情感隐向量以及文本情感隐向量; 通过注意力机制以及所述音频情感隐向量、所述图像情感隐向量以及所述文本情感隐向量建立模态矩阵,所述模态矩阵包括图像注意力矩阵、音频注意力矩阵和文本注意力矩阵; 根据所述音频情感隐向量计算音频线性映射数据,以及,根据所述图像情感隐向量计算图像线性映射数据; 计算所述音频线性映射数据与所述图像线性映射数据的交互特征; 根据所述交互特征拼接所述图像注意力矩阵和所述音频注意力矩阵,得到图音注意力矩阵; 对所述图音注意力矩阵执行卷积操作,得到双模态矩阵; 拼接所述双模态矩阵和所述文本注意力矩阵,得到图音文注意力矩阵; 对所述图音文注意力矩阵执行卷积操作,得到三模态矩阵; 根据所述三模态矩阵提取情感融合特征; 通过所述情感分类模型对所述情感融合特征进行情感预测,得到情感分类结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人海信电子科技(武汉)有限公司,其通讯地址为:430073 湖北省武汉市东湖新技术开发区软件园东路1号软件产业4.1期B2栋13层02号-2;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励