买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华南师范大学申请的专利一种多模态情绪识别方法、装置、电子设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115359576B 。

龙图腾网通过国家知识产权局官网在2025-08-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210906831.X，技术领域涉及：G06V40/70；该发明授权一种多模态情绪识别方法、装置、电子设备及存储介质是由潘家辉;方伟杰;张志航;王恒畅设计研发完成，并于2022-07-29向国家知识产权局提交的专利申请。

本一种多模态情绪识别方法、装置、电子设备及存储介质在说明书摘要公布了：本发明涉及一种多模态情绪识别方法、装置、电子设备及存储介质。本发明所述的多模态情绪识别方法包括获取受试者的脑电信号、人脸信号和语音信号；分别对脑电信号、人脸信号和语音信号进行预处理后，分别将脑电信号、人脸信号和语音信号输入训练好的脑电情绪识别模型、人脸情绪识别模型和语音情绪识别模型，得到脑电信号、人脸信号和语音信号对应每种情绪的概率；使用最优权值分布算法，对脑电信号对应每种情绪的概率、人脸信号对应每种情绪的概率和语音信号对应每种情绪的概率进行权重赋值和加权融合，得到受试者对应的情绪类别。本发明的多模态情绪识别方法，有效地提高了情绪识别的准确率以及鲁棒性。

本发明授权一种多模态情绪识别方法、装置、电子设备及存储介质在权利要求书中公布了：1.一种多模态情绪识别方法，其特征在于，包括以下步骤： 获取受试者的脑电信号、人脸信号和语音信号； 分别对所述脑电信号、所述人脸信号和所述语音信号进行预处理后，分别将所述脑电信号、所述人脸信号和所述语音信号输入训练好的脑电情绪识别模型、人脸情绪识别模型和语音情绪识别模型，得到所述脑电信号、所述人脸信号和所述语音信号对应每种情绪的概率； 使用最优权值分布算法，对所述脑电信号对应每种情绪的概率、所述人脸信号对应每种情绪的概率和所述语音信号对应每种情绪的概率进行权重赋值； 使用所述最优权值分布算法得到的权重赋值，对所述脑电信号对应每种情绪的概率、所述人脸信号对应每种情绪的概率和所述语音信号对应每种情绪的概率进行加权融合，得到所述受试者对应的情绪类别，具体包括： S31：获取所述脑电信号对应每种情绪的概率、所述人脸信号对应每种情绪的概率和所述语音信号对应每种情绪的概率，作为最优权值分布算法的输入，其中，n模态对应n个回归模型，共T次试验用于预测，第k个模型中试验t的预测平均唤醒评分为Atk，k∈{1，2，3,…，n}，t∈{1，2，3,…,T}； S32：初始化权重集为{0.00，0.01，0.02，...,0.98，0.99,1.00}，初始化均方根误差最小值为RSmin； S33：在中循环枚举n个模态的权重，第k个模态的权重为ωk，当所有权重之和为1时，使用以下公式，计算当前权重分布下的多模态融合得到的预测唤醒分数 其中，为当前权重分布下的多模态融合得到的预测唤醒分数，k∈{1，2，3,…，n}，n为模态总数量，ωk为第k个模态的权重，Atk为第k个模型中试验t的预测平均唤醒评分； S34：使用以下公式，计算当前权重分布下T次试验的均方根误差RScut： 其中，RScut为当前权重分布下T次试验的均方根误差，为当前权重分布下的多模态融合得到的预测唤醒分数；yt为真实的唤醒分数； S35：比较RScut和RSmin的大小关系；当RScutRSmin时，认为当前权重分布下融合效果更好，因此要将RSmin更新为RScut的值；当RScut≥RSmin，则保留当前RSmin； S36：迭代执行S33-S35，直至循环枚举结束，保存RSmin对应的权重分布，作为所述脑电信号对应每种情绪的概率、所述人脸信号对应每种情绪的概率和所述语音信号对应每种情绪的概率的权重赋值。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华南师范大学，其通讯地址为：528225 广东省佛山市南海区狮山南海软件园华南师范大学软件学院；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。