买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京理工大学申请的专利一种基于多模态协同优化的情感识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120892820B 。

龙图腾网通过国家知识产权局官网在2025-12-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511414703.3，技术领域涉及：G06F18/214；该发明授权一种基于多模态协同优化的情感识别方法是由任懿;李勇;崔振;张桐;谢国森设计研发完成，并于2025-09-30向国家知识产权局提交的专利申请。

本一种基于多模态协同优化的情感识别方法在说明书摘要公布了：本发明公开了一种基于多模态协同优化的情感识别方法，构建融合脑电和人脸的情感识别网络。对于脑电模态，基于脑电大模型，结合时序卷积、时空嵌入及前缀向量与适配器混合微调，获得高质量脑电表征。对于人脸模态，构建AU与非AU双特征流，通过时序卷积、自注意力及双向跨特征流注意力实现情感线索与上下文的深度交互。在单模态交替迭代训练阶段，引入多模态互补约束与记忆巩固正则项，进一步促进多模态协同优化效果。在多模态融合阶段，各模态特征经适配器映射至相同维度的空间，并与类别token一同输入多模态Transformer，实现脑电与人脸的深度融合，生成多模态融合特征进行情感识别。本发明能够促进多模态协同优化，显著提升情感识别的精准度与鲁棒性。

本发明授权一种基于多模态协同优化的情感识别方法在权利要求书中公布了：1.一种基于多模态协同优化的情感识别方法，其特征在于，包括： 步骤1，获取包括脑电数据和人脸数据的多模态数据集； 步骤2，构建情感识别网络； 步骤3，将多模态数据集划分为训练集和验证集，对情感识别网络进行训练和测试，获得情感识别模型； 所述情感识别网络的构建步骤包括： 构建脑电编码器对脑电数据进行特征提取，得到脑电模态特征； 构建人脸编码器对人脸数据进行特征提取，得到人脸模态特征； 构建多模态交互融合模块对脑电模态特征和人脸模态特征进行融合，得到多模态融合特征； 构建情感分类器，以多模态融合特征为输入，得到对应的识别结果； 对情感识别网络的训练包括两个阶段： 第一阶段，采用单模态交替迭代训练策略对脑电编码器和人脸编码器进行训练： 利用脑电编码器和人脸编码器分别提取脑电模态特征与人脸模态特征，在此基础上，分别采用一个由自注意力模块和池化层构成的模态分类器对脑电模态特征与人脸模态特征进行情感识别，得到相应的预测结果； 在训练过程中，脑电编码器和人脸编码器交替迭代更新，每次迭代仅更新其中的一个以及其对应模态分类器的参数，而另一个则保持冻结状态； 第二阶段，冻结脑电编码器和人脸编码器的参数，对多模态交互融合模块和情感分类器进行训练； 第一阶段的损失函数，其中，表示单模态情感分类损失，表示多模态互补约束项，表示记忆巩固正则项，和表示平衡损失函数的超参数，表示KL散度，表示多模态数据集中第i个样本在当前激活模态m下的特征，表示当前激活模态m对应编码器的输出，表示当前激活模态m下推理得到的预测结果，表示多模态数据集中第i个样本在冻结模态j下的特征，表示冻结模态j对应编码器的输出，表示冻结模态j下推理得到的预测结果，表示由所有冻结模态推理得到的预测结果，为模态集合，E表示脑电模态，F表示人脸模态；和分别表示脑电编码器和人脸编码器参数梯度，表示对应的情感类别标签，和分别表示脑电模态和人脸模态下的预测结果，和分别表示基于交叉熵损失函数计算的脑电模态和人脸模态下的情感分类损失； 步骤4，利用情感识别模型，实现情感识别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京理工大学，其通讯地址为：210094 江苏省南京市玄武区孝陵卫街道孝陵卫街200号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。