买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华南师范大学申请的专利一种基于脑电图和微表情的多模态情绪识别和意识检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118902458B 。

龙图腾网通过国家知识产权局官网在2025-07-15发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410970432.9，技术领域涉及：A61B5/16；该发明授权一种基于脑电图和微表情的多模态情绪识别和意识检测方法是由潘家辉;陈宗楠;金家瑞设计研发完成，并于2024-07-19向国家知识产权局提交的专利申请。

本一种基于脑电图和微表情的多模态情绪识别和意识检测方法在说明书摘要公布了：本发明公开了一种基于脑电图和微表情的多模态情绪识别和意识检测方法，具体包括如下步骤：特征提取，关注多通道脑电信号的关联并提取微表情特征，通过特征层对脑电图和微表情进行特征融合，形成多模态特征；对于脑电图特征，处理步骤如下：a、对原始脑电信号进行预处理，包括剔除伪影、滤波和成分去除；b、预处理后，根据输出大小将每个通道的脑电图数据分割成不重叠的1秒间隔，以提取脑电图特征；通过脑电图和微表情的多模态融合特征进行情绪识别，并用距离来衡量意识障碍患者和正常人情绪表达之间的差距，来区分意识状态的好坏程度，起到意识状态辅助检测的目的。

本发明授权一种基于脑电图和微表情的多模态情绪识别和意识检测方法在权利要求书中公布了：1.一种基于脑电图和微表情的多模态情绪识别和意识检测方法，其特征在于：具体包括如下步骤： 步骤一：特征提取，关注多通道脑电信号的关联并提取微表情特征，通过特征层对脑电图和微表情进行特征融合，形成多模态特征； 对于脑电图特征，处理步骤如下： a、对原始脑电信号进行预处理，包括剔除伪影、滤波和成分去除； b、预处理后，根据输出大小将每个通道的脑电图数据分割成不重叠的1秒间隔，以提取脑电图特征； 步骤二：构建情绪识别模型，选择SwinTransformer作为模型的骨干网络，在定制SwinTransformer时，模型优化补丁大小和网络深度，使之与特征张量的维度相一致；确保了STST模型符合情感识别任务的要求，并能充分发挥SwinTransformer架构的潜力； 步骤三：情绪对比指标，将准确性作为基准，将其模型性能与其他已有方法进行比较，在情绪分类方面的功效提供了一个量化的衡量标准； 步骤四：实验数据集，在公开数据集上，在多模态数据集MAHNOB-HCI上检测其情绪识别准确率； 步骤五：实验数据预处理，使用了公开数据集和自采数据集，并对这两种数据集采用了一致的数据预处理流程，以确保结果的可比性和稳健性； 步骤六：实验参数设置，提取DE作为脑电模态的输入，提取连续的人脸图像序列作为微表情模态的输入；它们的输入大小分别为56×56×5；脑电图模态表示5个脑电图频带，微表情模态表示在0.2秒内均匀连续变化的5幅人脸图像；在公共数据集上验证了；方法的可行性，然后在健康受试者的数据上进行预训练，并在MCS患者的数据上进行微调；最后，在UWS患者的数据上计算评估指标； 在所述步骤一中，对于脑电图和微表情的多模态特征融合，使用一种针对于脑电图和微表情数据的时空注意力机制多模态特征融合架构，旨在从多模态数据流中分离出情感上的显著特征； 在时间注意力模块中，输入的微表情特征Xme最初通过一个1×1卷积层表示为Wv进行处理，生成一个转换特征；随后，这些特征经过重塑，维度为Cme×2HW，H和W分别表示特征图的高度和宽度；另一个1×1卷积层Wq用于生成查询特征，然后通过softmax层计算注意力分布；该注意力分布图与转置特征元素相乘，得到时间注意力特征图Zta；时间注意力机制旨在捕捉微表情图像序列中的时间信息；它利用注意力权重，捕捉相同空间位置随时间的变化来描述微表情的特征；表示这一过程的公式如下： 其中，Wq、Wv和Wz是1×1卷积层，σ1和σ2是两个张量重塑算子，是矩阵点积运算，⊙是通道乘法；Fsm是Softmax运算符；包括Wz卷积运算，然后是层正则化和Sigmoid运算符； 与此同时，空间注意力机制以类似的方式处理输入的脑电图特征Xeeg；该机制通过全局池化和重塑操作计算空间注意力分布；随后，该分布通过softmax和sigmoid层生成空间注意力特征Zsa；空间注意力机制善于捕捉脑电信号同一频段内不同通道的空间注意力信息；表示这一过程的公式如下： 其中，Wq和Wv是1×1卷积层，σ1和σ2是两个张量重塑算子，是矩阵点积运算，⊙是通道乘法，G是全局池化算子；Fsm是Softmax运算符；σs由一个张量重塑运算符和一个Sigmoid运算符组成； 在脑电图和微表情特征的融合模型中，注意力机制得到了整合，以适应单一模态输入X； 在模型中，首先将脑电图和微表情特征结合起来；为了加强特征表征，将多层单模态输入叠加到时空注意机制上；在领域协调机制中，时间注意力特征Zta和空间注意力特征Zsa通过PReLU激活函数进行非线性转换；PReLU通过引入可学习参数来调整输入负部分的斜率，从而增强了模型从数据中学习复杂模式的能力；然后，将各自的结果与相加的融合特征进行通道乘法运算，求和的结果通过Sigmoid函数进行处理，输出最终的融合特征Zdc；域协调机制的计算公式如下： Zdc_1＝x⊙FsgFprlZta+FprlZsa☉Ata+Zsa Zdc_2＝FsgFprlZta+FprlZsa☉Zta+Zsa 其中，Zdc_1和Zdc_2分别是输入多模态数据或脑电图和微表情两个维度时得到的输出；Fsg表示sigmoid算子，Fprl表示PReLU算子； 时空注意力模块中所使用的前馈网络设计基于SwinTransformer，它适用于处理脑电信号时间数据和微表情空间数据，可以捕捉微表情数据中的局部空间特征，并适应脑电信号的时间特征，从而实现多模态数据融合；此外，滑动窗口机制改变了自我注意的计算方法。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华南师范大学，其通讯地址为：510631 广东省广州市天河区中山大道西55号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。