买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京理工大学申请的专利一种基于全局-局部时空语义对齐的多模态情绪识别系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119538086B 。

龙图腾网通过国家知识产权局官网在2025-10-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411466424.7，技术领域涉及：G06F18/2415；该发明授权一种基于全局-局部时空语义对齐的多模态情绪识别系统是由胡斌;沈健;梁华健;马瑞瑞;徐一鸿;王姿烨;武鑫宇;张宇轩设计研发完成，并于2024-10-21向国家知识产权局提交的专利申请。

本一种基于全局-局部时空语义对齐的多模态情绪识别系统在说明书摘要公布了：本发明公开了一种基于全局‑局部时空语义对齐的多模态情绪识别系统，将多模态生理信号分为多个单一模态生理信号之后，将所有单一模态生理信号划分为多个批次，获取每个批次中的单一模态生理信号片段的特征序列的最大序列长度，以每个批次中的最大序列长度为参考值，将每个批次中的单一模态生理信号片段的序列长度补齐至最大序列长度，以使得每个批次中的单一模态生理信号片段的特征序列的长度相同，解决了生理信号数据长度不一致与关键信息损失问题；本发明提出了局部时间语义对齐模块对各模态进行时间维度上的对齐，增强了模型的可解释性与鲁棒性；本发明在空间维度上对齐了各模态语义信息，从而优化了情绪识别过程。

本发明授权一种基于全局-局部时空语义对齐的多模态情绪识别系统在权利要求书中公布了：1.一种基于全局-局部时空语义对齐的多模态情绪识别系统，其特征在于，包括： 1数据采集与特征提取单元，包括： 1数据采集模块，用于采集脑电数据以及至少一种其它模态的生理信号，记为模态b的生理信号； 2特征提取模块，用于对脑电数据和模态b的生理信号进行特征提取，得到脑电特征数据XEEG和模态b的特征数据XB； 3脑区划分模块，用于将大脑皮层被划分为多个区域，并将脑电特征数据按照所述区域进行划分； 2全局-局部多模态时空语义对齐单元包括： 1时间信息编码模块，用于：将脑电特征数据XEEG和特征数据XB分别输入1D-CNN网络提取深度特征对应得到特征X′EEG和X′B，将特征X′B做R次线性映射，得到具有R个子集的特征X′B，其中，R表示脑区的数量；将特征X′EEG和X′B加入各自的位置编码信息，得到带有位置信息的深度特征序列和 2局部时间语义对齐模块，用于： 使用多脑区跨模态注意力机制，对深度特征序列和通过线性变换来分别获取二者的查询的表示和键的表示和以及值的表示和脑区对应于不同注意力头； 接下来计算多脑区跨模态注意力，得到两个方向上的注意力权重，如下所示： 其中，MB表示模态b的掩码；MEEG表示脑电数据的掩码；下标B→EEG和EEG→B分别表示不同的注意力方向； 为了只保留正确的对齐信息，得到第r个脑区在两个方向的对齐矩阵和 其中，和分别表示对齐矩阵和对齐矩阵中第i行、第j列的元素；和分别表示矩阵和矩阵中第i行、第j列的元素； 使用对齐矩阵计算每个脑区的两个模态的输出，即值的加权求和： 其中，r表示第r个脑区，r∈1,R； 接下来，通过残差连接操作，将目标模态的深度特征与线性层的输出进行相加，使每个方向的对齐都包含两个模态的数据；最后，使用一维全局平均池化在时间维度进行总结，获得的结果是每个脑区两个模态的单向对齐表征，定义如下： 其中，GAP表示一维全局平均池化； 最终，将所有脑区进行汇总，得到的两个模态的单向时间对齐表征表示如下： 3局部全局空间语义对齐模块，用于： A、首先，学习每个脑区的动态注意力权重：模型学习了两种模态之间的局部时间对齐关系，得到了单向时间对齐表征和通过两个线性层学习每个脑区的动态注意力权重；第一个线性层的权重参数为偏置参数为用于将单向时间对齐表征进行整合，并使用tanh函数进行非线性激活；第二个线性层计算空间对齐分数，权重参数为偏置参数为最终，使用Softmax函数进行归一化，得到空间对齐权重： 其中所有脑区的权重之和为1； 同理，获得反映模态b的一组空间对齐权重 B、其次，整合单向时间对齐表征：使用学习得到的空间对齐权重对单向时间对齐表征进行放缩，即: 其中，符号⊙表示哈德玛德积，将和拼接得到 C、然后，将输出与原始表征相加实现残差连接，将每个脑区的输出按顺序拼接在一起，形成一个更高维度的表征；最后，通过线性层处理并进行层归一化操作，最终得到的结果是单向时空对齐表征: 其中，concat表示拼接处理；Linear表示线性层处理；LN表示层归一化操作； 4全局融合模块，用于： 首先，将单向时空对齐表征拼接起来以获取融合表征: 然后，使用一个多层感知机输出当前样本属于C个不同情绪类别的分数logits： logits＝MLPOfusion＝ReLUOfusionW1+b1W2+b2 其中，MLP表示多层感知机；W1和W2为多层感知机的权重参数，b1和b2为多层感知机的偏置参数，并使用了ReLU激活函数用于非线性映射； 5优化模块：在获得输出logits后，进一步使用Softmax函数将其转换为预测概率分布P，P＝Softmaxlogits 其中所有情绪类别的概率之和等于1； 设置损失函数，通过使损失函数的值最小化，从而对整个多模态情绪识别系统进行训练和优化： 3情绪识别单元利用训练好的多模态情绪识别系统对输入的数据进行情绪识别，得到对应的情绪类别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京理工大学，其通讯地址为：100081 北京市海淀区中关村南大街5号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。