买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京邮电大学申请的专利一种基于状态空间模型跨模态交互的多模态情感识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119128578B 。

龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411050481.7，技术领域涉及：G06F18/24；该发明授权一种基于状态空间模型跨模态交互的多模态情感识别方法是由孙林慧;陈帅潼;汤熠;李平安;叶蕾设计研发完成，并于2024-08-01向国家知识产权局提交的专利申请。

本一种基于状态空间模型跨模态交互的多模态情感识别方法在说明书摘要公布了：本发明公开了一种基于状态空间模型跨模态交互的多模态情感识别方法，属于多模态情感识别技术领域，步骤包括：首先，提取语音和文本的低级特征，并采用对角线版本的结构化状态空间序列模型提取S4D特征，以便充分利用其独特的序列建模能力和鲁棒性的特征提取能力，有效捕获声音和文本数据复杂的时间相关性；其次，为了融合声音和文本的模态特征，本发明提出了多种跨模态融合策略来动态学习模态之间的权重；此外，为了更好地区分不同类别的情感，本发明设计了一个三元组损失，并将其与交叉熵损失相结合，以提高模型在情感分类中的准确性；最后，进行了消融实验，验证了该方法的有效性。本发明有效提升了多模态情感识别系统的性能和泛化能力。

本发明授权一种基于状态空间模型跨模态交互的多模态情感识别方法在权利要求书中公布了：1.一种基于状态空间模型跨模态交互的多模态情感识别方法，其特征在于，包括如下步骤： 步骤1：对原始输入的语音和文本模态分别进行低级特征提取； 步骤2：将所提取的各类低级特征输入到通道分组特征提取网络，获取高级特征，所述网络由不同数量的一维卷积层和通道分组卷积层组成； 步骤3：将提取的语音和文本的高级特征分别输入到跨模态特征映射模块，精细地学习声学和文本特征之间的相互作用，从语音片段和句子中提取丰富的跨模态信息； 步骤4：通过两层对角化的结构化状态空间序列S4D模块分别对语音和文本的低级特征进行处理，提取出更高级、更鲁棒的S4D特征表示，并将其拼接起来，得到S4D多模态特征； 步骤5：将S4D多模态特征与语音和文本的高级特征输入到跨模态交互注意力模块中，自适应地增强模态序列表示； 步骤5-1：将声音和文本模态的高级特征作为查询向量Q，将S4D多模态特征作为键K、值V向量，分别进行跨模态注意力机制运算，动态调整声音和文本信息的权重，其中，跨模态注意力机制模块包含多头注意力机制、全连接层、跳跃连接以及层归一化，多头注意力机制的头数目为8； 步骤5-2：将跨模态注意力机制的输出CAQ'a和CAQ't分别输入到单输出门控融合层，通过应用sigmoid函数对输入进行处理，生成一个门控向量，所述门控向量用于调节后续特征融合过程中的各个模态特征的权重，使用线性变换权值矩阵对输入进行线性变换，然后将结果与门控向量进行元素级别的逐一相乘操作，从而得到融合后的特征Fa和Ft； 步骤6：将通过步骤3提取的两种模态的内在特征、S4D多模态特征以及模态之间的交互特征Fn融合在一起，将融合的特征向量输入到双向LSTM层中，结合自注意力机制选择情感关键特征，最终，通过模型的全连接层输出情感分类结果； 步骤6-1：将步骤3提取的语音文本模态的内在特征X”n'、S4D多模态特征Xc和模态之间的交互特征Fn进行融合，其中n∈{a,t}，a是语音模态，t是文本模态，然后将融合的特征向量输入到双向LSTM网络中，捕获长期依赖关系和上下文信息； 步骤6-2：在双向LSTM网络之后增加了自注意力机制，以过滤关键特性，然后，利用最大池化层对所有隐藏状态的顺序信息进行聚合； 步骤6-3：将聚合好的信息通过两层全连接前馈网络进行最终的情绪预测； 步骤7：利用设计的三元组损失函数与交叉熵损失相结合来约束模型收敛，提高模型在情感分类中的准确性； 步骤7-1：将每个数据实例定义为一个三元组，其中锚样本是预测的情感类别，正样本y是正确的情感标签，负样本e是随机选择的错误情感标签； 步骤7-2：使用神经网络将每个样本转换为对应的嵌入向量fy和fe，计算余弦相似度，目的是最小化正样本与锚点之间的距离，同时最大化负样本与锚点之间的距离，三元组损失函数表示为： 其中表示向量与fe的点积，表示向量的范数，m为边界值超参数； 步骤7-3：将三元组损失与交叉熵损失联合来优化训练过程中情感预测的准确性； 步骤8：对所提出的一种基于状态空间模型跨模态交互的多模态情感识别方法进行性能评估。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京邮电大学，其通讯地址为：210023 江苏省南京市栖霞区亚东新城区文苑路9号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。