买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京理工大学申请的专利一种基于张量动态交互与解耦的多模态情感分析方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119829985B 。

龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411939459.8，技术领域涉及：G06F18/213；该发明授权一种基于张量动态交互与解耦的多模态情感分析方法是由崔振;汪晶晶;张桐设计研发完成，并于2024-12-26向国家知识产权局提交的专利申请。

本一种基于张量动态交互与解耦的多模态情感分析方法在说明书摘要公布了：本发明公开了一种基于张量动态交互与解耦的多模态情感分析方法，属于多模态信息处理领域，包括以下步骤：特征提取，将原始模态数据分别输入至不同的编码器进行特征提取以生成多模态的潜在特征表示；特征交互与解耦，扩展拼接并利用笛卡尔积和爱因斯坦求和约定生成交互特征；卷积与池化：交互特征经过卷积操作逐步提取更高维度的特征，将特征图展平为一维特征向量，使用Transformer编码器对每个模态特征进行处理；步骤S4，情感预测：将解耦后的特征向量输入，通过多层感知器进行情感标签预测，并通过平均绝对误差损失函数优化预测精度。本发明能够解决现有多模态情感分析模型在处理模态间交互与特征解耦方面存在的不足。

本发明授权一种基于张量动态交互与解耦的多模态情感分析方法在权利要求书中公布了：1.一种基于张量动态交互与解耦的多模态情感分析方法，其特征在于：包括以下步骤： 步骤S1，特征提取：搜集多模态情感强度数据集，将收集的原始模态数据分别输入至不同的编码器进行特征提取以生成多模态的潜在特征表示，文本模态采用BERT编码器进行处理，音频和图像模态则通过循环神经网络RNN与长短期记忆网络LSTM进行处理，以捕捉时序依赖关系，并生成各模态的特征向量，使用全连接层将音频和视觉特征映射到统一的维度空间，简化特征处理的复杂性； 步骤S2，特征交互：在特征提取后的基础上，为每个模态特征矩阵添加偏置项，通过训练获得的参数矩阵对模态特征进行线性变换，通过扩展拼接将三个模态特征两两组合映射到三个维度，利用笛卡尔积和爱因斯坦求和约定来捕捉这三个维度的交互关系，生成交互特征； 步骤S3，特征解耦：通过Transformer编码器对每个模态特征进行处理，捕捉每个模态的信息得到特有特征，利用对比损失函数最大化模态特征与交互特征之间的差异，利用重构损失函数解耦特有特征与交互特征，从原始特征恢复信息； 步骤S4，卷积与池化：将计算得到的交互特征经过卷积操作逐步提取更高维度的特征，并使用池化方法减少冗余信息，将特征图展平为一维特征向量； 步骤S5，情感预测：将解耦后的交互特征与特有特征拼接后输入，通过多层感知器MLP进行情感标签预测，并通过平均绝对误差MAE损失函数优化预测精度； 步骤S1中，搜集多模态情感强度数据集，每个数据样本均有一个对应的实数评分，代表情感强度：强消极、消极、弱消极、中立、弱积极、积极和强积极； 原始模态序列被分别输入至不同的编码器进行特征提取，文本模态采用BERT编码器进行处理，BERT动态地为每个单词分配权重，捕捉词语之间的复杂关系，生成最终的文本特征表示向量； 音频模态和图像模态特征提取采用循环神经网络RNN，通过其循环结构传递前一时刻的信息至当前时刻，捕捉序列中的时序依赖关系，处理音频信号中的动态变化以及图像序列中物体的运动轨迹，生成音频特征表示向量和图像特征表示向量；采用单层单向长短期记忆网络LSTM的记忆单元存储和提取关键信息，通过门控机制动态调整对输入信息的关注程度，进而捕捉时间依赖性； 使用全连接层，将视觉和音频特征映射到统一的维度，公式如下： ； ； ； 其中，，分别表示音频，图像和文本，和分别表示视觉模态和音频模态相关的长短期记忆网络LSTM模型的参数； 步骤S2中，通过对不同模态的特征进行拼接以便将来自每一对模态的信息融合到一起，得到融合后的特征表示： ； ； ； 将各个模态的特征融合到同一维度空间中，每个拼接后的特征包含了两个模态的信息； 在每个拼接后的特征矩阵，，的末尾添加一个全为1的列，将每个维度的特征矩阵扩展到129维，公式如下： ； ； ； 其中全为1的列向量，维度为n×1； 定义训练的可学习矩阵、和，应用于扩展后的维度矩阵、和上进行线性变换，生成新的特征表示，从而提取更高维的特征，公式如下： ； ； ； 通过计算维度间的笛卡尔积来生成新的交互特征，首先将两个维度的特征矩阵、扩展为适合外积的形状，使得它们按元素对应地进行交互，公式如下： ； ； 通过爱因斯坦求和约定einsum，计算笛卡尔积，对重复的索引不进行求和： ； ； 将维度扩展为适合与笛卡尔积的结果进行交互的形状，使用爱因斯坦求和约定einsum将笛卡尔积的结果和维度进行融合，融合三维度的特征，公式如下： ； ； 。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京理工大学，其通讯地址为：210094 江苏省南京市玄武区孝陵卫街道200号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。