买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉广东工业大学申请的专利一种促进多模态信息融合的情感分析方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119248924B 。

龙图腾网通过国家知识产权局官网在2025-09-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411401920.4，技术领域涉及：G06F16/334；该发明授权一种促进多模态信息融合的情感分析方法及装置是由盘皓然;冯广;周垣桦;李伟辰设计研发完成，并于2024-10-09向国家知识产权局提交的专利申请。

本一种促进多模态信息融合的情感分析方法及装置在说明书摘要公布了：本发明公开了一种促进多模态信息融合的情感分析方法及装置，方法包括：基于K‑Means算法建立声学词汇表和视觉词汇表并查询非文本模态的特征，得到非文本模态的单词索引序列并嵌入至文本模态的初始特征中建立非语言位移向量；将非语言位移向量添加至文本模态的初始特征中进行移位操作，得到多模态向量；将多模态向量进行上下文感知和情感分析，得到并输出情感分析结果。在本发明中，通过K‑Means算法将非文本模态的特征序列转换为与文本模态一样的单词索引序列，缩小融合时语言文本模态和非语言文本模态特征的分布差距，便于后续的特征融合；在特征融合时通过非语言位移向量来增强语言文本模态的表示，从而提升情感分析的准确性。

本发明授权一种促进多模态信息融合的情感分析方法及装置在权利要求书中公布了：1.一种促进多模态信息融合的情感分析方法，其特征在于，所述方法包括： 获取多模态数据，对各模态数据进行预处理，得到各模态的初始特征；多模态包括文本模态、音频模态和视频模态； 获取训练集，基于K-Means算法对训练集进行聚类以学习声学词汇和视觉词汇，分别建立声学词汇表和视觉词汇表； 通过声学词汇表和视觉词汇表分别对音频模态的初始特征和视频模态的初始特征进行查询，得到非文本模态的单词索引序列； 将非文本模态的单词索引序列嵌入至文本模态的初始特征中建立非语言位移向量，并将所述非语言位移向量添加至文本模态的初始特征中进行移位操作，得到多模态向量； 将所述多模态向量输入至Transformer模型进行上下文感知，输出多模态感知信息；将所述多模态感知信息输入至情感分析模块进行情感分析，得到并输出情感分析结果； 所述将非文本模态的单词索引序列嵌入至文本模态的初始特征中建立非语言位移向量，并将所述非语言位移向量添加至文本模态的初始特征中进行移位操作，输出多模态向量的步骤，包括： 将非文本模态的单词索引序列与文本模态的初始特征相拼接，得到音频拼接向量和视频拼接向量； 将所述音频拼接向量和所述视频拼接向量分别进行权重计算，得到音频门向量和视频门向量； 通过音频拼接向量和视频拼接向量分别乘以关联的门向量，得到非语言位移向量； 将所述非语言位移向量添加至文本模态的初始特征中进行移位操作，得到多模态向量； 所述音频门向量的计算方式表示为： ； 式中：表示非线性激活函数，表示听觉通道的权重矩阵，表示音频模态的标量偏差；表示音频拼接向量，表示文本模态的初始特征的序列，表示音频模态的单词索引序列； 所述视频门向量的计算方式表示为： ； 式中：表示视觉通道的权重矩阵，表示视频模态的标量偏差；表示视频拼接向量，表示视频模态的单词索引序列； 所述非语言位移向量的计算方式表示为： ； 式中：和分别表示声学信息和视觉信息的权重矩阵，表示偏差向量； 所述多模态向量的计算方式表示为： ； 式中：表示缩放因子。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人广东工业大学，其通讯地址为：510080 广东省广州市越秀区东风东路729号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。