买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)申请的专利基于注意力机制的多模态融合与情感识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116992361B 。

龙图腾网通过国家知识产权局官网在2025-11-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311015845.3，技术领域涉及：G06F18/2415；该发明授权基于注意力机制的多模态融合与情感识别方法是由樊春晓;林杰;李心平设计研发完成，并于2023-08-10向国家知识产权局提交的专利申请。

本基于注意力机制的多模态融合与情感识别方法在说明书摘要公布了：本发明涉及情感识别技术领域，公开了一种基于注意力机制的多模态融合与情感识别方法，包括预处理阶段、第一阶段融合训练、第二阶段融合训练；第一阶段将音频与视频通过长短期记忆网络构建时间序列关系，然后使用注意力机制将其融合，提取出结果的高维度特征，然后使用相同的方法得到视频与文本、文本与音频的高维度特征。第一阶段通过融合两两模态获得高维度的特征，并在训练过程中过滤冗余信息。第二阶段，使用第一阶段提取出的两两模态融合出的高维度的特征通过门控循环网络，然后将三个特征经过注意力机制融合，然后将得到的结果通过全连接层与多层感知器得到预测的识别结果，通过充分的特征融合提升分类的精度。

本发明授权基于注意力机制的多模态融合与情感识别方法在权利要求书中公布了：1.一种基于注意力机制的多模态融合与情感识别方法，包括预处理阶段、第一阶段和第二阶段，具体包括： 预处理阶段：对原始视频、音频、文本进行预处理，将原始视频、音频、文本内容处理为视频特征、音频特征、文本特征； 第一阶段：将视频特征与音频特征通过双向长短期记忆网络，以获得话语的时序关系；将说话人信息嵌入，通过多头注意力机制融合视频特征和音频特征，得到视频音频高维特征；其中视频特征作为键，音频特征同时作为查询和值； 将视频特征与文本特征通过双向长短期记忆网络，以获得话语的时序关系；将说话人信息嵌入，通过多头注意力机制融合视频特征和文本特征，得到视频文本高维特征；其中视频特征作为键，文本特征同时作为查询和值； 将文本特征与音频特征通过双向长短期记忆网络，以获得话语的时序关系；将说话人信息嵌入，通过注意力机制融合文本特征和音频特征，得到音频文本高维特征；其中音频特征作为键，文本特征同时作为查询和值； 第一阶段具体包括： 将音频特征、视频特征和文本特征分别通过双向长短期记忆网络，得到第一音频特征、第一视频特征和第一文本特征；将说话人信息嵌入到特征中，得到说话人嵌入： ； 表示说话人信息，表示对话的序列号，表示可学习权重参数，表示单模态特征； 通过说话人嵌入将说话人信息添加到话语中； 每个话语由以下三个节点表示：节点、节点、节点；使用初始化节点，其中第二音频特征、第二视频特征、第二文本特征； 在融合视频特征和音频特征得到视频音频高维特征时，将视频特征作为键，音频特征同时作为查询和值，使用多头注意力机制对特征进行融合： ； 表示，h表示注意力头数，表示键的维度数，代表Query，代表键，中的代表矩阵转置，代表值； 将通过注意力机制得到的视频音频融合特征通过一个全连接层，获得分类结果； 选择训练最好的分类结果对应的视频音频融合特征作为最终的视频音频融合特征； 第二阶段：将视频音频高维特征、视频文本高维特征、音频文本高维特征分别通过门控循环网络后，进行注意力机制融合，然后将得到的结果通过全连接层与多层感知器，得到识别结果； 第二阶段具体包括：将视频音频高维特征、视频文本高维特征、音频文本高维特征分别通过门控循环网络，构建时序关系： ； ； ； 、和分别称为第一视频音频高维特征、第一视频文本高维特征、第一音频文本高维特征；将说话人信息嵌入到特征中，得到说话人嵌入： ； 表示说话人信息，经过说话人嵌入后得到，分别称为第二视频音频高维特征、第二视频文本高维特征、第二音频文本高维特征； 然后使用注意力机制融合，得到融合结果： ； 表示多头注意力机制，第二阶段多头注意力机制中的键、查询和值分别是； 最后使用全连接层和MLP层进行情感分类并得到最终的识别结果： ； ； ； ； 表示通过全连接层后的结果，表示注意力机制融合后得到的结果，表示全连接层，表示通过激活函数后的结果，表示激活函数，权重矩阵，表示偏移参数，表示函数计算出的概率分布，表示归一化指数函数，表示权重矩阵，表示偏移函数，表示获得概率最大的分类，表示情感分类，表示预测的情感标签。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)，其通讯地址为：230000 安徽省合肥市高新区望江西路5089号，中国科学技术大学先进技术研究院未来中心B1205-B1208；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。