买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京医科大学申请的专利一种基于适配器融合的音视频双模态情感识别方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120411863B 。

龙图腾网通过国家知识产权局官网在2025-08-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510907472.3，技术领域涉及：G06V20/40；该发明授权一种基于适配器融合的音视频双模态情感识别方法及系统是由向文涛;李建清;杨淳沨;杨博慧;刘宾;朱松盛;李杰设计研发完成，并于2025-07-02向国家知识产权局提交的专利申请。

本一种基于适配器融合的音视频双模态情感识别方法及系统在说明书摘要公布了：本发明涉及人工智能与情感计算技术领域，具体涉及一种基于适配器融合的音视频双模态情感识别方法及系统；该方法包括：获取视频帧序列和音频信号，并进行预处理；构建情感识别模型；基于双模态特征提取模块依次嵌入空间适配器和全局适配器，依次得到对应模态增强后的空间特征和全局特征；基于全局特征生成对应模态的中间表示，根据中间表示进行特征融合，分别得到对应模态的融合特征；拼接融合特征，进行时序特征的提取，得到最终特征；将最终特征输入至分类器中，得到预测情绪类别，采用损失函数对情感识别模型进行训练，确定最优的情感识别模型；将待识别的视频帧序列和音频信号输入至情感识别模型，输出识别结果。

本发明授权一种基于适配器融合的音视频双模态情感识别方法及系统在权利要求书中公布了：1.一种基于适配器融合的音视频双模态情感识别方法，其特征在于，所述方法包括： 获取视频帧序列和音频信号，并进行预处理； 构建情感识别模型，所述情感识别模型包括双模态特征提取模块、双模态融合适配器结构、跨模态时序建模模块和分类器； 基于双模态特征提取模块依次嵌入空间适配器和全局适配器，输入预处理后的视频帧序列和音频信号依次进行处理，并依次得到对应模态增强后的空间特征和全局特征，包括： 所述双模态特征提取模块采用Transformer编码器为特征提取器，并在Transformer编码器后依次嵌入空间适配器和全局适配器； 将预处理后的视频帧序列和音频信号输入至Transformer编码器中，分别得到对应模态的输出特征； 基于输出特征进行归一化处理后，采用空间适配器依次进行降维、非线性激活和升维处理，分别得到对应模态增强后的空间特征，包括： 基于归一化处理后的输出特征采用空间适配器得到对应模态的初始空间特征，对应的计算公式为： ； 其中，表示视频帧序列对应的初始空间特征；表示音频信号对应的初始空间特征；表示当前Transformer编码器；表示相邻上一块Transformer编码器；表示空间适配器；表示视频帧序列对应的归一化处理后的输出特征；表示音频信号对应的归一化处理后的输出特征； 通过空间适配器对归一化处理后的输出特征依次进行降维、非线性激活和升维处理，并结合输出特征，分别得到对应模态增强后的空间特征，对应的计算公式为： ； ； 其中，表示视频帧序列对应的增强后的空间特征；表示音频信号对应的增强后的空间特征；、分别表示视频帧序列和音频信号对应的输出特征；表示双模态特征提取模块中的MHSA操作； 基于空间特征进行归一化处理后，采用全局适配器进行处理，分别得到对应模态增强后的全局特征； 基于全局特征通过双模态融合适配器结构生成对应模态的中间表示，根据中间表示进行特征融合，分别得到对应模态的融合特征； 拼接融合特征，并输入跨模态时序建模模块中进行时序特征的提取，得到最终特征； 将最终特征输入至分类器中，得到预测情绪类别，并采用损失函数对情感识别模型进行训练，调整情感识别模型参数，确定最优的情感识别模型； 获取待识别的视频帧序列和音频信号，并输入至最优的情感识别模型，输出识别结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京医科大学，其通讯地址为：211166 江苏省南京市江宁区龙眠大道101号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。