买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉苏州城市学院申请的专利一种面向机器人的串行式多模态情绪识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120030498B 。

龙图腾网通过国家知识产权局官网在2025-08-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510452440.9，技术领域涉及：G06F18/25；该发明授权一种面向机器人的串行式多模态情绪识别方法是由彭芳;陈泽;苏梓豪;葛夕畅;商益洋;郑建颖设计研发完成，并于2025-04-11向国家知识产权局提交的专利申请。

本一种面向机器人的串行式多模态情绪识别方法在说明书摘要公布了：本发明涉及人工智能技术领域，具体指一种面向机器人的串行式多模态情绪识别方法，包括：获取音频数据序列和图像数据序列；将音频指令文本和音频数据序列，输入训练好的音频多模态模型，输出音频反馈文本；将音频反馈文本和图像数据序列进行时间戳对齐后，输入训练好的图像多模态模型，输出情绪识别结果和图像反馈文本；在模型训练过程中，预训练阶段对初始音频和图像多模态模型分别进行训练，协同训练阶段基于跨模态双向反馈机制，对预训练后的音频多模态模型和图像多模态模型进行训练，目标训练阶段动态调整正向反馈和反向反馈损失对应权重，对协同训练后的音频多模态模型和图像多模态模型进行训练。本发明提升了情绪识别的处理效率和识别精度。

本发明授权一种面向机器人的串行式多模态情绪识别方法在权利要求书中公布了：1.一种面向机器人的串行式多模态情绪识别方法，其特征在于，包括： 获取当前情感活动的音频数据序列和图像数据序列； 将预设的音频指令文本和音频数据序列，输入训练好的音频多模态模型，输出当前情感活动的音频反馈文本；其中，音频反馈文本包括音频数据序列的音量动态范围、基频轮廓信息和语气分类结果； 将音频反馈文本和图像数据序列进行时间戳对齐后，输入训练好的图像多模态模型，输出当前情感活动的情绪识别结果和图像反馈文本；其中，图像反馈文本包括语音回复和动作回复信息； 基于跨模态双向反馈机制，对预训练后的音频多模态模型和图像多模态模型进行训练，包括： 将时间戳对齐后的第一音频反馈文本与图像数据序列输入预训练后的图像多模态模型，通过CLIP架构的双塔编码器，分别对同一时间戳下的第一音频反馈文本和图像数据进行编码，提取第一音频反馈文本特征向量和图像数据特征向量； 基于预训练后的图像多模态模型提取的图像数据特征向量和预训练后的音频多模态模型提取的音频数据特征向量，生成第一修正权重矩阵； 根据第一修正权重矩阵、预训练后的音频多模态模型分类层输出的情绪概率分布和预训练后的图像多模态模型分类层输出的情绪概率分布，对预训练后的音频多模态模型分类层输出的音频情绪概率分布进行修正，得到第一修正后的音频情绪概率分布； 基于第一修正后的音频情绪概率分布和预训练后的图像多模态模型分类层输出的图像情绪概率分布，构建第一逆向反馈损失函数； 基于第一逆向反馈损失函数及其对应权重和第一音频损失函数及其对应权重，构建第二音频损失函数；利用音频-文本训练集，通过最小化第二音频损失函数，对预训练后的音频多模态模型进行训练，得到完成协同训练的音频多模态模型； 将音频-文本训练集输入协同训练后的音频多模态模型，提取音频数据特征向量，输出各个第二音频反馈文本；将各个第二音频反馈文本与各个图像数据序列进行时间戳对齐后，结合各个图像数据序列对应的图像情绪标签，构建第二图像-文本训练集； 基于协同训练后的音频多模态模型分类层输出的音频情绪概率分布，构建第一正向反馈损失函数； 基于第一正向反馈损失函数及其对应权重和第一图像损失函数及其对应权重，构建第二图像损失函数；利用第二图像-文本训练集，通过最小化第二图像损失函数，对预训练后的图像多模态模型进行训练，得到协同训练后的图像多模态模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人苏州城市学院，其通讯地址为：215000 江苏省苏州市吴中区吴中大道1188号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。