买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜浙江工业大学申请的专利一种用于医疗护理机器人的多模态情感识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114724224B 。

龙图腾网通过国家知识产权局官网在2025-06-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210399065.2，技术领域涉及：G06V40/16；该发明授权一种用于医疗护理机器人的多模态情感识别方法是由付明磊;张欣;张文安;刘锦元;仇翔;刘安东;杨旭升;史秀纺;周叶剑;吴麒;胡佛设计研发完成，并于2022-04-15向国家知识产权局提交的专利申请。

本一种用于医疗护理机器人的多模态情感识别方法在说明书摘要公布了：一种用于医疗护理机器人的多模态情感识别方法，包括：进行多模态情感信息采集，采集到患者的视频信息和音频信息；根据所述视频信息进行表情自注意力情感特征提取和动作自注意力情感特征提取，根据所述音频信息进行语音自注意力情感特征提取和文本自注意力情感特征提取；4种自注意力情感特征进行基于互注意力机制情感特征融合，得到完整的多模态情感特征；多模态情感特征进行基于图卷积神经网络的上下文情感特征提取，得到包含上下文信息的多模态情感特征；包含上下文信息的多模态情感特征进行情感分类识别得到情感标签结果；根据所述情感标签结果进行语音交互和显示。本发明能提高对人的情感识别准确率。

本发明授权一种用于医疗护理机器人的多模态情感识别方法在权利要求书中公布了：1.一种用于医疗护理机器人的多模态情感识别方法，包括以下步骤： 1、进行多模态情感信息采集，采集到患者的视频信息和音频信息， 2、根据所述视频信息进行表情自注意力情感特征提取和动作自注意力情感特征提取，根据所述音频信息进行语音自注意力情感特征提取和文本自注意力情感特征提取；所述的表情自注意力情感特征提取，根据所述视频信息提取患者表情的情感特征向量，并通过自注意力机制转化为表情自注意力情感特征； 提取患者表情的情感特征向量具体包括： 首先使用预训练模型和组合网络来提取视频特征，同时使用人脸表情识别库对分帧之后的图片进行人脸面部的关键点检测，之后通过计算中心点，计算距离中心点的距离，得到关键点的特征，最后将两部分特征进行拼接形成完整的表情情感特征； 通过自注意力机制转化为表情自注意力情感特征具体包括： 将得到的表情情感特征作为自注意力机制的输入，按照视频信息对应得视频帧数将表情情感特征向量转换为I组特征向量，每组特征向量大小为其中I为视频帧帧数，E为表情情感特征向量维数；通过自注意力机制得到的表情自注意力情感特征如下所示： 其中为第i组特征向量的权重系数，表示第i组特征向量，exp表示以自然常数e为底的指数函数，WE为可训练的线性变换参数向量，FE为通过自注意力机制的表情自注意力情感特征； 所述动作自注意力情感特征提取，根据所述视频信息提取患者动作的情感特征向量，并通过自注意力机制转化为动作自注意力情感特征； 所述提取患者动作的情感特征向量具体包括： 首先使用预训练模型和组合网络来提取视频特征，同时使用人体姿态检测库对分帧之后的图片进行人体的关节点检测，之后通过计算人体重心，计算各个关节点到重心的距离和角度，得到人体关节点的特征，最后将两部分特征进行拼接形成完整的动作情感特征； 所述通过自注意力机制转化为动作自注意力情感特征具体包括： 将得到的动作情感特征作为自注意力机制的输入，按照视频信息对应得视频帧数将动作情感特征向量转换为J组特征向量，每组特征向量大小为其中J为视频帧帧数，A为动作情感特征向量维数；通过自注意力机制得到的动作自注意力情感特征如下所示： 其中为第j组特征向量的权重系数，表示第j组特征向量，exp表示以自然常数e为底的指数函数，WA为可训练的线性变换参数向量，FA为通过自注意力机制的动作自注意力情感特征； 所述语音自注意力情感特征提取，根据所述音频信息提取患者语音的情感特征向量，并通过自注意力机制转化为语音自注意力情感特征； 所述提取患者语音的情感特征向量具体包括：将采集到的音频信号进行预处理并绘制语谱图，之后构建并训练卷积神经网络，最后利用训练完成的网络提取语音情感特征； 所述通过自注意力机制转化为语音自注意力情感特征具体包括：将得到的语音情感特征作为自注意力机制的输入，按照每个音频信息的语音帧数将语音情感特征向量特征转换为K组特征向量，每组特征向量大小为其中K为音频帧帧数，V为表情情感特征向量维数；通过自注意力机制得到的表情自注意力情感特征如下所示： 其中为第k组特征向量的权重系数，表示第k组特征向量，exp表示以自然常数e为底的指数函数，WV为可训练的线性变换参数向量，FV为通过自注意力机制的语音自注意力情感特征； 所述文本自注意力情感特征提取用于根据所述音频信息提取患者文本的情感特征向量，并通过自注意力机制转化为文本自注意力情感特征； 所述提取患者文本的情感特征向量具体包括：首先使用端到端ASR系统将音频信号提取成文本信息，之后利用预训练模型提取文本信息中的词向量特征，之后对每个句子中每个词的词向量进行相加得到句子向量，同时利用预训练模型提取每个句子的句子向量，最后将两部分提取的句子向量进行组合拼接得到完整的文本情感特征； 所述通过自注意力机制转化为文本自注意力情感特征具体包括：将得到的文本情感特征作为自注意力机制的输入，根据文本的单词数价格文本情感特征向量转换为L组特征向量，每组特征向量大小为其中L为音频帧帧数，X为文本情感特征向量维数；通过自注意力机制得到的文本自注意力情感特征如下所示： 其中为第l组特征向量的权重系数，表示第l组特征向量，exp表示以自然常数e为底的指数函数，WX为可训练的线性变换参数向量，FX为通过自注意力机制的语音自注意力情感特征； 3、所述4种自注意力情感特征进行基于互注意力机制情感特征融合，得到完整的多模态情感特征； 4、所述多模态情感特征进行基于图卷积神经网络的上下文情感特征提取， 得到包含上下文信息的多模态情感特征； 5、所述包含上下文信息的多模态情感特征进行情感分类识别得到情感标签结果； 6、根据所述情感标签结果进行语音交互和显示。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江工业大学，其通讯地址为：310014 浙江省杭州市拱墅区潮王路18号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。