买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东北大学申请的专利一种融合情绪信息的多模态多因素抑郁症识别系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119786021B 。

龙图腾网通过国家知识产权局官网在2025-07-15发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510272051.8，技术领域涉及：G16H50/20；该发明授权一种融合情绪信息的多模态多因素抑郁症识别系统是由刘柯;相皓文;赖金水;赵德冀;李嘉豪;韩东红设计研发完成，并于2025-03-10向国家知识产权局提交的专利申请。

本一种融合情绪信息的多模态多因素抑郁症识别系统在说明书摘要公布了：本发明提供了一种融合情绪信息的多模态多因素抑郁症识别系统，涉及多模态融合技术领域，本发明提出通过迁移学习和多数据集训练方法，提取更加精准的情绪特征，从而解决现有方法情绪识别不充分的问题。本发明还通过以子句为单位进行特征提取，保留完整的语境信息，以更好地理解用户的语言和情感波动。为了优化多模态数据融合，本发明采用基于注意力机制的融合方法，这不仅能更有效地捕捉模态间的依赖关系，还能充分提取各模态中的关键信息，从而提高整体的检测效果。同时本发明还考虑到了性别差异和外部知识的影响，通过引入性别差异和外部常识知识库来提高模型对不同性别用户情绪的准确识别和理解能力，进一步提升模型的适应性和精确度。

本发明授权一种融合情绪信息的多模态多因素抑郁症识别系统在权利要求书中公布了：1.一种融合情绪信息的多模态多因素抑郁症识别系统，其特征在于，包括预处理模块、文本特征提取模块、语音特征提取模块、多模态融合模块和多因素融合模块； 所述预处理模块用于对待检测用户的原始语音进行预处理，得到预处理后的文本作为子句，以及语音波形图，其中，语音波形图的横坐标为时间，语音波形图的纵坐标为振幅； 所述文本特征提取模块用于在预处理后的子句的起始位置添加[CLS]，结束位置添加[SEP]，通过标记器对添加标记后的子句进行切分，得到切分后的子句；通过BERT对切分后的子句进行特征提取，得到语义特征fts；通过文本情绪提取模型对切分后的子句进行处理，得到文本情绪特征fte，将所述语义特征fts和所述文本情绪特征fte整合成文本特征ft； 其中，所述文本情绪提取模型通过以下方式获得： 获取SST-2数据集中的子句作为第一输入样本，将SST-2数据集中的子句对应的情绪标签作为第一输出样本，所述第一输入样本和第一输出样本组成第一训练样本，基于多个第一训练样本，对RoBERTa模型进行模型训练，直到RoBERTa模型收敛，得到训练后的RoBERTa模型，保留训练后的RoBERTa模型的参数和编码器结构，将训练后的RoBERTa模型的输出层替换为全连接层FC，得到文本情绪提取模型； 所述语音特征提取模块用于对所述语音波形图进行特征提取，得到语音深层特征fad，将原始语音输入语音情绪提取模型中，得到语音情绪特征fae，将语音深层特征fad和语音情绪特征fae进行拼接得到完整的语音特征fa； 其中，所述语音情绪提取模型是基于多个第二训练样本，对Wav2Vec2.0模型进行模型训练得到的，所述第二训练样本包括第二输入样本和第二输出样本，所述第二输入样本为IEMOCAP数据集中的语音样本，所述第二输出样本为IEMOCAP数据集中的语音样本对应的语音情绪特征； 所述多模态融合模块用于根据文本特征ft和语音特征fa，生成文本模态内特征St、语音模态内特征Sa、语音中与文本关联的特征Sta和文本中与语音关联的特征Sat，根据文本模态内特征St、语音模态内特征Sa、语音中与文本关联的特征Sta和文本中与语音关联的特征Sat，计算得到第一融合多模态特征和第二融合多模态特征 所述多因素融合模块用于判断待检测用户的性别，当待检测用户为男性时，通过面向男性的分类模型对第一融合多模态特征进行处理，得到待检测用户的抑郁症预测结果，当待检测用户为女性时，通过面向女性的分类模型对第二融合多模态特征进行处理，得到待检测用户的抑郁症预测结果； 其中，所述多因素融合模块中通过面向男性的分类模型对第一融合多模态特征进行处理，得到待检测用户的抑郁症预测结果，包括： 获取与情绪和感受相关的推理关系xReact，根据常识知识库COMET，对预处理后的子句和推理关系xReact进行处理，得到常识知识，具体通过以下公式实现： 其中，sti为预处理后的子句中的第i个词，ski为第i个词对应的常识知识，⊕表示拼接； 将常识知识ski，输入BERT中编码，得到常识知识ski的嵌入表示bi，具体通过以下公式实现： bi＝BERTski； 所有常识知识的嵌入表示组成句向量B＝{b1,b2,…,bm}，将句向量B输入Transformer中，得到目标常识知识Ku，通过以下公式实现： Ku＝TransformerB； 将目标常识知识Ku和第一融合多模态特征进行拼接，得到第一特征将第一特征输入BiGRU分类器中，得到包含前向后向信息的特征具体通过以下公式表示： 将包含前向后向信息的特征输入全连接层，得到待检测用户的抑郁症预测结果y’，具体通过以下公式表示： 所述多因素融合模块中通过面向女性的分类模型对第二融合多模态特征进行处理，得到待检测用户的抑郁症预测结果，包括： 获取与情绪和感受相关的推理关系xReact，根据常识知识库COMET，对预处理后的子句和推理关系xReact进行处理，得到常识知识，具体通过以下公式实现： 其中，sti为预处理后的子句中的第i个词，ski为第i个词对应的常识知识； 将常识知识ski，输入BERT中编码，得到常识知识ski的嵌入表示bi，具体通过以下公式实现： bi＝BERTski； 所有常识知识的嵌入表示组成句向量B＝{b1,b2,…,bm}，将句向量B输入Transformer中，得到目标常识知识Ku，通过以下公式实现： Ku＝TransformerB； 将目标常识知识Ku和第二融合多模态特征进行拼接，得到第二特征将第二特征输入MLP分类器中，得到待检测用户的抑郁症预测结果y’，具体通过以下公式表示：

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东北大学，其通讯地址为：110819 辽宁省沈阳市和平区文化路三号巷11号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。