买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉云南大学申请的专利一种基于深度学习和双模态数据的抑郁情绪预测系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116030271B 。

龙图腾网通过国家知识产权局官网在2025-09-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310146956.1，技术领域涉及：G06V10/44；该发明授权一种基于深度学习和双模态数据的抑郁情绪预测系统是由蔡莉;沈先发;杨文洁;刘俊晖设计研发完成，并于2023-02-22向国家知识产权局提交的专利申请。

本一种基于深度学习和双模态数据的抑郁情绪预测系统在说明书摘要公布了：本发明公开一种基于深度学习和双模态数据的抑郁情绪预测系统，涉及数据处理领域，该系统包括：待预测双模态数据获取模块，用于根据从社交媒体获取的用户双模态数据确定多个图文对，每个图文对均包括文本和图片；抑郁情绪预测模型，与所述待预测双模态数据获取模块连接，用于：对多个图文对进行特征提取，得到文本特征、图片特征和用户全局信息；采用跨模态注意力机制融合用户的每个图文对特征信息；采用自适应图卷积网络对多个图文对特征信息进行特征融合，得到融合特征；采用多头自注意力机制融合所述用户全局信息和所述融合特征得到用于特征表示；将所述用于特征表示输入分类器，得到用户的抑郁概率，本发明提高了抑郁情绪预测的准确性。

本发明授权一种基于深度学习和双模态数据的抑郁情绪预测系统在权利要求书中公布了：1.一种基于深度学习和双模态数据的抑郁情绪预测系统，其特征在于，包括： 待预测双模态数据获取模块，用于根据从社交媒体获取的用户双模态数据确定多个图文对，每个图文对均包括文本和图片； 抑郁情绪预测模型，与所述待预测双模态数据获取模块连接，用于： 对多个图文对进行特征提取，得到文本特征、图片特征和用户全局信息； 采用跨模态注意力机制融合用户的每个图文对特征信息； 采用自适应图卷积网络对多个图文对特征信息进行特征融合，得到融合特征； 采用多头自注意力机制融合所述用户全局信息和所述融合特征得到特征表示； 将所述特征表示输入分类器，得到用户的抑郁概率； 跨模态注意力机制特征融合包括一个多模态交互模块来学习图像感知词表示和词感知图像表示； 图像感知词表示：应用m头Cross-ModalAttention层，它将图像表示HV作为查询向量Q，并将上下文表示HT视为被查询向量K和内容向量V，如下所示： MH_CAHV,HT＝W’[CA1HV,HT,...,CAmHV,HT]T； 其中，CAi表示跨模态注意力的第i个头，CAm表示跨模态注意力的第m个头，{Wqi,Wki,Wvi}∈Rdm*d分别对应Q、K、V的可学习参数，W’分别表示Q、K、V和多头注意力的权重矩阵，CA表示CAi的集合，d为词向量的维度，d＝768，m表示多头注意力机制中头数，MH_CAHV,HT表示跨模态注意力的m个头的连接；接下来，再通过两个归一化层和一个前馈神经网络得到最终的图像感知词表示，公式如下所示： HVT'＝LNHT+MH_CAHV,HT； HVT＝LNHVT'+FFNHVT'； 其中，HT为原始的上下文表示，FFN是前馈神经网络，LN是归一化层；首先，HT经过Cross-ModalAttention层得到MH_CAHV,HT，然后将结果与HT相加并经过一个归一化层得到HVT'；HVT'再通过一个前馈神经网络进行线性变化，并与自身相加，之后经过另一个归一化层得到最终的图像感知词表示HVT； 词感知图像表示：继续使用m头Cross-ModalAttention层，将HT视为Q，将HV视为K和V，并添加前馈神经网络层和归一化层，对应的公式和图像感知词表示公式一致，区别在于两者的Q、K、V不同： MH_CAHT,HV＝W’[CA1HT,HV,...,CAmHT,HV]T； HTV'＝LNHV+MH_CAHT,HV； HTV＝LNHTV'+FFNHTV'； 将HVT和HTV连接起来以获得用户单个图文对最终的隐藏表示H； 自适应图卷积网络特征融合包括：若将用户的图文对H看作节点，连接的边就表示了图文对之间相似度的大小，即权值，由此构建出一个图文对的邻接矩阵；使用自适应邻接矩阵图卷积网络来自动学习用户图文对之间的联系，自适应邻接矩阵Aadp如下所示： Aadp＝SoftmaxReLUE1,E2 T； 其中，参数E1为源节点嵌入，参数E2为目标节点嵌入； 通过结合预定义的空间依赖和自学习的隐藏图依赖，图卷积层的定义如下： 其中，Pf＝ArowsumA代表前向转移矩阵，Pb＝ATrowsumAT代表后向转移矩阵，k表示幂级数，X表示输入值，Z表示输出值，Wk1,Wk2,Wk3为模型的矩阵参数，A表示邻接矩阵；假设每个用户发布了n条图文对，经过Cross-ModalAttention特征融合模块得到用户图文对隐藏表示的集合H'＝[H1；H2；...Hn]，最后经过自适应图卷积网络融合得到最终的用户多文本和多图片的融合特征Z；K表示常数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人云南大学，其通讯地址为：650091 云南省昆明市翠湖北路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。