买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉兰州大学申请的专利基于时空注意力机制的多模态心理状态检测方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117315738B 。

龙图腾网通过国家知识产权局官网在2025-06-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311083083.0，技术领域涉及：G06V40/16；该发明授权基于时空注意力机制的多模态心理状态检测方法及系统是由胡斌;杨民强;陶永丰设计研发完成，并于2023-08-25向国家知识产权局提交的专利申请。

本基于时空注意力机制的多模态心理状态检测方法及系统在说明书摘要公布了：本申请提供一种基于时空注意力机制的多模态心理状态检测方法及系统，所述方法可以在获取到面部表情数据和语音数据后，在面部表情数据和语音数据中提取面部表情特征和语音特征，并统一特征维度。再将特征维度统一后的面部表情特征和语音特征输入时空注意力转换器，以获得时空融合特征。最后将时空融合特征输入心理状态分类器，以获得分类结果。所述方法利用视频流数据中的人脸和语音两种模态数据，分别在单种模态中提取时间特征和空间特征，并对两种模态的时空特征融合，提高模态间特征的互补、协作效果，进而能够提取具有区分不同心理状态的特征，实现使用用户的社交媒体数据来进行心理状态的检测，提高心理状态检测的准确率。

本发明授权基于时空注意力机制的多模态心理状态检测方法及系统在权利要求书中公布了：1.一种基于时空注意力机制的多模态心理状态检测方法，其特征在于，包括： 获取视频流数据，所述视频流数据包括面部表情数据和语音数据； 在所述面部表情数据中提取面部表情特征，以及在所述语音数据中提取语音特征； 统一所述面部表情特征和所述语音特征的特征维度； 将特征维度统一后的所述面部表情特征和所述语音特征输入时空注意力转换器，以获得所述时空注意力转换器输出的时空融合特征，所述时空融合特征包括面部表情的时空融合特征和语音的时空融合特征，所述时空注意力转换器包括空间注意模块、时间注意模块和多模态融合转换器，所述空间注意模块用于提取面部表情和语音的单模态空间信息，所述时间注意模块用于提取面部表情和语音的单模态时间信息，所述多模态融合转换器用于融合面部表情和语音的多模态时空信息； 将所述时空融合特征输入心理状态分类器，以获得所述心理状态分类器输出的分类结果； 所述空间注意模块按照下式提取面部表情和语音的单模态空间信息： 其中，Re为矩阵形状变换函数，XSm为特征维度统一后的面部表情特征或语音特征，tanh为激活函数，Q为自注意力机制中的查询元素，K为自注意力机制中的键元素，V为自注意力机制中的值元素，LN为数据归一化层，X'Sm为所述空间注意模块编码后的空间特征； 所述时间注意模块按照下式提取面部表情和语音的单模态时间信息： X″Sm＝LNAttsRe′X′Sm+Re′X′Sm； 其中，X″Sm为所述时间注意模块编码后的时间特征； 所述多模态融合转换器按照下式融合面部表情和语音的多模态时空信息： 其中，MultiHead为多头注意力机制，Qa为面部模态下的查询元素，Kv为语音模态下的键元素，Vv为语音模态下的值元素，X'S'a为通过所述空间注意模块和所述时间注意模块得到的面部模态或语音模态下的时空特征，FFN为带有激活函数的两层全连接，为面部表情或语音的时空融合特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人兰州大学，其通讯地址为：730000 甘肃省兰州市天水南路222号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。