买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉河北工业大学申请的专利多模态特征一致性心理健康异常识别方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116230234B 。

龙图腾网通过国家知识产权局官网在2026-03-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310265823.6，技术领域涉及：G16H50/30；该发明授权多模态特征一致性心理健康异常识别方法及系统是由李泽;付志刚;许铮铧设计研发完成，并于2023-03-20向国家知识产权局提交的专利申请。

本多模态特征一致性心理健康异常识别方法及系统在说明书摘要公布了：本发明为多模态特征一致性心理健康异常识别方法及系统，包括以下内容：获取同一场景下的包含音频文件和视频文件这两种模态的原始数据文件；将获得的原始数据文件中对视频数据和音频数据进行预处理；将连续帧序列中每帧微表情程度分数进行归一化处理,获得微表情关键帧向量；将从音频数据提取的频率特征送入音频流深度特征提取网络获得深度语音特征FA和音频特征预测结果yA；连续帧序列同时送入视频流深度特征提取网络获得深度视频特征FV和视频特征预测结果yV；之后将FA和FV进行特征融合，之后送入心理健康分类网络进行最终预测。本发明有效利用了面部微表情特征和语音特征共同来进行心理健康异常识别。

本发明授权多模态特征一致性心理健康异常识别方法及系统在权利要求书中公布了：1.一种多模态特征一致性心理健康异常识别方法，该方法包括以下内容： 获取同一场景下的包含音频文件和视频文件这两种模态的原始数据文件，包含正常样本和异常样本，且对异常样本设置有疾病种类标签； 将获得的原始数据文件中包含有完整面部图像的视频数据进行微表情放大处理，然后根据每一帧面部微表情动作幅度大小对视频帧进行打分，记录每帧微表情程度分数，再将人脸图像进行配准对齐，至此完成对视频数据的微表情放大处理；然后对放大后的视频数据按照设定的采样间隔进行连续帧序列采样，得到多个维度相同的连续帧序列，至此完成对视频数据的预处理； 将连续帧序列中每帧微表情程度分数进行归一化处理,获得微表情关键帧向量； 对获得的原始数据文件中的音频数据进行降噪除杂处理，提取音频数据的频率特征； 将从音频数据提取的频率特征送入音频流深度特征提取网络进行音频深度特征提取，得到深度语音特征FA，同时在音频流深度特征提取网络中对语音信息进行语音特征结果预测，获得音频特征预测结果； 构建视频流深度特征提取网络，所述视频流深度特征提取网络包括依次连接的去池化层的C3DResNet50、空间注意力模块、通道注意力模块、时间注意力模块及分类网络；其中时间注意力模块的输入为通道注意力模块的输出和微表情关键帧向量的相乘结果，时间注意力模块的输出在帧序列维度上求平均后获得深度视频特征； 从视频数据获得的多个维度相同的连续帧序列同时送入视频流深度特征提取网络进行视频深度特征提取，得到深度视频特征；在视频流深度特征提取网络中对连续帧序列的视频信息进行视频特征结果预测，经分类网络获得视频特征预测结果； 将所述深度视频特征和深度语音特征利用张量融合网络进行特征融合，得到音视频多模态融合特征；将音视频多模态融合特征送入心理健康分类网络进行最终预测,经过心理健康分类网络后得到最终预测的音视频特征预测结果y； 按照公式2计算音视频多模态一致性损失， 2 其中，n为样本数，M为标签类别的数量，表示第i个样本的标签，表示第i个样本属于类别c的模型预测概率，为惩罚系数；函数为惩罚函数，当音频特征预测结果和视频特征预测结果不一致时增大损失函数的惩罚力度，惩罚函数的定义为 3。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人河北工业大学，其通讯地址为：300130 天津市红桥区丁字沽光荣道8号河北工业大学东院；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。