买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东北大学秦皇岛分校申请的专利一种基于人工智能方法的多模态实时心理健康分析系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119069081B 。

龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411150269.8，技术领域涉及：G16H20/70；该发明授权一种基于人工智能方法的多模态实时心理健康分析系统是由傅昌锃;钱丰奎;董家铖;李子恒;黄睿丁设计研发完成，并于2024-08-21向国家知识产权局提交的专利申请。

本一种基于人工智能方法的多模态实时心理健康分析系统在说明书摘要公布了：本发明提供一种基于人工智能方法的多模态实时心理健康分析系统，涉及情绪分析技术领域。包括一个脑电生物反馈仪、一个云端服务器和一台电脑；脑电生物反馈仪与电脑使用USB串口通信，电脑与云端服务器使用TCPIP进行通信。深度学习模型与数据分析的代码部署在云端服务器，音频图像收集模块与用户交互模块集成在电脑，脑电波收集模块部署在脑电生物反馈仪中。本发明通过融合脑电波、图像和音频三种模态的数据，提供一种多维、准确且实时的多模态情绪分析算法，该算法不仅能够实时处理和分析多模态数据，提高情绪识别的准确性，还能显著提升算法的鲁棒性和准确性，为情绪识别和分析提供了更为全面和精准的解决方案。

本发明授权一种基于人工智能方法的多模态实时心理健康分析系统在权利要求书中公布了：1.一种基于人工智能方法的多模态实时心理健康分析系统，其特征在于：包括一个脑电生物反馈仪、一个云端服务器和一台电脑；脑电生物反馈仪与电脑使用USB串口通信，电脑与云端服务器使用TCPIP进行通信； 在脑电生物反馈仪中部署脑电波采集模块与信号分析模块，通过脑电波采集模块接受脑电波原始信号，信号分析模块解析脑电波原始信号并将信号传递至电脑；所述脑电波采集模块采集脑电波的过程为：接受脑电波原始数据，记为Rawdata，并转换为五种脑电波信号：Delta波、Theta波、Alpha波、Beta波、Gamma波，共五个无符号数值，采用横向动态对比的方式，在丢包率小于10％并通过校验和的情况下保留数据并传递给信号分析模块； 所述信号分析模块进行信号分析与传递的过程为：通过上述五种脑电波信号计算出专注度Attention与放松度Meditation并映射到0～100之间，并通过USB串口通信将Attention、Meditation、Delta、Theta、Alpha、Beta、Gamma共七种脑电波传递到电脑； 在云端服务器部署深度学习模型与数据分析的计算机程序，包括交互数据存储模块、交互参数存储模块、音频处理模块、图像处理模块、脑电波处理模块、多模态情绪分析模块、结果回传模块和结果报告展示模块，各模块的功能分别为：云端服务器接受电脑中音视频脑电波收集模块回传的音频流、数据流与脑电波信号流，交互数据存储模块将按照时间戳顺序存储到云端数据库中；云端服务器接受用户在交互过程中输入的参数，交互参数存储模块将按照时间戳顺序存储到云端数据库中；音频处理模块根据音频数据进行情绪分析；图像处理模块根据图像数据进行情绪分析；脑电波处理模块根据脑电波数据进行情绪分析；多模态情绪分析模块用于实时接受脑电波-图像-音频模态的情绪指标，进行多模态情绪分析；结果回传模块用于实时地将情绪分析结果回传至电脑，供用户在电脑上进行查看；结果报告展示模块用于在记录结束后生成本次的情绪分析报告，并回传至电脑； 所述云端服务器的各个模块完成其功能的过程具体如下： 交互数据存储模块存储交互数据的过程为：电脑将麦克风采集的音频信号、摄像头采集的图像数据、脑电波收集模块收集的脑电波信号，以实时数据流的形式通过TCPIP传输给云端服务器，交互数据存储模块按照时间戳顺序存入云端数据库； 交互参数存储模块存储交互参数的过程为：用户输入的参数将通过localStorage方法存储在本地浏览器缓存中，云端服务器启动时，将从本地浏览器缓存中调用用户输入的参数，调用运行结束后，交互数据将被删除，以确保用户隐私的保护； 音频处理模块处理音频数据与情绪分析的过程为：首先，音频处理模块将云端服务器接收的音频信号Raw_A转换为单声道数据，并重采样到16000Hz，然后将其分割成固定时长的片段；预处理过的音频数据通过训练完成的音频预测模型进行情绪识别，具体流程如下： 输入的音频信号xt首先通过wav2vec预训练模型作为特征编码器处理，得到特征向量序列X＝f_encoderxt；将特征向量序列X投影到更高维度的空间，以匹配Transformer模型的输入维度；经过Transformer编码与池化操作，最终得到音频清醒度audio_arousal、音频统御力audio_dominance和音频愉悦度audio_valence三个情绪指标，这些情绪指标的取值范围为[0,1]；将这些情绪指标进一步映射到[-3,3]的范围；分析周期初始设定为2，用户使用中根据实际需求进行修改；最终，情绪指标数值将按照时间戳存入云端数据库中； 图像处理模块处理图像数据与情绪分析的过程为：首先，图像处理模块将云端服务器接收的图像信号Raw_V送入预先训练的DLIB人脸检测模型，以检测画面中是否出现人脸，并选择其中尺寸最大的人脸；接下来，将选中的人脸送入预先训练的DLIB面部关键点检测模型进行关键点检测，从而生成一个包含检测到的面部关键点的对象，记为landmarks_object；随后，将对象landmarks_object传递给预训练的情绪估计器，情绪估计器利用偏最小二乘回归分析构建二维情感空间预测模型，并采用NeutraltoApexmorphing方法计算情感强度，得出三个关键的面部情绪指标：面部清醒度face_arousal、面部强烈度face_intensity和面部愉悦度face_valence，其中，面部强烈度face_intensity的取值范围为[0,1]，其余两个指标的取值范围为[-1,1]；将这三个面部情绪指标进一步映射到[-3,3]的范围；输出周期为每帧一次，并按照时间戳将三个面部情绪指标存入云端数据库中； 脑电波处理模块处理脑电波数据与情绪分析的过程为：首先，脑电波处理模块将云端服务器接收的脑电波信号Raw_B按固定周期进行分段处理；针对每个周期内的数据，单独计算Delta波、Theta波、Alpha波、Beta波和Gamma波的周期均值；在此基础上，计算这些波段的标准差，并构建正态分布的概率密度函数，计算当前秒的数据在正态分布上的积分值；然后，将积分值进行归一化处理，转换成标准分数；根据这些标准分数，结合预设的权重，计算出七个情绪指标：快乐light、统御力dominance、警惕alert、清醒clear、紧张nervous、注意力attention和冥想度meditation；每个情绪指标的计算都基于不同波段信号的综合权重，以确保情绪分析的准确性和可靠性； 多模态情绪分析模块分析多模态情绪的过程为：首先从云端数据库中获取audio_arousal、audio_dominance、audio_valence、face_arousal、face_intensity、face_valence共六个指标的值，分别映射到PAD情感表格中，得到当前面部与音频各自的预测情绪；多模态情绪分析模块将audio_arousal、audio_dominance、audio_valence可视化为三维立体图，将face_arousal与face_valence可视化为二维平面图，与分析结果一同存入云端数据库； 结果回传模块回传情绪结果的过程为：云端服务器接受数据并结束分析后，从数据库中获取实时分析结果组成字典，并以json格式打包，通过TCPIP回传至电脑上，用户能查看当前预测的面部音频与脑电波数据、PAD情绪类型、音频三维立体图与面部二维平面图； 结果报告展示模块生成情绪分析报告的过程为：用户结束记录后，云端服务器将本次音频面部分析得到的PAD情绪指标与脑电波分析得到的情绪指标赋予不同权重，得到正面情绪、负面情绪与生理情绪的分析报告； 在电脑集成音视频脑电波收集模块与用户交互模块，分别用于通过电脑元件收集音视频脑电波数据、通过电脑界面进行算法交互，具体为：通过麦克风收集音频数据Raw_A、通过摄像头收集图像数据Raw_V、通过脑电波收集模块收集脑电波数据Raw_B；用户通过鼠标与电脑屏幕进行算法操作，自行开始和停止记录，修改参数，以及查看结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东北大学秦皇岛分校，其通讯地址为：066004 河北省秦皇岛市经济技术开发区泰山路143号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。