买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京大学申请的专利一种基于rPPG原理的多模态数据情绪识别深度学习网络获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119441973B 。

龙图腾网通过国家知识产权局官网在2025-12-19发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411463222.7，技术领域涉及：G06F18/241；该发明授权一种基于rPPG原理的多模态数据情绪识别深度学习网络是由王文凯;陈颖;季纯羽设计研发完成，并于2024-10-18向国家知识产权局提交的专利申请。

本一种基于rPPG原理的多模态数据情绪识别深度学习网络在说明书摘要公布了：本发明提出了一种基于rPPG原理的多模态数据情绪识别深度学习网络。通过多模态数据与辅助任务的引入，从生理意义实现端到端的情绪识别。网络尝试基于视频和心率信号，通过观察人脸血流局部动作，而非挤眉弄眼等宏观的肌肉表情动作，从生理角度得到情绪和生理标签。通过深度学习网络捕捉视频中包含生理信息的血流动作特征，基于心率信号编码为其提供时间注意力，引导网络学习人脸视频中包含生理意义的关键特征表示。同时引入了心率自相似性特征提取作为辅助任务以提升网络性能。

本发明授权一种基于rPPG原理的多模态数据情绪识别深度学习网络在权利要求书中公布了：1.一种基于rPPG原理的多模态数据情绪识别深度学习网络的方法，其特征在于，包括以下步骤： 步骤1，对数据集进行划分，大部分数据作为网络训练集，少部分数据作为网络测试集，网络训练集与网络测试集的实验对象、视频片段互不重合； 步骤2，对数据集的样本标签分布进行统计分析，并对数据中的视频信号和生理信号进行预处理； 步骤3，建立时空特征提取器，其输入为视频帧差信号ECG生理信号提取包含生理信息的底层时空特征，其结构为简化的DeePhys结构； 步骤4，建立多尺度特征嵌入结构，可以提取特征，捕获、处理和理解数据中的关键信息，其结构为并联多尺度池化结构以获取多尺度不同视野，最后合并拼接，通过一个一维卷积调整通道； 步骤5，建立基于生理信号的时间注意力模块，是基于时序意义的全局再建模，通过注意力机制得到全局融合的丰富信息指导对应任务，其结构为类似transformer的encoder编码器的结构； 步骤6，建立rPPG提取模块，分为心率自相似性特征提取和波形与心率提取，其中心率自相似性特征提取使用时域滑窗、特征映射、余弦相似度计算等操作获得自相似性特征图；在波形提取时，将心率自相似性特征图MS压缩至一维序列得到自相似性波形，在心率提取时先通过FFT求序列的频域谱，将时域信号转为频域；接着选取频域的最高分量，根据峰值分量判断序列的频率值，对应最终的心率值； 步骤7，完成对整体模块的训练和微调，并在测试集上进行评估测试。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京大学，其通讯地址为：210023 江苏省南京市栖霞区仙林大道163号南京大学电子科学与工程学院；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。