买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华中师范大学申请的专利一种基于多模态数据的课堂认知投入识别方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117237766B 。

龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310856502.3，技术领域涉及：G06V10/80；该发明授权一种基于多模态数据的课堂认知投入识别方法和系统是由魏艳涛;徐琦;高洁;刘清堂设计研发完成，并于2023-07-12向国家知识产权局提交的专利申请。

本一种基于多模态数据的课堂认知投入识别方法和系统在说明书摘要公布了：本发明公开了一种基于多模态数据的课堂认知投入识别方法和系统，首先从多模态数据中挖掘认知投入的关联视觉线索，构建包含认知行为、认知情感和认知言语的课堂认知投入多维细粒度表征模型；其次，将不同模态的认知投入自动识别问题分别通过三类深度学习模型来解决，提出基于身体姿态等的Yolov8模型、基于面部表情等的EfficientNet模型、基于语音文本等的TextCNN模型。同时，为本发明所采用的机器学习方法提供训练支持，构建了基于多模态的课堂认知投入感知数据库和数据标注观测指标体系；最后根据学习者的认知投入调查反馈结果，构建融合多视觉线索的课堂认知投入识别方法，实现多粒度课堂认知投入识别，满足实际应用中多层次、多阶段的课堂认知投入感知需求。

本发明授权一种基于多模态数据的课堂认知投入识别方法和系统在权利要求书中公布了：1.一种基于多模态数据的课堂认知投入识别方法，其特征在于，包括如下步骤： 步骤1，从多模态数据角度出发，构建基于多模态数据的课堂认知投入感知数据库； 步骤2，提取自然课堂中的多模态数据，进行课堂认知投入感知的多模态数据分析，基于多模态数据构建多维度的课堂认知投入表征概要模型，获得课堂认知投入的多维度表征； 步骤2中多模态数据包括身体姿态、头部姿态、眼动变化、面部表情、面部单元、课堂音频和语音文本； 步骤2中从学习者的认知行为、认知情感和认知言语三个维度构建课堂认知投入表征概要模型； 课堂认知投入表征概要模型的具体构建步骤如下； 1课堂认知投入中的认知行为维度通过身体姿态、头部姿态、眼动变化模态数据进行综合表征，针对时刻f的课堂视频帧，对该时刻对应的图像进行向量化，将图像中的每一个像素点用[0,9]的数字表示，作为身体姿态、头部姿态、眼动变化模态数据的表征结果A； 2课堂认知投入中的认知情感维度通过面部表情和面部单元模态数据进行表征，针对每一时刻的课堂视频帧，首先通过Opencv库进行人脸自动提取，将提取出来的人脸图像作为该时刻下认知情感表征依据，然后将彩色图像中的每一个像素点用[0,9]的数字表示，形成最终的表征结果B； 3课堂认知投入中的认知言语维度通过课堂音频和语音文本模态数据进行量化表征，通过预训练好的词向量和含参数的词向量两种表示方法共同表征认知言语维度，表征结果为C； 步骤3，基于学习者的多模态数据和课堂认知投入的多维度表征，采用深度学习的方法进行基于多模态数据的多维认知投入识别，最后输出不同模态数据的认知投入识别结果； 步骤4，融合步骤3得到的每个模态的认知投入结果，然后自适应地调整不同模态数据识别结果的权重，根据学习者的认知投入问卷反馈进行课堂认知投入权重参数训练，感知学习者的整体课堂认知投入水平。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华中师范大学，其通讯地址为：430079 湖北省武汉市洪山区珞瑜路152号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。