买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江师范大学申请的专利基于多模态表征的在线学习认知异常学生检测方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119417064B 。

龙图腾网通过国家知识产权局官网在2025-12-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510014574.2，技术领域涉及：G06Q10/063；该发明授权基于多模态表征的在线学习认知异常学生检测方法及系统是由吴雪梅;余秉航;黄昌勤;黄琼浩;张帝设计研发完成，并于2025-01-06向国家知识产权局提交的专利申请。

本基于多模态表征的在线学习认知异常学生检测方法及系统在说明书摘要公布了：本发明公开了一种基于多模态表征的在线学习认知异常学生检测方法及系统，属于异常检测领域。本发明首先获取学生学习过程中的多模态数据，构建学生关系图；然后将每个学生的多模态数据输入经过辅助分类任务预先训练的多模态学习表示模块中，获得每个学生对应的多模态嵌入；最后将多模态嵌入以及学生关系图输入预先通过对比学习框架训练的认知异常学生检测模块，获得目标节点对应学生的认知异常分数，本发明可以自动提取学生认知信息，避免人工处理的繁重工作，同时基于多视图多策略对比实现认知异常学生检测，能够在考虑多种影响因素的基础上对平台上学生的认知水平进行检测，辅助提升在线学习的效果。

本发明授权基于多模态表征的在线学习认知异常学生检测方法及系统在权利要求书中公布了：1.一种基于多模态表征的在线学习认知异常学生检测方法，其特征在于，包括： S1、获取目标在线课程中每个学生学习过程中的多模态数据，所述多模态数据包括记录学生面部表情和肢体行为的视频数据、记录在线课堂声音的音频数据、记录在线课堂交互讨论文本的文本数据；将所有学生作为节点，学生之间的交互作为边，学生在平台上注册的基础信息作为节点特征，构建学生关系图； S2、将目标在线课程中每个学生的多模态数据输入经过辅助分类任务预先训练的多模态学习表示模块中，获得每个学生对应的多模态嵌入；所述多模态学习表示模块中，先针对每个多模态数据中视频、音频和文本三种模态，分别利用模态特定编码器对不同模态数据进行编码，获得各自的单模态嵌入，再将三种模态的单模态嵌入拼接后输入基于Transformer的共享编码器从而融合为多模态嵌入； S3、将目标在线课程中所有学生对应的多模态嵌入以及学生关系图输入预先通过对比学习框架训练的认知异常学生检测模块，获得目标节点对应学生的认知异常分数； 所述认知异常学生检测模块由多视图构建模块、全域特征提取模块、聚焦特征提取模块、超图特征提取模块和评分模块组成；所述多视图构建模块用于结合学生关系图以及所述多模态嵌入构建全域视图，同时通过节点相似度的边筛选操作，将全域视图转换为聚焦视图；所述全域特征提取模块中，用于针对待检测学生对应的目标节点，生成全域视图下目标节点的子图级表示以及节点级表示；所述聚焦特征提取模块，用于针对待检测学生对应的目标节点，生成聚焦视图下目标节点的子图级表示和节点级表示；所述超图特征提取模块，用于通过对偶超图变换和超图神经网络，生成超图视图下目标节点的子图级表示；所述评分模块中，根据多轮随机游走下由全域特征提取模块、聚焦特征提取模块、超图特征提取模块分别提取到的多种特征表示，结合记忆库中的历史信息，通过双线性层进行多维度的异常评分，并融合得到最终的目标节点的认知异常总分数； 所述认知异常学生检测模块的各子模块内部流程具体如下： 所述多视图构建模块中，将学生关系图中学生节点的节点特征替换为对应的多模态嵌入，从而构成全域视图；基于节点间的特征相似度对全域视图中的边连接进行筛选，删除节点间的特征相似度低于阈值的边，从而将全域视图转换为聚焦视图； 所述全域特征提取模块中，针对待检测学生对应的目标节点，先在全域视图下将目标节点作为起始采样点，通过随机游走采样一个子图并输入第一图卷积网络中逐层聚合生成隐藏表示，对第一图卷积网络最终输出的全部节点隐藏表示进行节点维度的平均，获得全域视图下目标节点的子图级表示；同时将全域视图中目标节点的节点特征输入第一图卷积网络，将其映射为全域视图下目标节点的节点级表示； 所述聚焦特征提取模块中，针对待检测学生对应的目标节点，先在聚焦视图下将目标节点作为起始采样点，通过随机游走采样一个子图并输入第二图卷积网络中逐层聚合生成隐藏表示，基于第二图卷积网络最终输出的全部节点隐藏表示计算其他每个节点相对于目标节点的相似度，然后通过多层感知机将相似度映射为权重，进而对第二图卷积网络最终输出的所有节点的节点隐藏表示进行加权融合，得到聚焦视图下目标节点的子图级表示；同时将聚焦视图中目标节点的节点特征输入第二图卷积网络，将其映射为聚焦视图下目标节点的节点级表示； 所述超图特征提取模块中，先将所述全域特征提取模块中采集的子图进行对偶超图变换，获得超图视图下的子图并输入超图神经网络进行编码，对超图神经网络最终输出的全部超节点隐藏表示进行超节点维度的平均，获得超图视图下目标节点的子图级表示； 所述评分模块中，根据由全域特征提取模块、聚焦特征提取模块、超图特征提取模块分别提取到的多种特征表示，通过双线性层计算全域视图下目标节点与其他节点的节点级表示相似度，作为第一维度异常分数；通过双线性层计算全域视图下目标节点在当前在线课程以及历史在线课程中的节点级表示相似度，作为第二维度异常分数；通过双线性层计算全域视图和聚焦视图下目标节点的节点级表示相似度，作为第三维度异常分数；将三个维度的异常分数加权求和，得到目标节点所对应的学生在目标在线课程中的认知异常总分数； 所述S2中，通过辅助分类任务预先训练多模态学习表示模块时，利用训练阶段额外设置的信号转换模块对多模态数据中的每种模态的单模态嵌入进行不同类别的信号转换，再分别基于信号转换后的单模态嵌入通过特定模态分类头预测各模态的信号转换类别，从而通过分类交叉熵损失对多模态学习表示模块进行优化； 所述S3中，通过对比学习框架训练认知异常学生检测模块时，需进行聚焦-全域对比学习、历史-当前对比学习和个体-交互对比学习，并以各自的对比学习损失的加权和作为总损失函数； 所述聚焦-全域对比学习中，针对聚焦视图和全域视图分别构建正负样本对；且在聚焦视图中，以聚焦视图中目标节点的子图级表示与目标节点的节点级表示构成正样本对，以目标节点的子图级表示与其他节点的节点级表示构成负样本对；在全域视图中，以全域视图中目标节点的子图级表示与目标节点的节点级表示构成正样本对，目标节点的子图级表示与其他节点的节点级表示构成负样本对； 所述历史-当前对比学习中，将当前的目标在线课程全域视图下目标节点的节点级表示与记忆库中存储的所有历史在线课程中全域视图下目标节点的节点级表示平均值构成正样本对，将当前的目标在线课程全域视图下目标节点的节点级表示与记忆库中存储的所有历史在线课程中全域视图下其他节点的节点级表示平均值构成负样本对； 所述个体-交互对比学习中，以超图视图中目标节点的子图级表示与全域视图中目标节点的子图级表示构成正样本对，以超图视图中目标节点的子图级表示与全域视图中其他节点的子图级表示构成负样本对。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江师范大学，其通讯地址为：321017 浙江省金华市婺城区迎宾大道688号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。