买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学申请的专利基于多模态对齐的学习过程专注程度判断的方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118885964B 。

龙图腾网通过国家知识产权局官网在2025-11-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410919752.1，技术领域涉及：G06F18/25；该发明授权基于多模态对齐的学习过程专注程度判断的方法及系统是由王朝;何谦佩;肖俊设计研发完成，并于2024-07-10向国家知识产权局提交的专利申请。

本基于多模态对齐的学习过程专注程度判断的方法及系统在说明书摘要公布了：本发明公开了一种基于多模态对齐的学习过程专注程度判断的方法及系统，属于多模态模式识别领域。本方法包括以下步骤：获取多模态数据：获取学生在教育行为中的原始多模态数据，并对原始多模态数据进行预处理；特征提取：构建每种模态数据对应的多模态数据表征编码模型，用于对应提取表征；模型训练：表征融合后，由融合后的多模态表征以及学生的专注程度标签训练专注程度判断模型；专注程度预测：将融合后的待检测多模态表征输入到训练好的专注程度判断模型中，输出预测的学生的专注程度。本发明充分利用多模态数据的丰富信息和学习者的多样特征，提高了表征学习的准确性和可解释性，能够更好地预测学习者在学习过程中的专注程度。

本发明授权基于多模态对齐的学习过程专注程度判断的方法及系统在权利要求书中公布了：1.一种基于多模态对齐的学习过程专注程度判断的方法，其特征在于，包括以下步骤： S1：获取学生在教育行为中的原始多模态数据以及对应学生的专注程度，并对原始多模态数据进行预处理，得到预处理后的多模态数据，预处理后的多模态数据包含预处理后的脑成像数据、语音数据以及眼动数据； S2：根据提取多模态表征的需要分别构建第一多模态数据表征编码模型、第二多模态数据表征编码模型以及第三多模态数据表征编码模型，用于对应提取预处理后的多模态数据中的脑成像数据表征、音频数据表征以及眼动数据表征； S3：将脑成像数据表征、音频数据表征以及眼动数据表征进行融合，得到融合后的多模态表征，由融合后的多模态表征以及学生的专注程度标签构建训练数据集，在所述训练数据集上训练专注程度判断模型，直至总损失收敛，得到训练好的专注程度判断模型，用于判断每个学习者在学习过程的专注程度； 所述专注程度判断模型由一个双向长短期记忆网络和一个全连接层依次级联而成，其中，所述双向长短期记忆网络用于提取时序特征，所述全连接层用于将所述双向长短期记忆网络提取到的时序特征映射为专注程度标签； S4：在教育行为中获取待检测的原始多模态数据，对待检测的原始多模态数据进行预处理，得到预处理后的待检测多模态数据；由第一多模态数据表征编码模型、第二多模态数据表征编码模型以及第三多模态数据表征编码模型对应提取预处理后的待检测多模态数据中各个模态数据表征，得到待检测的脑成像数据表征、音频数据表征以及眼动数据表征；将待检测的脑成像数据表征、音频数据表征以及眼动数据表征进行融合，得到融合后的待检测多模态表征；将融合后的待检测多模态表征输入到训练好的专注程度判断模型中，输出预测的学生的专注程度； 步骤S2的具体过程如下： S21：对于一段包含帧的预处理后的脑成像数据，将每一帧预处理后的脑成像数据使用在医学图像上预训练过的第一多模态数据表征编码模型进行特征提取，得到单帧的脑成像数据表征； S22：对于预处理后的语音数据，首先将其分割为段的短音频片段，然后使用梅尔频谱图将每个短音频片段转换成频谱图，将得到的每个频谱图依次输入到预训练过的第二多模态数据表征编码模型中，将每个频谱图映射成密集向量，将密集向量作为音频数据表征； S23：对于预处理后的眼动数据，每一帧预处理后的眼动数据均包含主观视角下的RGB图像以及注意力热力图，将注意力热力图输入到在医学数据上预训练过的第三多模态数据表征编码模型中，得到热力图表征，将所述RGB图像输入到在医学数据上预训练过的第三多模态数据表征编码模型中，得到RGB图像表征，将热力图表征和RGB图像表征拼接之后，得到眼动数据表征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。