买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西北工业大学申请的专利基于多模态数据学习的移动端儿童视觉注意异常筛查方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115761908B 。

龙图腾网通过国家知识产权局官网在2025-08-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211164739.7，技术领域涉及：G06V40/70；该发明授权基于多模态数据学习的移动端儿童视觉注意异常筛查方法是由夏辰;陈贺旭;韩军伟;郭雷;李宽;张驰;徐智鸿设计研发完成，并于2022-09-23向国家知识产权局提交的专利申请。

本基于多模态数据学习的移动端儿童视觉注意异常筛查方法在说明书摘要公布了：本发明涉及一种多模态数据学习的移动端儿童视觉注意异常筛查方法，属于计算机视觉领域。设置校准视频与测试视频，并分别记录儿童在智能手机端观看校准视频与测试视频时的头面部视频；构建眼动估计模型，从测试视频对应的头面部视频中逐帧预测注视点位置，并从注视点跳转幅度、注视点跳转角度与感兴趣区域等多个角度来提取眼动特征；从测试视频对应的头面部视频中分别提取面部表情特征与头部姿态特征；再利用长短期记忆网络将不同模态特征融合起来，实现从多模态特征到类别标签的映射。在测试阶段，记录待分类儿童在观看移动端视频时的头面部视频，并提取眼动、面部表情与头部姿态等特征输入到训练后模型中判定是否异常。

本发明授权基于多模态数据学习的移动端儿童视觉注意异常筛查方法在权利要求书中公布了：1.一种基于多模态数据学习的移动端儿童视觉注意异常筛查方法，其特征在于步骤如下： 步骤1：设置校准视频与测试视频，并分别记录m名视觉注意异常儿童与m名正常发育儿童在智能手机端观看校准视频与测试视频时的头面部视频； 步骤2：构建眼动估计模型，使用眼动估计模型对测试视频对应的头面部视频帧进行注视点位置估计，并从注视点跳转幅度、注视点跳转角度与感兴趣区域来提取眼动特征；所述的构建眼动估计模型具体如下： 首先，从两个校准视频对应的头面部视频采样得到视频帧，同时采用单阶多层检测器对每一视频帧中的人脸与左右眼进行检测，得到人脸图像、左右眼图像和相应的边界框；接下来，将人脸和左右眼图像转化为固定尺寸，并且将相应的边界框归一化，利用卷积神经网络分别对人脸与左右眼图像进行提取特征；其中左右眼共享卷积神经网络权值，再利用全连接层对相对应的边界框进行特征提取，以获得人脸与左右眼在图像中相对位置特征；最后，利用全连接层将上述分别提取到的特征进行融合，经过全连接层得到最终的眼动估计结果； 步骤3：从测试视频对应的头面部视频中分别提取面部表情特征与头部运动特征；再利用长短期记忆LSTM网络将不同模态特征融合起来，实现从多模态特征到类别标签的映射；所述的头部运动特征包括头部姿态特征与头部运动距离特征，所述头部姿态特征提取方法：采用受约束的局部神经域面部标志检测器来估计不同头部姿态角，再通过设定阈值对头部姿态进行分类划分；其中头部姿态角包括：头部俯仰角，头部偏向角与头部滚动角；根据三个头部姿态角，头部姿态的具体划分如下所示： 所述头部运动距离特征提取方法：首先估计两眼中间点的三维坐标来定位头部，再计算每相邻两帧头部定位点在立体空间上的欧式距离来衡量头部运动距离，最后按照5个区间对头部运动距离进行量化划分； 步骤4：在测试阶段，记录待分类儿童在观看移动端视频时的头面部视频，并提取眼动、面部表情与头部运动多模态特征输入到训练后LSTM网络模型中判定是否异常。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西北工业大学，其通讯地址为：710072 陕西省西安市友谊西路；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。