南昌工学院黎曦获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉南昌工学院申请的专利一种基于棋盘自注意力机制的课堂教学手势识别方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117079341B 。
龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211631875.2,技术领域涉及:G06V40/20;该发明授权一种基于棋盘自注意力机制的课堂教学手势识别方法是由黎曦;李少义;韩经纬;刘海;侯常辉;田斌;刘婷婷;鞠剑平;肖振华设计研发完成,并于2022-12-19向国家知识产权局提交的专利申请。
本一种基于棋盘自注意力机制的课堂教学手势识别方法在说明书摘要公布了:本发明针对目前智慧课堂教学的单一性问题,公开了一种基于棋盘自注意力机制的课堂教学手势识别方法。该方法包括如下步骤:1分别获取智慧课堂中四传感器彩色线阵扫描相机下教师视频数据和3D激光雷达下的智慧课堂的点云信息;2将四传感器彩色线阵扫描相机下教师视频数据按时间顺序划分为RGB图像帧;3将教师的RGB图像帧输入到手势检测的模型中获取教师在智慧课堂教师中的手势检测结果;4将教师手势检测图像与点云信息进行融合,数据进一步输送到3D手势识别的模型中,用来识别智慧课堂中教师教学的手势结果;5对教师不同时刻的手势识别结果进行分析,反馈到智慧课堂中进行人机交互,起到控制教学设备的作用。本发明通过对智慧课堂中教师不同时刻的手势进行识别和分析,可以实时判断教师的手势,传递教师需要表达的操作意图,高效控制教学设备。
本发明授权一种基于棋盘自注意力机制的课堂教学手势识别方法在权利要求书中公布了:1.一种基于棋盘自注意力机制的课堂教学手势识别方法,其特征在于,包括步骤: 分别获取智慧课堂中四传感器彩色线阵扫描相机下教师视频数据和3D激光雷达下的智慧课堂的点云信息; 将四传感器彩色线阵扫描相机下教师视频数据按时间顺序划分为RGB图像帧; 将教师的RGB图像帧输入到手势检测模型中获取教师在智慧课堂教师中的手势检测结果; 将教师手势检测图像与点云信息进行融合,数据进一步输送到3D手势识别模型中,用来识别智慧课堂中教师教学的手势结果; 对教师不同时刻的手势识别结果进行分析,反馈到智慧课堂中进行人机交互,起到控制教学设备的作用; 数据融合模块用于将教师手势检测图像与点云信息进行融合;所述的3D手势识别模型包括点云处理Transformer模块、关节估计Transformer模块、全连接层;所述点云处理Transformer模块包括输入嵌入层、参考手势提取器、4个级联的自注意力模块和Concat函数;所述关节估计Transformer模块遵循标准的编码器-解码器架构,包括个手势识别编码器、个手势识别解码器、NC多头自注意力层和ED多头注意力层; 步骤2.1.1,校准教师已检测出手部图像帧数据与激光雷达获取的点云信息; 步骤2.1.2,通过坐标变换将相机坐标系下的变换为激光雷达坐标系下的,使用已经检测出教师图像帧手部的图像来缩小用于3D手势识别模块的识别空间,从而减少点云冗余的背景点,提高运行效率; 所述的点云处理Transformer模块步骤如下: 步骤2.2.1:点云输入,选定一组教师手势无序的空间坐标点,可将教师手势的空间坐标点模型化为一系列的向量表示:; 步骤2.2.2:参考手势的提取,将该手势参数化为相机坐标系中的一组空间关节坐标,其中表示手部关节数量,根据相关输入点,通过参考手势提取器来生成参考手势; 步骤2.2.3:提取点云特征,输入点云,首先通过输入嵌入层输出具有维的特征向量,再通过特征维度串联每个自注意力层的输出:其中,表示第个自注意力层,每个自注意力层具有与其输入相同的输出维度;是线性层的权重; 所述的关节估计Transformer模块步骤如下: 步骤2.3.1:获取增强的手势关节点特征,对相机坐标系中的N个点集进行下采样和归一化,表示为将归一化后的点P送入手势识别编码器中用以生成增强的手势关节点; 步骤2.3.2:增强的手势关节点特征与参考手势的融合,参考手势进一步输入到手势识别解码器中,并且通过NC多头自注意力层来捕捉其关节之间的结构依赖性,将其用作目标手势的近似; 步骤2.3.3:关联逐点增强手势关节点,通过ED多头注意力模块,将捕获的姿势相关性与逐点增强手势关节点相关联,用来发现来自不同子空间的特定联合生成的相关点,其解码过程可公式化为:,其中是模型参数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南昌工学院,其通讯地址为:330108 江西省南昌市红谷滩新区阁皂山大道998号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。
    
    
    
                        
                        
					
                
                
                            
                            
皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励