Document
拖动滑块完成拼图
个人中心

预订订单
商城订单
发布专利 发布成果 人才入驻 发布商标 发布需求

请提出您的宝贵建议,有机会获取IP积分或其他奖励

投诉建议

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 积分商城 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 浙江理工大学张海翔获国家专利权

浙江理工大学张海翔获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉浙江理工大学申请的专利一种基于HGCN和手势骨架序列的手势类别识别方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115620399B

龙图腾网通过国家知识产权局官网在2025-12-12发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211393390.4,技术领域涉及:G06V40/20;该发明授权一种基于HGCN和手势骨架序列的手势类别识别方法是由张海翔;李少华;曾瑞;张静雯;冯杰设计研发完成,并于2022-11-08向国家知识产权局提交的专利申请。

一种基于HGCN和手势骨架序列的手势类别识别方法在说明书摘要公布了:本发明公开了一种基于HGCN和手势骨架序列的手势类别识别方法,能够根据用户的手势动作来识别其对应的手势类别,本发明在前期基础模型上进行了两个方面的改进,以更有效地利用手部关节空间与时间上的结构信息。首先本发明提出了基于图卷积的手部特征增强,构建了手部关节依赖关系图,提出了使用全连接网络加强关联较远的节点间的信息流通;另外本发明提出了使用时空位置编码与自注意力机制,来学习手部关节在空间与时间上的依赖关系。基于这些改进,本发明在序列手势骨架生成上取得了更好的效果,证明了本发明改进模型的有效性。

本发明授权一种基于HGCN和手势骨架序列的手势类别识别方法在权利要求书中公布了:1.一种基于HGCN和手势骨架序列的手势类别识别方法,包括如下步骤: 1获取大量关于手势动作的视频帧序列及对应的手势类别标签,并对视频帧中的手部特征进行增强; 所述视频帧序列中的每一帧都对手部关节点做了标记,包括手掌根以及每根手指的指尖、第一指节、第二指节以及指根,同一手指的指尖、第一指节、第二指节、指根与手掌根通过边依次连接; 对手部特征进行增强的具体实现方式为:在同一帧中增加相邻指尖、相邻第一指节、相邻第二指节以及相邻指根之间的边连接;对于整个视频帧序列,增加相同关节点在不同帧之间的映射连接; 2构建基于HGCN的模型架构,其由生成器以及两个判别器DF和DV组成,生成器用于对输入的视频帧序列进行编码生成手势骨架图序列,判别器DF以手势骨架图序列中的部分帧作为输入以判别输出相应的手势类别结果,判别器DF以整个手势骨架图序列作为输入以判别输出相应的手势类别结果; 所述生成器从输入至输出由卷积网络D、基于时空位置编码的自注意力模块、卷积网络D1、卷积网络D2、自注意力机制模块以及图卷积网络模块依次连接,卷积网络D1和D2的输出均经过ReLU激活函数处理; 所述自注意力机制模块用于学习视频帧序列的稀疏动作图,以减少图卷积网络的计算负担,同时为图卷积网络提供邻接矩阵具体地: 首先,构造初始邻接矩阵如下: 其中:I为单位矩阵,A为N×N大小的邻接矩阵,用以表示视频帧中关节点的连接关系,若两关节点存在连接则对应的元素值设置为1,否则设置为0,N为视频帧中的关节点个数; 然后,根据模块的输入信息对整个视频帧序列计算自注意力得分,得到掩码注意力矩阵Smask; 其中:si,j表示视频帧序列中第i帧对第j帧的影响即自注意力得分,i和j表示帧序号,T表示视频帧序列的总帧数; 进而,对于矩阵Smask中的任一行,保留行内自注意力得分最高的前K个元素值,其余元素值置0,K为预设的正整数; 最后,将Smask与相乘得到矩阵进而对做归一化处理后即得到最终的邻接矩阵 所述图卷积网络模块为多层图卷积网络结构,每一层从输入至输出由全连接网络FC1、二维卷积网络Conv2d、全连接网络FC2依次连接组成,Conv2d的输出与邻接矩阵相加后即作为FC2的输入,第一层的输入为模块的输入信息Hin,Hin经过一个二维卷积网络与第一层的输出相加后作为第二层的输入,从第三层开始每一层的输入即为前一层的输出,第二层的输入经过一个二维卷积网络与最后一层的输出相加后再经过一个二维卷积网络即作为图卷积网络模块的输出; 所述自注意力模块首先对视频帧序列中的关节点位置分别在时间和空间上进行编码,得到时间位置编码PEt和空间位置编码PEs;然后将模块的输入信息与PEs相加后通过多头自注意力层以及归一化处理得到中间结果,进而将该中间结果与PEt相加后通过多头自注意力层以及归一化处理即得到模块的输出结果; 3利用步骤1获得的大量视频帧序列及其手势类别标签对上述模型架构进行训练; 4将待识别的手势动作视频帧序列输入训练好的模型中,即可识别出其对应的手势类别。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江理工大学,其通讯地址为:310018 浙江省杭州市经济技术开发区白杨街道2号大街928号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。