买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京大学申请的专利基于边缘设备的实时手语识别与翻译系统及方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117218725B 。

龙图腾网通过国家知识产权局官网在2025-08-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311346663.4，技术领域涉及：G06V40/20；该发明授权基于边缘设备的实时手语识别与翻译系统及方法是由殷亚凤;甘世维;谢磊;陆桑璐设计研发完成，并于2023-10-18向国家知识产权局提交的专利申请。

本基于边缘设备的实时手语识别与翻译系统及方法在说明书摘要公布了：本发明公开了一种基于边缘设备的实时手语识别与翻译系统及方法，包括：视频数据采集模块，用于采集手语视频数据；视频预处理模块，包括：视频帧尺寸调整模块、数据归一化模块及视频帧灰度化模块；手语模型模块，用于得到手语模型；结构重参数化模块对手语模型模块得到的手语模型进行优化，得到优化后的手语模型；并保证优化后的模型输出不变。本发明通过提取手语关键局域区域特征与全局帧特征，并将这些特征构建为一个区域感知时空图，利用浅层图卷积网络提取手语特征，并基于所提取的特征训练手语模型，采用结构重参数化技术优化模型，再采用优化后的模型将手语视频识别为单词序列及翻译为自然语言文本。

本发明授权基于边缘设备的实时手语识别与翻译系统及方法在权利要求书中公布了：1.一种基于边缘设备的实时手语识别与翻译系统，其特征在于，包括：视频数据采集模块、视频预处理模块、手语模型模块及结构重参数化模块； 视频数据采集模块，用于采集手语视频数据； 视频预处理模块，包括：视频帧尺寸调整模块、数据归一化模块及视频帧灰度化模块； 所述视频帧尺寸调整模块，用于将采集到的手语视频帧缩放到统一的尺寸； 所述数据归一化模块，用于将调整尺寸后的视频帧的像素值从0-255归一化到0-1范围； 所述视频帧灰度化模块，用于将手语视频帧由RGB三通道图像转化为灰度图； 手语模型模块，用于得到手语模型，手语模型包括：区域表示子模型、图卷积子模型、文本生成子模型； 所述区域表示子模型，用于获得关键区域的特征表示，包括：躯干网络、面部网络、左手网络及右手网络； 所述躯干网络，用于将一个手语视频帧提取出骨骼点，并将视频帧提取为256维向量，及根据上述骨骼点将对应的关键区域裁剪下来； 所述面部网络，用于将裁剪所得面部区域提取为256维向量； 所述左手网络，用于将裁剪所得左手区域提取为256维向量； 所述右手网络，用于将裁剪所得右手区域提取为256维向量； 所述图卷积子模型，用于获得手语视频的特征表示，包括：区域感知时空图和浅层图卷积网络； 所述区域感知时空图G由节点V和边E构成，G＝V；E，V为节点集合，V＝{vi,j,i∈[1,N],j∈[1,4]}，其中vi,j表示第i帧第j个节点，N表示输入视频帧的个数；该区域感知时空图用于提供后续图网络的基本输入，表示手语局部特征与全局特征的时空关系； 所述浅层图卷积网络由4个图卷积模块和1个全连接层构成，图卷积模块由1个1*1的卷积模块、1个残差图卷积模块、1个3*1的卷积模块、1个残差图卷积模块组合而成；浅层图卷积模块根据提取的手部特征、面部特征、全局帧特征以及区域感知时空图提取手势相关的特征向量，输出维度为1024的特征向量； 所述文本生成子模型，用于将手语视频的特征表示识别为手语单词序列，及将手语单词序列翻译为自然语言文本，包括：联结主义时间分类解码器和翻译模型； 所述联结主义时间分类解码器，用于将浅层图卷积模块的输出特征解码为对应的手语单词序列； 所述翻译模型，用于将解码得到的手语单词序列翻译为自然语言文本； 结构重参数化模块，用于对手语模型模块得到的手语模型进行优化，得到优化后的手语模型；并保证优化后的模型输出不变。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京大学，其通讯地址为：215163 江苏省苏州市虎丘区太湖大道1520号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。