买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉桂林电子科技大学;南宁桂电电子科技研究院有限公司申请的专利基于深度学习和隐私保护的视频人体动作识别系统与方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116895098B 。

龙图腾网通过国家知识产权局官网在2025-10-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310891520.5，技术领域涉及：G06V40/20；该发明授权基于深度学习和隐私保护的视频人体动作识别系统与方法是由汪华登;康宁;刘瑞涛;蓝如师;罗笑南;涂珺羿设计研发完成，并于2023-07-20向国家知识产权局提交的专利申请。

本基于深度学习和隐私保护的视频人体动作识别系统与方法在说明书摘要公布了：本发明公开了一种基于深度学习和隐私保护的视频人体动作识别系统与方法，所述系统包括依次连接的视频图像处理模块、人体检测模块、人体骨骼关键点提取模块、基于骨骼关键点的动作识别模块和输出模块，所述方法为从监控视频数据中提取关键帧图片并进行预处理、得到人体区域子图、提取模型得到人物动作信息、对连续累计的人物动作信息进行编码融合并进行动作预测、将动作预测结果进行输出，并对人体进行隐私处理。这种系统成本低、组网方便、便于应用和推广，这种方法在识别行人动作的同时能隐私、能够同时完成人体检测、动作识别、隐私保护这三个任务。

本发明授权基于深度学习和隐私保护的视频人体动作识别系统与方法在权利要求书中公布了：1.一种基于深度学习和隐私保护的视频人体动作识别方法，采用基于深度学习和隐私保护的视频人体动作识别的系统，所述基于深度学习和隐私保护的视频人体动作识别的系统包括依次连接的视频图像处理模块、人体检测模块、人体骨骼关键点提取模块、基于骨骼关键点的动作识别模块和输出模块，其中： 视频图像处理模块用于从视频数据中提取关键帧图片并进行预处理； 人体检测模块用于构建人体检测模型，在训练完成后送入视频关键帧图片，依据模型对图片中的人体进行监测，并将识别出的人体分割为人体区域子图； 人体骨骼关键点提取模块用于构建人体骨骼关键点检测模型，在训练完成后送入人体区域子图，依据模型从人体图像中提取出骨骼关键点，通过骨骼关键点构造出人物的动作信息； 基于骨骼关键点的动作识别模块用于构建人体动作检测识别模型，在训练完成后送入人体骨骼关键点序列，依据模型预测人体动作，并输出预测结果，完成对人体动作的检测； 输出模块是将人体检测模块、人体骨骼关键点提取模块和基于骨骼关键点的动作识别模块的输出结果进行整合，将人体区域子图在原图像上可视化展示，同时在图像上输出每个人体的动作检测结果，并对人体做隐私处理，其特征在于，所述方法包括如下步骤： 1从监控视频流中提取视频帧； 2采用视频图像处理模块处理视频帧，设置视频关键帧提取的间隔，对提取的关键帧图片进行预处理图像增强，包括： 2-1每隔K帧提取视频关键帧转化为关键帧图片，其中K的取值为2-8； 2-2对关键帧图片进行图像数据增强，图像数据增强操作包括：对图像进行缩放，即确定高为640、宽为480的图像模板作为数据增强图像尺寸，将不符合尺寸的图像通过双线性插值法进行缩放，提高图像亮度、提高图像对比度并对图像进行直方图均衡化处理； 3构建人体检测模型，将每个增强后的视频关键帧图片送入人体检测模型，采用人体检测神经网络判断图像中是否有人体，若是，则将识别出的人体区域分割为人体区域子图，并进入步骤4，否则，返回步骤1，包括： 3-1基于MPII、COCO的人体数据集，标注生成行人检测训练的图像数据； 3-2确定高为640、宽为480的图像模板作为YOLOv5模型输入图像尺寸，将标注的图像数据进行自适应缩放、裁剪边界得到处理完成的模型输出数据； 3-3载入YOLOv5模型在COCO数据集预训练的参数，对网络进行初始化； 3-4依据处理完成的图像数据输入至YOLOv5模型进行训练，得到人体检测模型； 4构建人体骨骼关键点检测模型，将分割出的人体区域子图送入人体骨骼关键点检测模型，采用人体骨骼关键点检测神经网络提取出人体的骨骼关键点，构造出人体动作信息，其中，所述人体骨骼关键点检测神经网络为一种分层网络，第一层由4个特征融合学习组件结构FFL_1组成，该层是网络的主干结构，完成主要的预测任务；第二层由4个特征融合学习组件结构FFL_2组成，该层从降低尺寸的特征图中提取特征，以协助第一层的预测任务；第三层由2个特征融合学习组件结构FFL_2组成，该层通过进一步降低尺寸，以更大的感受野提取图像的全局特征，以协助前两层的预测任务； 上述神经网络中所述的特征融合学习组件结构FFL_1由依次连接的多尺度特征融合模块和残差卷积模块组成； 上述神经网络中所述的特征融合学习组件结构FFL_2由依次连接的多尺度特征融合模块、感受野增强模块和残差卷积模块组成； 其中，残差卷积模块包含2个依次连接的卷积层、BN归一化层、Dropout层、Relu激活函数层；多尺度特征融合模块用于集成来自相邻阶段的多尺度特征图，将多个输入图像分别经过卷积层修改为相同尺寸进行融合，再将融合结果分别输入到核大小为1×1,3×3,5×5的卷积层中，以对不同尺度的特征进行融合；感受野增强模块将输入图像并行输入到不同卷积核大小、不同膨胀系数的膨胀卷积中，再将输出特征进行融合； 上述神经网络中层与层之间使用多尺度特征融合模块进行交流，并使用上采样和下采样在相邻层图像特征传递时修改其尺寸以获取全局特征，在下采样中采用平均池化法、在上采样层中采用最近邻插值法； 上述神经网络中第一层通道数为64，图像尺寸为H×W，其中，H为输入图像高度，W为输入图像宽度；第二层通道数为128，图像尺寸为H2×W2；第三层通道数为256，图像尺寸为H4×W4；网络输入层的通道数为3，网络输出层的通道数为16,除输入层输出层外，其余卷积层的卷积核大小均为3×3； 5判断累计的人体动作信息数量是否超过设置的阈值，若是，则进入步骤6，否则，返回步骤1，具体为： 5-1判断步骤4中网络输出层输出的人体骨骼关键点数量是否达到16个，若不足则舍弃该结果； 5-2计算并存储符合要求的人体骨骼序列特征，当符合要求的连续人体骨骼序列特征数量达到一定数量Z时，则进入步骤6进行处理，Z的取值为3-5； 6对于数量足够的连续人体动作信息进行空间信息融合，得到连续空间时间域的人体动作图特征张量，包括： 6-1初始化一个Z×16×16大小的张量A用于存储连续时间域内骨骼序列中的所有关节，即邻接矩阵，在初始化中将张量的所有元素初始化为0，其中A的表达式如下： Az,i,j＝0， 其中Az,i,j表示连续时间域内骨架序列特征向量张量，z∈Z，i和j表示骨骼序列中的16个关键点，i＝0,1,2,...,15，j＝0,1,2,...,15，根据提取出的人体骨骼关键点，将关键点信息嵌入A中，具体嵌入方式如下式所示： 6-2根据提取出的人体骨骼关键点生成人体动作轨迹序列特征F＝[g1，g2，…，gz]，g∈RV,E，其中V表示骨骼关键点的集合，E表示连接关键点的边的集合； 7构建基于骨骼关键点的动作识别模型，将步骤6得到的人体动作图特征张量送入基于骨骼关键点的动作识别模型，依据动作识别神经网络检测人物动作并输出检测结果，完成对视频图像中人物动作的检测，其中，基于骨骼关键点的动作识别神经网络为双分支神经网络，双分支神经网络中的两个分支能分别对全局和细节的人体姿态信息进行学习聚合，输入图像特征先经过BN归一化层进行预先处理，再分别通过网络的主干部分和分支部分进行特征学习，最后对两个分支的学习结果进行融合，通过依次连接的图卷积模块、全局平均池化模块、全连接模块、Softmax层得到最终预测结果； 上述网络的主干部分由依次连接的两个图卷积模块、图池化模块GP_3、图注意力模块组成； 上述网络的分支部分由依次连接的图池化模块GP_1、图注意力模块、图卷积模块、图池化模块GP_2、图注意力模块组成； 其中，图卷积模块包含依次连接的GCN层、BN归一化层、Relu激活函数层；图池化模块将原始骨架图按照人体结构分解为数个子图，进而融合子图内的节点，从而将原图池化成节点少、信息丰富的新图，GP_1将16个节点池化为11个节点，GP_2将11个节点池化为6个节点，GP_3将16个节点池化为6个节点；注意力模块将输入图像输入依次连接的卷积核大小为1×1的卷积层和Relu激活函数层进行特征提取，进一步地通过FC全连接层将特征转换为注意力特征，再用Sigmoid函数将注意力特征映射为0-1，最后将注意力特征作用于原图，提取隐藏在特定通道中的区别性特征； 8将人体检测模型分割的人体区域子图范围和基于骨骼关键点的动作识别模型检测的人物动作输出在视频帧上，同时对人体检测模型中检测的人体进行隐私化处理，具体为： 获取步骤3中人体区域子图的像素区域，其中像素区域的四个顶点分别为x,y，x+x0,y，x,y+y0，x+x0,y+y0，设置隐私化区域顶点为：x,y，x+x03,y，x,y+y03，x+x03,y+y03，在输出图像中对此区域进行模糊处理，模糊处理是采用马赛克数据增强方式，即将图像的宽和高作为边界值，对图像进行kx和ky缩放倍率的缩放,表达式如下： img_cp＝cpimg,kx,ky， img_out＝repeat_interleaveimg_cp,kx,ky， 其中，img表示输入图像，img_cp表示经过压缩的图像，img_out表示还原后的输出图像，cp为图像压缩算法，采用最近邻插值法以kx和ky的缩放倍率降低尺寸，repeat_interleave表示图像以kx和ky的缩放倍率通过重复像素点数值进行放大。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人桂林电子科技大学;南宁桂电电子科技研究院有限公司，其通讯地址为：541004 广西壮族自治区桂林市金鸡路1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。