买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉贵州大学申请的专利基于时空双流网络的动作识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116543908B 。

龙图腾网通过国家知识产权局官网在2025-09-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310686766.9，技术领域涉及：G16H50/30；该发明授权基于时空双流网络的动作识别方法是由杨观赐;何宗霖;张昌福;邓炬锋;张良;王阳;李杨;罗可欣;何玲;刘丹;蓝善根;胡丙齐设计研发完成，并于2023-06-12向国家知识产权局提交的专利申请。

本基于时空双流网络的动作识别方法在说明书摘要公布了：本发明的一种基于时空双流网络的动作识别方法，包括如下步骤：确定动作类别；视频数据Dv采集；基于关键帧处理视频数据并构建动作类别数据集；构建时空双流网络Nst，空间特征提取模块Ms由9层三维卷积和5层三维池化以及一个全连接神经网络构成，时间特征提取模块由二维卷积分片单元和Transformer编码器以及全连接神经网络构成，将空间特征提取模块Ms获得的空间特征Fs与时间特征提取模块Mt获得的时间特征Ft融合，获得融合特征Ffusion；基于时空双流网络进行动作识别，将融合特征Ffusion输入至softmax分类器，获得动作类别概率分布Ap，输出动作类别Aresult。本发明具有能提高识别精度的特征。

本发明授权基于时空双流网络的动作识别方法在权利要求书中公布了：1.一种基于时空双流网络的动作识别方法，其特征在于：该方法包括如下步骤： 步骤1、确定动作类别； 步骤2、视频数据Dv采集； 步骤3、基于关键帧处理视频数据并构建动作类别数据集，详细步骤如下： 步骤3.1：利用OpenCV库将视频数据Dv中的视频帧进行切分并将每一帧fi的尺寸初始化为3*340*240； 步骤3.2：利用图像特征描述符，为视频数据Dv的每一帧fi构建起表征视频帧图像属性的特征空间fa； 步骤3.3：利用帧间距离特征，为视频数据Dv的每一帧fi构建起表征视频帧之前距离差距的特征空间fc； 步骤3.4：构建基于特征交叉注意力机制的关键帧概率模型Rm，表示为： yattention＝aijycross youtput＝dnnyattention 其中，ycross表示交叉特征；mi与nj分别为特征空间fa和fc中的特征向量；Wmlp为权重；bmlp为偏置矩阵；aij为计算获得的注意力分数；wij为隐向量矩阵；a'ij为计算获得的中间变量；yattention为注意力特征；youtput为关键帧的概率； 将特征空间fa和fc中的第i个特征向量mi与第j个特征向量nj两两相乘得到交叉特征ycross，构建Wmlp和bmlp为权重和偏置矩阵的单层全连接神经网络,并利用单层全连接神经网络计算每一交叉特征的注意力分数aij，每种交叉特征ycross结合注意力分数aij获得注意力特征yattention，输入全连接神经网络dnn.,最终获得视频每一帧是关键帧的概率youtput； 步骤3.5：对于大规模视频数据集以及采集的视频，利用混合高斯模型实现每一视频中每一帧背景差分值fg的计算，并利用聚类算法从每一视频的fg组成的集群中获得其聚类中心，将聚类中心作为模型Rm的训练基准； 步骤3.6：利用步骤3.2和步骤3.3中的方法为大规模视频数据集的每个视频构建特征空间，并以该特征空间和数据集对应的训练基准对模型Rm进行预训练； 步骤3.7：在预训练的基础上将数据Dv的特征空间fa和fc输入模型Rm，以Dv的训练基准作为真实值训练模型，并通过模型Rm输出关键帧集合K，最终形成了动作类别数据集； 步骤4、构建时空双流网络Nst，包括空间特征提取模块Ms和时间特征提取模块Mt，详细步骤如下： 步骤4.1：从动作数据集每个视频的关键帧中截取16帧作为一个样本输入网络，样本为四维张量16,3,224,224； 步骤4.2：交换样本的张量维度获得空间特征张量，空间特征张量为3,16,224,224； 步骤4.3：将样本的16帧沿颜色通道维度排列构成时间特征张量，时间特征张量为48,224,224； 步骤4.4：利用空间特征提取模块Ms处理空间特征张量，空间特征提取模块Ms由9层三维卷积和5层三维池化以及一个全连接神经网络构成，将空间特征张量经过卷积和池化从四维张量3,16,224,224提取至二维张量1,8192并经过全连接神经网络映射至空间特征Fs； 步骤4.5：利用时间特征提取模块Mt处理时间特征张量，时间特征提取模块由二维卷积分片单元和Transformer编码器以及全连接神经网络构成，将时间特征张量经过二维卷积分片单元从三维张量48,224,224映射至二维张量196,768并增加类别编码矩阵1,768后与位置编码矩阵197,768结合得到二维张量197,768，基于Transformer编码器提取至二维张量1,768并经过全连接神经网络映射至时间特征Ft； 步骤4.6：将空间特征提取模块Ms获得的空间特征Fs与时间特征提取模块Mt获得的时间特征Ft融合，获得融合特征Ffusion的公式如下： Ffusion＝αFs+1-αFt 其中，α表示特征融合权重系数； 步骤5、基于时空双流网络进行动作识别，详细步骤如下： 步骤5.1：加载双流网络Nst并置时间序列位置动作类别 步骤5.2：如果帧速率fv大于每秒24帧，即fv24fs，读取视频传感器的t＝T+1秒视频流，否则读取t＝T+ceilfv24秒视频流，其中ceil函数的功能为对浮点数向上取整； 步骤5.3：从读取的视频流中随机且连续的截取16帧； 步骤5.4：将16帧图像沿颜色通道方向排列整合为三维特征张量Vt； 步骤5.5：将16帧图像表示为四维特征向量Vs； 步骤5.6：将特征向量Vs输入空间特征提取模块Ms，计算获得空间特征Fs；步骤5.7：将特征向量Vt输入时间特征提取模块Mt，计算获得时间特征Ft； 步骤5.8：融合空间特征Fs与时间特征Ft输出融合特征Ffusion； 步骤5.9：将融合特征Ffusion输入至softmax分类器，获得动作类别概率分布Ap，输出动作类别Aresult； 步骤5.10：输出时间序列位置T、动作类别Aresult,若视频流没有数据则退出，否则跳转至步骤5.2。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人贵州大学，其通讯地址为：550025 贵州省贵阳市花溪区贵州大学科研院；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。