买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京邮电大学申请的专利基于人体骨架数据和语义关联的零样本行为识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116071573B 。

龙图腾网通过国家知识产权局官网在2025-11-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111583892.9，技术领域涉及：G06V10/764；该发明授权基于人体骨架数据和语义关联的零样本行为识别方法是由孙宁;朱良伟;李响设计研发完成，并于2021-12-22向国家知识产权局提交的专利申请。

本基于人体骨架数据和语义关联的零样本行为识别方法在说明书摘要公布了：本发明是一种基于人体骨架数据和语义关联的零样本行为识别方法，包括：步骤1：使用训练好的骨架特征提取网络从骨架数据中提取视觉特征；步骤2：构建对抗生成网络模型和分类器网络；步骤3：训练对抗生成网络模型进行训练，特征生成网络生成可见类标签对应的视觉特征样本；步骤4：将不可见类数据的语义特征输入到特征生成网络不可见类标签对应的视觉特征样本，训练分类器网络；步骤5：识别未见类的行为样本时，先使用骨架特征提取网络从中提取视觉特征，然后输入到分类器网络中得到分类结果。本发明有效利用了短语在表征语义时各单词之间的语义关联，改善零样本行为识别中生成器的泛化能力较低的问题，提升分类器训练后对未见类的识别率。

本发明授权基于人体骨架数据和语义关联的零样本行为识别方法在权利要求书中公布了：1.一种基于人体骨架数据和语义关联的零样本行为识别方法，识别方法的实现包括两个阶段，其特征在于：所述零样本行为识别方法包括如下步骤： 步骤1：将骨架数据集中的类别划分为可见类和不可见类，分别作为训练集和测试集，对骨架数据集中的类别标签进行修改，使用现有的单词语义特征提取模型提取数据集中每个类别标签中单词的语义特征，并为每个标签制作对应的掩码矩阵，使用骨架数据集对骨架特征提取网络进行预训练，之后使用所述骨架特征提取网络从骨架数据集的骨架数据中提取视觉特征用于后续的训练； 步骤2：构建阶段1需要使用的对抗生成网络模型和构建阶段2需要使用的分类器网络； 步骤3：利用步骤1中得到的语义特征、掩码矩阵和视觉特征对步骤2中的对抗生成网络模型进行训练，所述对抗生成网络模型由特征生成网络和鉴别器网络构成，所述特征生成网络得到可见类标签对应的视觉特征样本； 步骤4：将在步骤1中的不可见类数据的语义特征输入到步骤3中训练完成的特征生成网络得到不可见类标签对应的视觉特征样本，利用生成的样本训练分类器网络； 步骤5：识别未见类的行为样本时，先使用骨架特征提取网络从中提取视觉特征，然后输入到步骤4中的分类器网络中得到分类结果；其中： 步骤3中训练生成特征生成网络时引入特征同化损失函数，所述特征同化损失函数基于三元组损失函数，在特征同化损失函数中，将每个训练批中的提取自骨架数据的相同类别标签的视觉特征相距最大的样本作为正样本，在每个训练批中，将特征生成网络生成的视觉特征中不属于相同类别的其他视觉特征中相距最小的样本作为负样本，此处的距离度量函数采用的欧式距离，最终对抗生成网络的目标函数为： ， 其中，是用于平衡对抗生成损失和特征同化损失之间关系的平衡因子；代表的是对抗生成损失，其表达式为： ， 在该表达式中，表示鉴别器网络的输出，表示特征生成网络的输出； 代表特征同化损失，其具体的表达式为： ， 在该表达式中，margin为大于0的常数，为欧式距离度量函数，代表相同类别标签的生成视觉特征与提取自骨架数据的视觉特征的最大距离，代表生成的视觉特征中不属于相同类别的其他视觉特征的最小距离； 所述步骤2中，所述特征生成网络包括语义关联提取模块和特征投影模块且所述语义关联提取模块和特征投影模块串联进行连接，所述鉴别器网络由2个全连接层和1个激活层构成，所述分类器网络由2个全连接层和1个激活层构成； 所述语义关联提取模块由3个全连接层、1个残差连接和1个归一化层构成，所述特征投影模块由卷积神经网络构成，由3个一维卷积层、2个激活层以及3个归一化层构成； 所述步骤3的对抗生成网络模型的训练采用对抗的方式进行，具体包括如下步骤： 步骤3-1：在一次训练批中，冻结特征生成网络的模型权重参数，对鉴别器网络的权重参数进行反向传播更新； 步骤3-2：然后冻结鉴别器网络的权重参数，对特征生成网络的权重参数进行反向传播更新； 步骤3-3：重复上述步骤直到完成预设的执行次数； 所述步骤1中对骨架数据集中的类别标签进行修改，具体包括如下步骤： 步骤1-1：以执行者、执行动作和执行目标的形式，对骨架数据集中的类别标签进行修补，并保证每个类别标签的最大单词数量相近； 步骤1-2：使用已有的单词特征提取网络提取标签中每个单词的语义特征，将每个单词的语义特征的维度大小记为，在提取语义特征时，类别标签中的冠词以及介词都将略过，不提取对应的语义特征； 步骤1-3：针对步骤1-1中得到的类别标签的短语长度较短的情况，采用0填充的方式，将不定长度的语义特征矩阵填充为固定长度的特征矩阵，其中代表填充后的长度； 步骤1-4：制作每个类别标签对应的掩码矩阵，每个类别标签的掩码矩阵的大小为，每列对应在固定长度的特征矩阵中，步骤1-1中得到的类别标签是否存在对应的单词，如果没有单词则存储，如果有单词则存储。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京邮电大学，其通讯地址为：210003 江苏省南京市鼓楼区新模范马路66号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。