买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京理工大学申请的专利一种基于语义解耦的自注意力模型的组合动作识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115953832B 。

龙图腾网通过国家知识产权局官网在2026-03-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211606003.0，技术领域涉及：G06V40/20；该发明授权一种基于语义解耦的自注意力模型的组合动作识别方法是由舒祥波;涂哲维;黄捧;严锐设计研发完成，并于2022-12-14向国家知识产权局提交的专利申请。

本一种基于语义解耦的自注意力模型的组合动作识别方法在说明书摘要公布了：本发明公开了一种基于语义解耦的自注意力模型的组合动作识别方法，在STH‑ELSE数据集三种划分上均取得了最先进的效果。该方法通过物体‑动词解耦模块OMD和语义解耦约束模块SDC，实现了对动词和物体组合的高级语义特征的解耦，缓解了组合动作识别中的由于分布偏差带来模型性能下降的问题。在OMD中设置若干初始化的可学习标记以捕捉与物体相关的时空特征，并在高层视觉空间中将学习到的时空特征进行初步解耦。在SDC中引入文本信息对OMD中构建的解耦特征进行更严格的语义层面的一致性约束，最终学习到完全解耦后的外观和运动特征。

本发明授权一种基于语义解耦的自注意力模型的组合动作识别方法在权利要求书中公布了：1.一种基于语义解耦的自注意力模型的组合动作识别方法，其特征在于，包括如下步骤： 步骤1：从输入视频随机采样T张帧图像，同时获得每张帧图像的物体坐标；将帧图像进行分块嵌入得到视频标记，根据物体坐标对帧图像进行特征提取获得区域标记，利用时序聚合编码获得帧序列上物体轨迹标记； 步骤2：将区域标记和轨迹标记相加后的标记与视频标记进行拼接，将拼接后的标记输入至物体-动词解耦模块，得到分类标记以及初步解耦后的外观和运动特征； 步骤3：使用文本编码器对视频真实标签中动词和物体分别进行编码得到相应文本嵌入，将步骤2得到的外观和运动特征输入至语义解耦约束模块中，分别经过特征融合单元后与相应文本嵌入计算对比损失； 步骤4：将步骤2得到的特征进行融合后与视频真实标签计算分类损失，与步骤3得到的外观对比损失和运动对比损失按权重进行相加，得到最终模型损失以优化网络； 步骤5：采用优化后的网络进行组合动作识别； 所述步骤2包括如下具体步骤： 将得到的区域标记Xobj和轨迹标记Xtraj相加后与视频标记Xvid、初始化后的分类标记进行拼接得到视频总标记并输入至物体-动词解耦模块；其中，C为特征通道数； 在物体-动词解耦模块中，经过多层自注意力得到信息交互并特征提炼后的特征即： 其中，Wq、Wk、为投影权重，Attn为若干个时空注意力层构成，层数设置为8； 将得到的特征在第一维度上依序拆解为特征提炼后的分类标记视频标记区域轨迹混合标记将赋值为分类特征将分别赋值为外观特征和运动特征分别再与进入跨注意力层进行特征增强，得到增强后的外观特征和增强后的运动特征即： 其中，CAo为外观特征的跨注意力层，CAm为运动特征的跨注意力层，层数均设置为1； 所述步骤3包括如下具体步骤： 使用冻结参数的文本编码器对视频标签中物体进行编码得到物体文本嵌入对视频标签中动词进行编码得到动词文本嵌入 将增强后的外观特征和增强后的运动特征输入至语义解耦约束模块中，分别经过特征融合单元进行特征融合得到最终外观特征最终运动特征其中为时序融合单元，为空间融合单元，二者均由两层线性层组成； 利用得到的ftag、flabel对fo、fm进行语义约束，表示语义信息对视觉信息的限制关系；在一个训练批次内，同一视频对应的和视为正样本对，不同视频视为负样本对，单个视频的损失为该视频和同一训练批次内其余视频的相似度的相反数，即： 其中，分别为同一个训练批次中第i个视频的最终外观特征和物体文本嵌入，为同一个训练批次中第j个视频的物体文本嵌入，分别为同一个训练批次中第k个视频的最终运动特征和动词文本嵌入，为同一个训练批次中第s个视频的动词文本嵌入，为一个训练批次中第i个视频的外观对比损失，为一个训练批次中第k个视频的运动对比损失，sim·是相似度计算函数，τ为温度参数，1[j≠i]∈{0,1}表示当j≠i时该函数值为1，O为一个视频的物体数量，N为批数量大小。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京理工大学，其通讯地址为：210000 江苏省南京市玄武区孝陵卫街道孝陵卫街200号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。