买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉燕山大学申请的专利多特征融合的人-物交互动作识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116311506B 。

龙图腾网通过国家知识产权局官网在2025-12-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310145556.9，技术领域涉及：G06V40/20；该发明授权多特征融合的人-物交互动作识别方法是由丁伟利;边双双;高原设计研发完成，并于2023-02-21向国家知识产权局提交的专利申请。

本多特征融合的人-物交互动作识别方法在说明书摘要公布了：本发明涉及一种多特征融合的人‑物交互动作识别方法，通过提取视频序列帧进行数据处理。首先，采用基于深度学习的目标检测算法进行物体识别，提取物体的边界框及位置信息。然后，将骨骼数据和物体识别结果进行交叉融合，根据骨骼信息提取骨骼段之间的角度特征和关节之间的相对距离特征、物体到关节间的相对距离和角度特征并进行多特征融合。最后，本发明的方法将人与物体间的特征向量和人体关节间的特征向量整合后通过多层学习的分类方法对视频进行动作分类，从而可以更准确的完成视频的动作分类。

本发明授权多特征融合的人-物交互动作识别方法在权利要求书中公布了：1.一种多特征融合的人‑物交互动作识别方法，其特征在于：其包括如下步骤： S1、从数据库中提取骨骼数据视频，对视频序列帧进行预处理，并采用基于深度学习的目标检测算法进行物体识别，获取物体识别结果； S2、将骨骼数据和物体识别结果进行交叉融合，构建融合模型，其具体包括以下子步骤： S21、进行交互帧与非交互帧判断，交互帧与非交互帧判断的具体方法为：定义Ehi，i∈[1，N]为第i帧中关键点的集合，Ehi的计算公式如下： Ehi＝{xik，yik|xik，yik∈Fhiand scoreik＜τ}，其中，τ为一个非常小的阈值，用于判断人体关节关键点提取的可靠性，若则表示在第i帧中人与物体之间的存在交互，则将第i帧设置为交互帧，相反则为非交互帧； S22、定义骨骼数据视频中每一帧交互帧离某一手腕关节最近的对象为该交互帧中的交互对象，表示为Bi＝{xio1，yio1，xio2，yio2，wi}，wi为交互对象的类型标签；如果所有交互帧中的交互对象相同，则认为该视频包含单任务HOI，否则，则认为该视频包含多任务HOI； S23、进行网络融合并构建融合特征集：将原视频保存的序列帧放入集合，从起始帧开始提取出骨骼数据和物体识别结果，并将提取出的骨骼数据和物体识别结果对应的原视频帧的序列标号放入集合进行比对，集合中交集关键帧即骨骼数据和物体识别结果的融合部分，最后基于交集关节帧生成融合特征集，其具体包括以下子步骤： S231、将姿态估计网络和目标检测网络生成的特征集定义为Fhuman，Fobject，其中，Fhuman＝{Fh1,Fh2，…，Fhi}，i∈[1，N]和Fobject＝{Fo1，Fo2，…，Foi}，i∈[1，N]分别为第i帧中人体关节或物体的特征集合，假设在第i帧中检测到c个对象，其输出定义为Foi＝{Oi1，Oi2，…，Oic}和Oic＝{xic，yic|xic∈[xic1，xic2]，yic∈[yic1，yic2]}，Foi和Oic分别为左上角xic1，yic1和右下角xic1，yic1之间的第c个框； S232、根据交互帧中的值，将具有相同对象类别的连续帧标记为标签从N1到N2的子视频，N1,N2∈[1，N]，N1＜N2，之后进行网络融合，得到人体关节与物体的交集Fhuman，Fobject 其中，Hom为从N1到N2交互帧中提取到的子视频的特征集，表示网络融合后人体关节与物体的二维坐标组合； S233、将交互帧中的关键点和线段分别重新定义为{Ki0，Ki1，…，Ki24，Ki25，Ki26}，i∈[N1，N2]和{Li0，Li1，…，Li24，Li25}，其中Kia＝xia，yia，i∈[0，24]表示25个关节点坐标，Ki24＝xio1，yio1和Ki25＝xio2，yio2分别为被检测到的目标框的角Bi，Li0，Li1，…，Li24为骨架向量，Li25为目标向量； S234、从人体关节和物体关键帧中提取以下特征： Hi＝{Diab，Aiab|Diab＝|KiaKib|，Aiab＝LiagLib，a＝0，1L 24,b＝0，1L 24，a≠b}Oi＝{Diob，Aiob|Diob＝|KioKib|，Aiob＝LiogLib，o＝25，b＝0，1L 24}其中，Hi，Oi表示空间维度中人体和物体的特征集，Diab为两个关节之间的距离；Aiab为两个骨架向量之间夹角的角度； 每两个关节点间的距离为： 之后在时空维度上定义一个矩阵积分特征： a，b∈[0，24]，c＝25，j＜i，j∈[N1，N2‑1]其中，Dija为第i帧和第j帧交互帧中对应关键点之间的距离，表示为Dija＝|Kja‑Kia|，a∈[0，26]； S235、选择交互帧并生成融合特征集，使交互帧的标签集Im＝{i1，i2，L，im}，i1，i2，L，im∈[N1，N2]满足其中，为人和物体在时间维度上的移动距离，完成交互帧选择后，最终生成融合特征集S3、基于步骤S2得到的从N1到N2交互帧中提取到的子视频的融合特征集HOm对其中的人体关节特征和物体特征进行特征融合得到融合特征； S4、将融合特征通过多层学习分类方法对视频进行动作分类，将所述的人与物体间的特征向量和人体关节间的特征向量输入多层分类模型进行训练，并建立反馈通道，找到并输出最高层级分类器的分类结果，完成对骨骼数据视频的动作分类； 多层学习分类方法采用多层分类学习算法进行，多层分类学习算法为使用集成学习的方法将两层或多层分类器级联起来从而达到更高的分类准确率，具体过程为： S41、将融合特征输入到k折交叉熵验证的循环体中利用多层学习方法训练，不重复地将原训练集随机分为k份，挑选其中1份作为验证集，剩余k‑1份作为训练集用于模型训练，将训练数据分别放入第一层分类器中训练，进一步得到预测类别向量，然后将预测向量作为新特征与数据集提取的n维特征向量结合，将结合后的特征向量再次输入到第二层、第三层、...第k层分类器中训练，训练得到一个多层学习网络模型，将验证集输入该多层学习网络模型进行测试，将测试结果保存为模型的评估指标； S42、重复步骤S41共k次，获得k次测试结果； S43、计算k组测试结果的平均值作为评价性能指标，建立反馈通道，并通过投票法获得最终分类结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人燕山大学，其通讯地址为：066004 河北省秦皇岛市河北大街西段438号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。