买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京邮电大学申请的专利基于二分图结构进行人物交互检测的多模态特征融合方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116503654B 。

龙图腾网通过国家知识产权局官网在2026-03-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310476894.0，技术领域涉及：G06V10/764；该发明授权基于二分图结构进行人物交互检测的多模态特征融合方法是由陈志;王俊;岳文静;袁强健;刘洁;王晓晓设计研发完成，并于2023-04-28向国家知识产权局提交的专利申请。

本基于二分图结构进行人物交互检测的多模态特征融合方法在说明书摘要公布了：本发明属于计算机视觉中的人与物体交互检测领域,公开一种基于二分图结构进行人物交互检测的多模态特征融合方法,该方法首先获取一个批次的图片生成初始检测集合，然后将初始检测集合输入到骨干特征提取网络中来提取图片中的视觉信息和空间信息，再通过姿态估计提取图片中人的关键点输入到关键点特征处理网络模块进行姿态信息的获取；接着将提取到的视觉特征和空间特征进行融合输入到推理网络中得到分类逻辑输出以及通过关键点特征处理网络得到分类逻辑输出，最后将两者的逻辑输出进行融合得到最后的分类结果。本发明充分利用图片中存在的各种信息，能够得到更全面的特征表示，有效提高人与物体交互检测的准确性和鲁棒性。

本发明授权基于二分图结构进行人物交互检测的多模态特征融合方法在权利要求书中公布了：1.一种基于二分图结构进行人物交互检测的多模态特征融合方法，其特征在于：所述多模态特征融合方法包括如下步骤： 步骤1、输入一个批次图片； 步骤2、对步骤1中的每张图片使用FasterR-CNN目标检测算法检测出图片中存在的人和物体实例，生成一个初始检测集合； 步骤3、将步骤2获取到的初始检测集合输入到ResNet50-FPN骨干网络中来提取视觉特征和空间特征； 步骤4、将步骤2获取到的人和物体实例构造成二分图中的异构节点，并一一匹配成对，构建人物对； 步骤5、将步骤4得到的人物对的特征在二分图中进行消息传递以消除消极的人物对，之后进行交互推理得到分类逻辑输出classlogits1； 步骤6、对步骤4构建的人物对进行关键点提取，将关键点信息输入到关键点特征处理网络模块，得到人体关键点特征信息和分类逻辑输出classlogits2； 步骤7、对步骤5得到的分类逻辑输出classlogits1以及步骤6得到的分类逻辑输出classlogits2进行融合得到最后的分类结果，从而实现人与物体之间的交互关系检测，其中，步骤6中人体关键点特征提取具体包括以下步骤： 步骤6-1：获取图片中人体的关键点的位置坐标； 步骤6-2：将第个关键点特征用以下公式表示： ， 其中，分别表示图片的宽度和高度，是检测框的中心坐标； 所述步骤6中的人体关键点特征提取通过人体关键点特征处理网络模块完成，所述人体关键点特征处理网络模块由BatchNorm层、ReLU层、Dropout层和全连接层组成，首先设置四个全连接层维数分别为128,64,256以及数据集交互类别种类数K，将N,17,2维的向量通过全连接层以及后接fixedlayer最后得到一个N,K维的分类逻辑输出classlogits2，其中fixedlayer是由BatchNorm层、ReLU层和Dropout层组合而成。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京邮电大学，其通讯地址为：210003 江苏省南京市鼓楼区新模范马路66号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。