哈尔滨工程大学郑丽颖获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉哈尔滨工程大学申请的专利一种基于图卷积神经网络的多目标跟踪方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115424182B 。
龙图腾网通过国家知识产权局官网在2025-09-23发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211130499.9,技术领域涉及:G06V20/40;该发明授权一种基于图卷积神经网络的多目标跟踪方法是由郑丽颖;张钰渤设计研发完成,并于2022-09-16向国家知识产权局提交的专利申请。
本一种基于图卷积神经网络的多目标跟踪方法在说明书摘要公布了:本发明提供一种基于图卷积神经网络的多目标跟踪方法,将目标外观特征、目标运动特征和交互特征用于跟踪过程。采用的方案是:首先,构建由重识别Re‑identification,ReID模块、外观GCN、运动GCN、外观融合模块、位置融合模块、边权重融合模块和特征相似度融合模块构成的跟踪模型。然后,将目标外观信息和位置信息作为模型输入,利用跟踪模型中的多种融合模块实现目标外观信息和运动信息的多层次融合。接下来,利用Adam优化器和二元交叉熵损失函数训练上述目标跟踪模型。然后,将检测器获得检测结果输入训练好的跟踪模型,得到关联矩阵,并利用匈牙利算法得到初步匹配结果。最后,使用线性插值算法得到多目标跟踪结果。
本发明授权一种基于图卷积神经网络的多目标跟踪方法在权利要求书中公布了:1.一种基于图卷积神经网络的多目标跟踪方法,其特征在于,步骤如下: 步骤1:跟踪网络构建,跟踪网络主要包括7个模块:ReID模块、外观GCN、运动GCN、外观融合模块、位置融合模块、边权重融合模块和特征相似度融合模块; 步骤1.1:构建外观GCN:外观GCN由2个图卷积层和1个批量归一化层组成,并在第一个图卷积层后使用ReLU激活函数;外观GCN用于编码外观交互信息; 步骤1.2:构建运动GCN:运动GCN也由2个图卷积层和1个批量归一化层组成,并在第一个图卷积层后使用ReLU激活函数;运动GCN用于编码运动交互信息 步骤1.3:构建外观融合模块、位置融合模块、边权重融合模块和特征相似度融合模块;每个融合模块由1个线性层组成,激活函数为ReLU; 步骤2:跟踪网络训练:令输入为视频图像及其MOT17-Trackor的目标检测结果,设每个目标的检测结果由t,x,y,w,h表示,其中x,y分别表示目标框左上角的横、纵坐标,w,h分别表示目标框的宽度和高度,t表示时间戳; 步骤2.1:利用MOT17-Trackor的目标检测结果在输入视频中裁剪出各个目标对应的图像块,将各图像块输入ReID模块,得到各目标的外观特征,并将轨迹中对象的平均特征作为轨迹外观特征; 步骤2.2:对于t-1帧中的任意1个对象和t帧任意1个对象,如果它们之间距离小于距离阈值,则将外观特征连接后输入外观融合模块中,得到外观相似度;将位置坐标连接后输入位置融合模块中,得到位置相似度;将外观相似度和位置相似度连接后输入边权重融合模块,得到边权重; 步骤2.3:构建运动GCN的输入和初始边权重:当前帧和上一帧对象的位置坐标作为运动GCN的输入特征,并将步骤2.2的计算结果作为初始边权重; 步骤2.4:构建外观GCN的输入和初始边权重:当前帧的外观特征和轨迹中对象的平均特征作为外观GCN的输入特征,步骤2.2的中计算结果作为初始边权重; 步骤2.5:计算外观交互特征余弦相似度、运动交互特征余弦相似度、外观特征余弦相似度和边界框重叠度,并输入到特征相似度融合模块; 步骤2.6:构造M+1×N+1维关联矩阵S=[sm,n]:其中M表示轨迹中对象数,N表示当前帧检测对象数,sm,n为步骤2.5的特征相似度融合模块的输出结果,m=1…M表示第m个轨迹对象,n=1…N表示第n个检测对象,S的最后一行和一列均元素为1; 步骤2.7:利用公式1和公式2所示的最优传输算法——Sinkhorn更新矩阵S; 步骤2.8:利用Adam优化器和加权二元交叉熵损失函数训练上述模型,得到训练好的多目标跟踪模型; 步骤3:多目标跟踪: 步骤3.1:输入待跟踪视频,利用MOT17-Trackor检测器获得检测结果; 步骤3.2:利用步骤2训练好的跟踪模型得到关联矩阵S; 步骤3.3:将关联矩阵S输入到匈牙利算法中,得到初步匹配结果; 步骤3.4:按照初步匹配结果更新各目标的轨迹; 步骤3.5:重复步骤3.1-3.4直至视频最后一帧,得到所有视频帧目标的初步匹配结果; 步骤3.6:利用线性插值算法处理所有视频帧目标的初步匹配结果,得到最终多目标跟踪结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人哈尔滨工程大学,其通讯地址为:150001 黑龙江省哈尔滨市南岗区南通大街145号哈尔滨工程大学科技处知识产权办公室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。
请提出您的宝贵建议,有机会获取IP积分或其他奖励