长安大学刘占文获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉长安大学申请的专利一种复杂城市道路环境下的多目标检测与跟踪算法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115410162B 。
龙图腾网通过国家知识产权局官网在2025-09-19发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210862496.8,技术领域涉及:G06V20/54;该发明授权一种复杂城市道路环境下的多目标检测与跟踪算法是由刘占文;员惠莹;赵彬岩;李超;樊星;王洋;杨楠;齐明远;李宇航;孙士杰;蒋渊德;韩毅设计研发完成,并于2022-07-21向国家知识产权局提交的专利申请。
本一种复杂城市道路环境下的多目标检测与跟踪算法在说明书摘要公布了:本发明公开了一种复杂城市道路环境下的多目标检测与跟踪方法:步骤1:构建训练集和测试集;步骤2:在现有的DLA34骨干网络基础上逐层增加特征融合模块实现输入图像的深浅层网络特征融合;步骤3:采用Transformer编码模块提取特征图中长距离特征依赖关系;步骤4:通过进一步特征融合及逻辑回归处理;步骤5:利用多目标跟踪模块进行目标关联处理与跟踪,得到带有目标检测框的跟踪特征图;步骤6,得到训练好的多目标检测与跟踪模型;步骤7,将待检测的视频数据输入训练好的多目标检测与跟踪模型,得到带有目标检测框的跟踪特征图。本发明能够在复杂城市道路环境下对多目标进行准确的目标检测和跟踪,可稳定识别外观尺度变化较大的目标。
本发明授权一种复杂城市道路环境下的多目标检测与跟踪算法在权利要求书中公布了:1.一种复杂城市道路环境下的多目标检测与跟踪方法,其特征在于,具体包括以下步骤: 步骤1:选取公共数据集进行数据增强,得到数据集,构建训练集和测试集; 步骤2:在现有的DLA34骨干网络基础上逐层增加特征融合模块实现输入图像的深浅层网络特征融合,得到三个特征融合后的二维特征图; 步骤3:根据特征融合后的二维特征图,采用Transformer编码模块提取特征图中长距离特征依赖关系,得到提取依赖关系后的特征图;具体包括如下子步骤: 步骤31,将步骤2最终得到的116大小的二维特征图坍缩成一维序列,并卷积形成K、V、Q特征图; 步骤32,将位置编码与步骤31得到的特征图K和特征图Q分别进行逐像素相加得到带有位置信息的两个特征图,该两个特征图与特征图V作为共同输入进入多头注意力模块,经处理得到新的特征图; 步骤33,对步骤32得到的新的特征图再与步骤31得到的V、K、Q特征图进行特征图间对应值相加的融合操作和LayerNorm操作; 步骤34,步骤33得到的结果进入前馈神经网络中进行处理,并通过残差连接输出,得到新的特征图; 步骤4:通过进一步特征融合及逻辑回归处理,生成热图以及目标边界框;具体包括如下子步骤: 步骤41,将步骤3最终得到的特征图进行2倍上采样得到一个新的特征图; 步骤42,将步骤24得到的14大小与18大小的特征图采用与步骤24中相同的特征融合模块进行特征融合,得到一个14大小的新特征图; 步骤43,将步骤24得到的18大小、116大小的特征图采用特征融合模块进行特征融合,并与步骤41得到的特征图进行逐像素相加得到一个18大小的新特征图; 步骤44,将步骤42得到的14大小的特征图和步骤43得到的18大小的特征图仍采用特征融合模块进行特征融合生成分辨率为原图14大小的热图; 步骤45,对步骤44中得到的热图与步骤1得到的数据集中包含目标中心点的热图标签进行逻辑回归,得到预测目标的中心点; 步骤46,通过式(3)得到每个目标对应的边框左上点与右下点坐标,生成目标边界框: 3 其中,即步骤45得到预测目标的中心点,表示中心点与目标中心点的偏移量,表示目标对应的边框的尺寸; 步骤5:利用多目标跟踪模块进行目标关联处理与跟踪,得到带有目标检测框的跟踪特征图;具体包括如下子步骤: 步骤51,将输入步骤2的同一个图像作为第帧图像,并选取其下一帧图像即第帧图像,把第帧和第帧图像作为输入,经过CenterTrack骨干网络处理分别生成特征图和; 步骤52,将特征图和分别送入代价空间模块进行目标关联处理,得到输出特征图;具体包括如下操作: 步骤521,将特征图和分别送入代价空间模块中的三层权值共享的卷积结构生成特征图和,即目标的外观编码向量; 步骤522,对特征图和进行最大池化操作得到和,以降低模型复杂度,使用和乘积的转置计算得到代价空间矩阵,代价空间矩阵上的目标在当前帧的位置为,从代价空间矩阵中提取含有当前帧中的目标在前一帧图像中的位置信息的二维代价矩阵,对的水平方向和竖直方向分别取最大值得到对应方向的特征图; 步骤523,通过式(4)和(5)定义两个偏移模板、; 4, 5, 其中,为特征图相对于原图的下采样倍数,为特征图的宽高尺寸大小,为帧图像中的目标在帧图像中出现在水平位置的偏移量,为帧目标在帧图像中出现在竖直位置的偏移量; 步骤524,将步骤522得到的、与步骤523中定义的偏移模板和相乘之后进行通道上的叠加,得到特征图,代表目标在水平和竖直两个方向上的偏移模板;之后将进行2倍上采样恢复为大小,同时,将特征图的水平与竖直两个通道分别与步骤51得到的进行通道上的叠加,再经过卷积形成水平和竖直方向上特征图大小不变、通道数为9的2个特征图,将这2个特征图进行通道上的叠加得到输出特征图; 步骤53,将步骤4中得到的热图与步骤51得到的特征图进行哈德玛乘积生成特征图,将与步骤52得到的特征图一起进行可变形卷积生成特征图; 步骤54,将依次使用3个卷积操作、下采样操作,生成第帧特征图;将步骤51中得到的特征图使用3个卷积进行操作,生成第帧特征图; 步骤55,将步骤54中的得到的第帧特征图共同输入注意力传播模块进行特征传播得到带有目标检测框的跟踪特征图; 步骤6,采用步骤1的训练集对由步骤2、3、4、5组成的多目标检测与跟踪模型进行训练,并采用测试集进行测试,最终得到训练好的多目标检测与跟踪模型; 步骤7,将待检测的视频数据输入训练好的多目标检测与跟踪模型,得到带有目标检测框的跟踪特征图。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人长安大学,其通讯地址为:710064 陕西省西安市雁塔区二环南路中段126号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。