江淮前沿技术协同创新中心;安徽大学孙登第获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉江淮前沿技术协同创新中心;安徽大学申请的专利基于多模态的双阶段细化绑定关系的车辆目标检测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119625657B 。
龙图腾网通过国家知识产权局官网在2025-06-20发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411701664.0,技术领域涉及:G06V20/54;该发明授权基于多模态的双阶段细化绑定关系的车辆目标检测方法是由孙登第;刘文好;丁转莲;李成龙;焦均均设计研发完成,并于2024-11-26向国家知识产权局提交的专利申请。
本基于多模态的双阶段细化绑定关系的车辆目标检测方法在说明书摘要公布了:本发明公开一种基于多模态的双阶段细化绑定关系的车辆目标检测方法。该方法采用RGB、灰度和红外图像的多模态输入,通过独立网络进行多尺度特征提取,并在不同模态的多尺度特征之间进行融合,构建多模态多尺度特征图。在第一阶段,进行检测目标与查询的初步绑定,通过查询与多模态多尺度特征图的交互确定采样点。基于该位置信息,从多模态多尺度特征图中采样特征,并将采样特征映射到查询的通道维度。接着,通过交叉注意力机制更新查询,并引入历史查询以增强当前查询的效果。在第二阶段,基于初步绑定关系进行得分计算,设定阈值,以区分稳定与不稳定的绑定关系。对于得分高于阈值的目标,加大权重以强化绑定;而得分低于阈值的目标,则通过重新匹配查询与目标,优化绑定关系。最终,预测头对经过强化和调整的查询进行解码,输出目标的类别与边界框。
本发明授权基于多模态的双阶段细化绑定关系的车辆目标检测方法在权利要求书中公布了:1.一种基于多模态的双阶段细化绑定关系的车辆目标检测方法,其特征在于,包括以下步骤:步骤1、输入一组多模态图像数据,包括RGB图像、红外图像和灰度图像,使用特征提取器进行特征提取,生成对应模态的多尺度特征图;步骤2、对于步骤1所得各个模态的不同尺度特征图,先将各个模态特征图在深度维度上进行对齐;随后,在每个尺度上直接加权融合三种模态的特征信息;最终,生成一个具备多模态特性的统一的多尺度特征图,即多模态多尺度特征图Ffused;步骤3、进行第一阶段查询和检测目标的初步绑定,即基于步骤2融合后的多模态多尺度特征图Ffused进行动态采样,获得的采样特征Fsampled用于更新查询qupbate;再通过查询缓存中的历史查询增强当前查询EMAc;具体方法为:步骤3.1、首先进行动态采样,查询和构建的多模态多尺度特征图做交叉注意力,确定初始位置;将初始位置映射到不同尺度的特征图上,在每个尺度特征图上选取初始位置映射附近的特征,不同尺度获取的特征进行加权融合;公式如下: P=argmaxA;Pfinal=P+offsetP;Fsampled=sampleFfused,Pfinal;上式中,A是表示查询q和Ffused注意力的权重,Qq是查询q经过随机线性层做矩阵变换得到的矩阵向量,Kfused是多模态多尺度特征图Ffused经过随机线性层做矩阵变换得到的矩阵向量,T表示向量矩阵转置,d是缩放因子,P表示进行交互后使用argmax选择最相关的位置作为初始位置,offsetP则是在初始位置映射到不同尺度特征生成偏移位置,Pfinal表示最终的采样位置,Fsampled是采样操作sample后的采样特征;步骤3.2、对于查询的更新操作,将采样的特征与查询进行交叉注意力计算,将相关的特征更新到查询中,公式如下: 上式中,qupdate表示经过注意力更新后的查询,Qq和Vq表示q生成注意力的Q和V,是采样特征生成注意力的K;在注意力计算中Q和V即公式中的Qq和Vq,表示需要将查询q经过随机的线性层做矩阵变换得到,K是公式中的表示采样特征也需要通过随机的线性层做矩阵变换得到;步骤3.3、对于查询缓存中的历史查询增强操作,将历史查询按照相似性进行EMA加权;设定当前查询的权重为γ,历史查询权重总和为1-γ,公式如下: EMAc是增强后的查询,m表示历史查询数量,Hi是第i个历史查询;步骤4、进行第二阶段精细训练,即通过细化绑定关系模块计算绑定关系的得分,判定步骤3初步绑定的稳定性,根据稳定性判定结果进行不同的处理策略;首先,设定稳定性的阈值S,如果得分大于或等于S,则进行强化绑定关系,将通过稳定性评分计算并高于或等于设定阈值的目标识别为稳定目标,并在后续权重计算中对该类目标赋予较大的权重;当稳定性评分低于设定阈值S时,触发动态匹配机制,不稳定则说明当前的匹配关系不理想;步骤5、将步骤4的输出送入预测头,得出类别标签和位置信息。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人江淮前沿技术协同创新中心;安徽大学,其通讯地址为:230093 安徽省合肥市高新区望江西路920号中安创谷科技园二期H3、H4、H5、H6、H7、H8幢;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。