福州大学柯逍获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉福州大学申请的专利基于加权特征融合和光流估计修正的物体姿态估计方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115620203B 。
龙图腾网通过国家知识产权局官网在2025-07-11发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211343439.5,技术领域涉及:G06V20/40;该发明授权基于加权特征融合和光流估计修正的物体姿态估计方法是由柯逍;黄森敏设计研发完成,并于2022-10-29向国家知识产权局提交的专利申请。
本基于加权特征融合和光流估计修正的物体姿态估计方法在说明书摘要公布了:本发明涉及一种基于加权特征融合和光流估计修正的物体姿态估计方法,包括以下步骤:步骤S1:获取二维RGB图像信息进行数据增强,加载模型预训练权重;步骤S2:利用进行加权特征融合的yolov5模型提取目标物体的位置特征;步骤S3:增加旋转和平移网络模块,回归生成物体的三维平移和三维旋转六个自由度的信息;步骤S4:使用光流估计方法对步骤S3中生成的位姿信息进行修正,进一步提高姿态估计的质量,得到最终的结果。该方法能够有效地进行物体的姿态估计。
本发明授权基于加权特征融合和光流估计修正的物体姿态估计方法在权利要求书中公布了:1.基于加权特征融合和光流估计修正的物体姿态估计方法,其特征在于,包括以下步骤: 步骤S1:获取二维RGB图像信息进行数据增强,加载模型预训练权重; 步骤S2:利用进行加权特征融合的yolov5模型提取目标物体的位置特征; 步骤S3:增加旋转和平移网络模块,回归生成物体的三维平移和三维旋转六个自由度的信息; 步骤S4:使用光流估计方法对步骤S3中生成的位姿信息进行修正,进一步提高姿态估计的质量,得到最终的结果; 所述步骤S2具体包括以下步骤: 步骤S21:将yolov5模型中的特征融合模块由PANet结构替换为BiFPN结构,对多种尺度的主干网络特征进行双向跨尺度连接以及加权特征融合,得到跨尺度融合的特征,其中加权特征融合的计算公式如下所示: O表示加权特征融合后的结果,i表示第i个特征Ii的索引,j表示第j个权重wj的索引,wi表示特征Ii对应的权重,wj表示第j个权重; 权重通过ReLU激活函数确保其取值大于等于0,然后通过归一化到0到1之间,ε是一个常量,取值设为0.0001; 步骤S22:结合双向跨尺度连接和加权特征的计算公式如下所示: 其中,表示由yolov5主干网络输出的P5特征层到P4特征层自上而下的中间特征,表示由yolov5主干网络输出的P3特征层到P4特征层自下而上的输出特征,Resize表示上采样或者下采样操作,Conv表示卷积操作,表示yolov5主干网络输出的P4特征层信息,w1表示从到的权重,表示yolov5主干网络输出的P5特征层信息,w2表示从到的权重,表示P4特征层经过跨尺度融合操作之后的输出特征,表示P3特征层经过跨尺度融合操作之后的输出特征,w'1表示从到的权重,w'2表示从到的权重,w'3表示从到的权重; 所述步骤S4的具体方法为: 步骤S41:利用S3步骤回归得到的物体姿态信息,生成渲染图像Fd输入光流网络,在光流估计的引导下向姿态真值图像Fim靠近,通过翘曲函数计算得到翘曲特征映射Fw,该映射过程表示为flowd→im,如下所示: 其中翘曲函数是一个双线性函数,在信道l中的翘曲按照以下方式计算: 其中I是双线性插值核,qd=qxd,qydT是S3步骤的生成结果Fr生成渲染图像后的二维坐标,qw=qxw,qywT是Fr经过光流估计生成的结构Fw的二维坐标,δ是一个可学习的参数; 将估计的光流flowr→im与从姿态真值Fim中提取的特征映射进行级联,得到联级操作后的特征由Fw和经过计算得到最终的姿态估计结果; 步骤S42:使用基于PoseLoss和ShapeMatch的损失函数,对于非对称对象,Lasym损失的定义如下所示: 其中,表示物体obj由真值旋转矢量通过罗德里格斯旋转公式计算得到的真值旋转矩阵,Rotr,obj表示物体obj通过网络预测的旋转矢量r通过应用罗德里格斯旋转公式计算得到的预测旋转矩阵,表示姿态真值平移向量,t表示网络预测的平移向量,M表示对象的三维模型点集,m表示三维点的数量; 损失函数使用姿态真值和估计的6D姿态对目标区域进行变换,然后计算变换后的模型点之间的平均点距离;当旋转和平移损失彼此独立计算时,无需额外的超参数来平衡部分损失; 损失函数Lsym计算公式如下所示: 其中,表示目标obj1由真值旋转矢量通过罗德里格斯旋转公式计算得到的真值旋转矩阵,Rotr,obj2表示目标obj2通过网络预测的旋转矢量r应用罗德里格斯旋转公式计算得到的预测旋转矩阵;Lsym与Lasym相似,但不是严格计算两个变换点集的匹配点之间的距离,而是考虑每个点到另一个变换点集中任何点的最小距离; 完整的损失函数Ltrans定义如下所示:
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人福州大学,其通讯地址为:350108 福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。