恭喜中国电子科技集团公司第五十二研究所陈初杰获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜中国电子科技集团公司第五十二研究所申请的专利一种基于逆神经辐射场的视觉定位方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116630420B 。
龙图腾网通过国家知识产权局官网在2025-06-10发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310496432.5,技术领域涉及:G06T7/73;该发明授权一种基于逆神经辐射场的视觉定位方法是由陈初杰;瞿崇晓;张永晋;张子恒;李彤;李俊薇设计研发完成,并于2023-05-05向国家知识产权局提交的专利申请。
本一种基于逆神经辐射场的视觉定位方法在说明书摘要公布了:本发明公开了一种基于逆神经辐射场的视觉定位方法,包括采集三维渲染数据集和人工采集标注真实场景数据集。本基于逆神经辐射场的视觉定位方法利用相机拍摄的图像作为输入,直接逆向求解相机自身位姿实现视觉定位,解决现有技术中基于图像特征点的视觉定位方法实时性差、需要图像连续,且图像具有明显的纹理特征的问题;对深度学习神经网络模型训练的过程中分为预训练和修正训练,且预训练过程中采用三维渲染数据集,获取较为简单,且得到的场景较为丰富多样,再在修正训练过程中采用人工采集标注真实场景数据集,这样既能使得深度学习神经网络模型具有多场景适应能力由能针对真实场景有更准确的效果。
本发明授权一种基于逆神经辐射场的视觉定位方法在权利要求书中公布了:1.一种基于逆神经辐射场的视觉定位方法,其特征在于:所述基于逆神经辐射场的视觉定位方法,包括:采集三维渲染数据集和人工采集标注真实场景数据集;构建包括第一卷积神经网络、第二卷积神经网络、多层感知机结构、编码器、解码器和前馈神经网络的深度学习神经网络模型;利用三维渲染数据集和人工采集标注真实场景数据集对深度学习神经网络模型进行训练;对训练好的深度学习神经网络模型进行模型轻量化处理和特定的人工智能加速硬件适配;将适配后的深度学习神经网络模型部署至计算设备,利用相机拍摄图像输入至部署了深度学习神经网络模型的计算设备中,然后计算设备推理计算得到相机的位姿信息;其中,所述构建包括第一卷积神经网络、第二卷积神经网络、多层感知机网络结构、编码器、解码器和前馈神经网络的深度学习神经网络模型,包括:所述第一卷积神经网络为ResNet50并在最后一层增加128维输出的全连接层,所述第二卷积神经网络为ResNet18并在最后一层增加128维输出的的全连接层;所述多层感知机网络结构的层数至少为四层,且输入特征维度为128,输出特征维度为128,隐藏层中至少有一层不少于1024个神经元;将所述第一卷积神经网络输出的第一特征向量和第二卷积神经网络输出的第二特征向量进行对应特征加权相加的特征融合得到第一融合特征向量,且所述第一特征向量权重为w1,第二特征向量权重为w2,并w1+w2=1.0;将所述第一融合特征向量输入至编码器中进行特征提取,得到第一特征编码输出向量;将所述第一特征编码输出向量输入多层感知机网络结构中得到第二特征编码输出向量;将所述第二特征编码输出向量输入至解码器中,并将预设数量为m的查询键值向量输入至解码器中,经过解码得到m个解码特征输出;最后将m个解码特征输出依次输入至对应数量的前馈神经网络中,得到相机的m个位姿信息,其中m的值为6;所述利用三维渲染数据集和人工采集标注真实场景数据集对深度学习神经网络模型进行训练,包括:首先利用三维渲染数据集对深度学习神经网络模型预训练得到预训练深度学习神经网络模型,然后再利用人工采集标注真实场景数据集对预训练深度学习神经网络模型进行修正训练,得到最终训练好的深度学习神经网络模型;在利用三维渲染数据集预训练和人工采集标注真实场景数据集修正训练过程中,均采用如下步骤进行训练:随机初始化深度学习神经网络模型的参数值和查询键值向量,从所述三维渲染数据集或人工采集标注真实场景数据集中选取图像,并将选取的图像统一缩放至1024×1024像素大小,图像划分为8×8个网格区域得到第一卷积神经网络的训练输入;从第一卷积神经网络的输入中抽取比例为r的网格进行随机遮挡得到第二卷积神经网络的训练输入,其中0.3<r<0.6;将第一卷积神经网络的训练输入和第二卷积神经网络的训练输入依次输入至第一卷积神经网络和第二卷积神经网络中,并结合损失函数对深度学习神经网络模型或预训练深度学习神经网络模型进行训练,且损失函数的公式如下:L=λ1Lloc+λ2Lpos 其中,L表示损失函数值,Lloc表示相机位置损失值,Lloc表示相机姿态损失值,x,y,z分别表示相机位置坐标的真值,x,y,z分别表示相机位置坐标的预测值,dx,dy,dz表示相机为生成场景图像时绕三个坐标轴的旋转角度真值,用于表示三个相机姿态,dx',dy',dz'表示三个相机姿态的预测值,λ1,λ2依次表示相机位置损失和姿态损失的权重,且0.5<λ1<1.0、3<λ2<7;根据损失函数值,使用反向传播计算深度学习神经网络模型的参数梯度大小,并利用梯度更新深度学习神经网络模型或预训练深度学习神经网络模型的参数值,直到损失函数收敛或达到训练次数时停止训练,得到预训练深度学习神经网络模型或最终训练好的深度学习神经网络模型,且人工采集标注真实场景数据集对预训练深度学习神经网络模型训练过程中,冻结编码器参数和解码器参数,使其在反向传播训练过程中不更新。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国电子科技集团公司第五十二研究所,其通讯地址为:311121 浙江省杭州市余杭区爱橙街198号B楼;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。