南京理工大学谢晋获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉南京理工大学申请的专利一种基于深度学习的机器人姿态估计方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119379794B 。
龙图腾网通过国家知识产权局官网在2026-04-14发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411461103.8,技术领域涉及:G06T7/73;该发明授权一种基于深度学习的机器人姿态估计方法是由谢晋;朱康健;钱建军设计研发完成,并于2024-10-18向国家知识产权局提交的专利申请。
本一种基于深度学习的机器人姿态估计方法在说明书摘要公布了:本发明公开了一种基于深度学习的机器人姿态估计方法,该方法解决标注真实世界图像中姿态注释劳动密集与虚拟的训练域与真实域之间的差异矛盾的问题。本发明提出一种无监督学习范式,包括四部分;首先基于渲染的机器人位姿估计,将当前状态估计的渲染图与真实图一起预测位姿的更新;然后机器人关键点检测,将真实图像输入到编码器‑解码器的网络结构中,预测置信度图;再是将位姿估计的投影关键点与检测到的关键点转化为分布的形势,构建基于散度的目标函数;最后用基于采样的积分来逼近散度目标函数。这一综合设计使无监督学习能够稳定地增强网络。
本发明授权一种基于深度学习的机器人姿态估计方法在权利要求书中公布了:1.一种基于深度学习的机器人姿态估计方法,其特征在于,包括以下步骤: 步骤1,基于渲染的机器人位姿估计,首先选择一个机械臂部分,将已知的机器人模型根据当前的位姿估计渲染成为2D图像,将该渲染图与观测的机器人的RGB图像拼接起来,作为输入给到一个深度卷积神经网络,用来端到端的学习位姿的更新,预测位姿的更新使得渲染图与观测RGB图像一致对齐,再将位姿估计根据相机外参投影到像素平面内,得到位姿估计对应的投影关键点; 步骤2,机器人关键点检测,将观测的RGB图像输入到编码器-解码器的深度卷积神经网络结构中,预测每个机械臂关键点的置信度图; 步骤3,将位姿估计的投影关键点与检测到的关键点转化为在2D像素空间内的分布的形势,其中投影关键点先要处理得到与检测关键点一致的置信度图,再归一化得到分布,而检测关键点可以直接在像素空间内归一化得到分布,然后再构建基于分布散度的目标函数; 步骤4,用基于采样的积分来逼近散度目标函数,采用Adam学习率自适应更新算法来控制姿态估计的优化,最终使投影关键点与图像中的检测关键点对齐;所述步骤1中,基于渲染的机器人位姿估计, 步骤1.1,对于当前的机器人位姿估计,用一个非学习的、基于机器人的3DCAD模型的渲染器渲染出当前位姿估计对应的图像,其高为240,宽为320; 步骤1.2,将观测机器人的RGB图像做切割,从高480、宽640切割为高240、宽320,与渲染图像一致; 步骤1.3,将切割图与渲染图在RGB颜色通道拼接,得到通道数为6,高240,宽320的特征图; 步骤1.4,将该特征图输入到深度卷积神经网络中,预测位姿估计的更新: , 上述神经网络采用残差块连接;具体来说,对包含卷积层、归一化层和激活层的卷积模块,将这个卷积模块在网络主干上设置两个,枝干上设置一个,跳跃连接得到残差块,最后将5个残差块堆叠得到神经网络的特征抽取部分;还包含一个位姿估计的多层感知机MLP,在特征抽取后接受特征在像素上的均值用于预测位姿更新;另外,位姿更新遵循解耦的参数化设计方法,将位姿表示为在物体坐标系下的旋转和相机坐标系下的平移; 所述步骤2中,RGB图像中的机器人关键点检测, 2.1定义机械臂关键点,定义机械臂的每个关节轴链接处作为机械臂的3D关键点,其到2D像素空间的投影就是机械臂的RGB图像的关键点; 2.2使用编码器-解码器结构训练神经网络预测关键点,以机械臂的RGB图像作为输入;其中,编码器通过4个下采样卷积层,其中包含卷积、归一化、激活操作,解码器负责将编码器得到的图像特征上采样成为关键点对应的热力图,每个点一个热力图;解码器由4个转置卷积层构成;表示为,在输入场景图上,编码器-解码器处理图像来生成一系列d个关键点置信度图,其中d对应预先设置的关键点个数 , 每个置信度图对应一个关键点,作为一个2维的数组高,宽分别为w和h,其中像素值代表关键点投影到这个像素上的可能性;代表编码器-解码器结构的关键点检测网络。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京理工大学,其通讯地址为:210094 江苏省南京市玄武区孝陵卫200号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励