买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉贵州大学申请的专利基于深度强化学习的机械臂控制方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116533249B 。

龙图腾网通过国家知识产权局官网在2026-02-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310657299.7，技术领域涉及：B25J9/16；该发明授权基于深度强化学习的机械臂控制方法是由袁庆霓;齐建友;高清扬;陈启鹏;吕健;杜飞龙;吴杨东;蓝伟文设计研发完成，并于2023-06-05向国家知识产权局提交的专利申请。

本基于深度强化学习的机械臂控制方法在说明书摘要公布了：本发明的一种基于深度强化学习的机械臂控制方法，包括以下步骤:设计伺服控制器，搭建机械臂视觉伺服系统，训练自适应伺服增益DDPG模型：搭建DDPG训练环境，设置DDPG训练参数并完成DDPG模型训练；设定并获取机械臂抓取到目标物时的期望图像，并提取期望特征；获取当前目标图像，提取当前特征；采用扩展卡尔曼滤波方法估计深度值，代入计算图像雅可比矩阵广义逆矩阵，同时将期望特征与当前特征运算得出图像特征误差e；根据机械臂视觉伺服系统当前状态，采用训练好的基于深度确定性策略梯度DDPG的自适应伺服增益算法，确定伺服增益值；通过设计的伺服控制器对机械臂进行伺服控制。本发明具有稳定性更强、鲁棒性更高、收敛速度更快的特点。

本发明授权基于深度强化学习的机械臂控制方法在权利要求书中公布了：1.一种基于深度强化学习的机械臂控制方法，其特征在于：该方法包括以下步骤: S1：搭建机械臂视觉伺服系统，设定并获取机械臂抓取到目标物时，通过相机拍摄的期望图像，并提取期望特征； S2：初始化机械臂的状态并保证此时目标物在相机视野内； S3：获取当前目标图像，提取当前特征； S4：采用扩展卡尔曼滤波方法估计深度值，代入计算图像雅可比矩阵广义逆矩阵，同时将期望特征与当前特征运算得出图像特征误差e； S5：根据机械臂视觉伺服系统当前状态，采用基于深度确定性策略梯度DDPG的自适应伺服增益算法，确定伺服增益值，其过程如下： S51：定义自适应伺服增益DDPG模型参数，包括： 1状态空间的选择：选择相机原始速度作为状态空间， 2动作空间选择：直接选择伺服增益作为动作空间；  3奖励函数设计：在人工经验的基础上设计神经网络来模拟人工奖励函数的修正项，其中所述神经网络输入项为当前动作和状态，所述神经网络输出项为奖励函数的修正项rc；其奖励函数r表示为r=re+rc；其中re为人工设计的奖励函数，表示为： ； 其中，R为人工最大奖励值，是个正数；κ为图像特征点的数量；rn为图像平面的高度,cn为图像平面的宽度，pi为当前特征点，pid为期望特征点； S52：设计基于DDPG的自适应伺服增益算法，具体步骤如下： 输入：随机初始化伺服增益网络参数θQ、θμ，通过复制当前网络初始化目标网络：θQ’←θQ、θμ’←θμ；初始化噪声发生器为OUt；重复执行次数C，训练回合总数n； 输出：最优伺服增益网络参数，以及最优策略； 步骤1、随机初始化机械臂位姿，并由状态发生器产生初始状态s0； 步骤2、选择伺服增益Kt=at=βst=μst|θμ+OUt，其中st为当前状态，at为当前动作，β为状态发生器，μ为动作策略函数； 步骤3、根据伺服增益Kt的伺服控制器SMCC‑IBVS计算相机速度Vc，并且根据机械臂控制器执行相机速度Vc观察得到人工设计的当前奖励ret和状态生成器产生下一个状态值st+1； 步骤4、结合所述神经网络输出的修正项获取当前奖励值rt，通过有监督的方式进行所述神经网络参数更新； 步骤5、将四元组st,at,rt,st+1存储到重放缓冲区M中； 步骤6、如果下一个状态st+1是终止状态，则终止本次训练，执行步骤8； 步骤7、如果缓冲区M已满，则从中随机选择N个样本四元组st,at,rt,st+1，分别训练评论家和行动者神经网络，更新目标网络参数； 步骤8、返回步骤2，重复执行C次； 步骤9、检测训练回合数，如果训练回合总数未达到n，返回步骤1；否则，退出； S53：训练自适应伺服增益DDPG模型：搭建DDPG训练环境；设置DDPG训练参数并完成训练； S6：对机械臂进行伺服控制：将图像特征误差、图像雅可比矩阵广义逆矩阵和伺服增益值输入伺服控制器SMCC‑IBVS，生成机械臂控制信号控制机械臂运动，若还未到达目标位姿，则返回S3。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人贵州大学，其通讯地址为：550025 贵州省贵阳市花溪区贵州大学(北区)科技处；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。