买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学申请的专利一种基于深度强化学习的机器人视觉伺服运动控制方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117021066B 。

龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310621091.X，技术领域涉及：B25J9/16；该发明授权一种基于深度强化学习的机器人视觉伺服运动控制方法是由刘达新;王科;刘振宇;谭建荣设计研发完成，并于2023-05-26向国家知识产权局提交的专利申请。

本一种基于深度强化学习的机器人视觉伺服运动控制方法在说明书摘要公布了：本发明公开了一种基于深度强化学习的机器人视觉伺服运动控制方法。包括以下步骤：首先，确定机器人的视觉伺服装配定位任务以及对应的优化目标和约束条件；接着，构建基于深度强化学习的混合视觉伺服控制器；然后，在虚拟环境中对混合视觉伺服控制器进行训练，获得训练完成的混合视觉伺服控制器，再部署到真实环境中，进而控制机器人执行实际装配定位任务。本发明利用虚拟孪生环境和深度强化学习来执行混合视觉伺服控制器的离线训练，能够保证训练过程的安全性，避免真实机器人的不必要损耗，训练后的控制器能够直接部署到真实作业场景中，实现在保证机器人视觉伺服任务稳定性的同时，提高机器人的运动性能，具有较好的工程实用价值。

本发明授权一种基于深度强化学习的机器人视觉伺服运动控制方法在权利要求书中公布了：1.一种基于深度强化学习的机器人视觉伺服运动控制方法，其特征在于，包括以下步骤： 1确定机器人的视觉伺服装配定位任务以及对应的优化目标和约束条件； 2根据视觉伺服装配定位任务以及对应的优化目标和约束条件，构建基于深度强化学习的混合视觉伺服控制器； 所述2具体为： 根据视觉伺服装配定位任务以及对应的优化目标和约束条件，构建混合视觉伺服模型，基于混合视觉伺服模型，对DDPG智能体进行融合处理后，获得面向混合视觉伺服的深度强化学习模型，用于调节混合视觉伺服模型的参数，由混合视觉伺服模型和深度强化学习模型组成基于深度强化学习的混合视觉伺服控制器； 面向混合视觉伺服的深度强化学习模型的状态空间、动作空间和回报函数设置如下： 其中，状态空间st的公式如下： st＝[e3D,vc,q,ds] 其中，e3D和vc分别表示PBVS方法中的视觉误差与相机速度，q表示机器人的当前关节角度值；ds表示2D特征点在图像平面的危险距离； 动作空间at，公式如下： at＝[λ,h] 回报函数的公式如下： Rsucceed＝τ+E+η 其中，Rsucceed表示正值奖励，τ表示运动效率指数，E表示能耗指数，η表示平稳性指数，Rfailed表示负值奖励，Kmax为回合的最大步数，K表示当前回合的步数，表示当前状态下2D特征点误差，表示初始状态下2D特征点误差，ω为关节的权重系数向量，qd表示期望位置，qinit表示初始位置，qk表示机器人运动到第k步的位置，qk+1表示机器人运动到第k+1步的位置，||表示对位置之差取绝对值；ReLU表示整流线性函数，Je表示真实机器人允许的最大关节jerk值，max|Jt|则表示整个任务过程中机器人的最大关节jerk值；λ为伺服增益，h表示PBVS方法的权重值，满足h∈[0,1]； 3在虚拟环境中对基于深度强化学习的混合视觉伺服控制器进行训练，获得训练完成的混合视觉伺服控制器；在每一个时间步中，对于深度强化学习模型的智能体，当前智能体的Actor网络根据t时刻获取的状态空间st计算相应的动作空间at并发送给混合视觉伺服模型，混合视觉伺服模型根据接收到的动作空间at以及混合误差矩阵驱动虚拟环境中的机器人作业；智能体获得奖励rt以及下一时刻的状态st+1，接着将当前时间步的状态空间st、动作空间at、奖励rt和下一时刻的状态st+1作为一组经验数据存储到经验池中；当前智能体从经验池中随机抽取经验数据后计算梯度并更新Critic网络的参数； 4将训练完成的混合视觉伺服控制器部署到真实环境中，进而控制机器人执行实际装配定位任务。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。