买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京控制工程研究所申请的专利一种空间精细操作的离线强化学习方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114819179B 。

龙图腾网通过国家知识产权局官网在2025-08-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210233709.0，技术领域涉及：G06N3/092；该发明授权一种空间精细操作的离线强化学习方法及系统是由解永春;李林峰;王勇;陈奥设计研发完成，并于2022-03-10向国家知识产权局提交的专利申请。

本一种空间精细操作的离线强化学习方法及系统在说明书摘要公布了：本发明公开了一种空间精细操作的离线强化学习方法及系统，其中，该方法包括如下步骤：步骤1：采集离线多任务交互数据，并对离线多任务交互数据进行分割；步骤2：基于分割后的离线多任务交互数据，进行离线多任务演员‑评论家优化得到全局策略网络；步骤3：将全局策略网络作为控制器，移植到真实物理环境。本发明实现空间精细操作的交互数据一次离线采集、多种任务多次重复利用，提升样本采集与样本利用效率。

本发明授权一种空间精细操作的离线强化学习方法及系统在权利要求书中公布了：1.一种空间精细操作的离线强化学习系统，其特征在于包括：多任务空间操作运行环境系统、敏感器模块、上位机和驱动模块；其中， 所述多任务空间操作运行环境系统输出离线多任务交互数据；其中，离线多任务交互数据包括视觉信号、机械臂本体信号和力测量信号； 所述敏感器模块采集离线多任务交互数据，并将离线多任务交互数据传输给上位机； 所述上位机采集离线多任务交互数据，并对离线多任务交互数据进行分割；基于分割后的离线多任务交互数据，进行离线多任务演员-评论家优化得到全局策略网络； 所述驱动模块接收上位机发送的全局策略网络，输出控制电压到多任务空间操作运行环境系统； 视觉信号包括机械臂末端全局相机采集的RGB图像；机械臂本体信号包括机械臂关节角位移、关节角速度信号，力测量信号包括机械臂末端力、机械臂末端力矩信号； 采集离线多任务交互数据包括如下步骤： 在多任务空间操作训练环境S中采样观测o，运行行为策略πb，计算得到动作a，在多任务空间操作训练环境S中计算得到下一步观测o’，输回给行为策略πb，重复此步骤并记录o,a,o’，存储至数据集D； 对离线多任务交互数据进行分割包括如下步骤： 通过距离度量M将数据集D按照任务相似度分割为数据子集； 所述得到全局策略网络包括：利用数据子集中的数据，优化局部策略网络和局部评价网络的参数，利用策略蒸馏算法，提取局部策略网络的经验，优化得到全局策略网络。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京控制工程研究所，其通讯地址为：100080 北京市海淀区北京2729信箱；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。