买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉清华大学申请的专利一种实现探索与利用平衡的智能体强化学习方法和装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116663653B 。

龙图腾网通过国家知识产权局官网在2025-12-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310559043.2，技术领域涉及：G06N3/092；该发明授权一种实现探索与利用平衡的智能体强化学习方法和装置是由詹仙园;嵇天颖;罗宇设计研发完成，并于2023-05-17向国家知识产权局提交的专利申请。

本一种实现探索与利用平衡的智能体强化学习方法和装置在说明书摘要公布了：本发明提供一种实现探索与利用平衡的智能体强化学习方法和装置，包括：构建用于对经验回放池中成功经验进行学习利用的第一贝尔曼算子；构建用于探索未知状态的第二贝尔曼算子；根据第一贝尔曼算子和第二贝尔曼算子，生成探索与利用平衡的贝尔曼算子；利用探索与利用平衡的贝尔曼算子，改进动作家‑评论家算法；基于改进的动作家‑评论家算法，对智能体进行强化学习。本发明通过设计探索与利用平衡的贝尔曼算子来更加有效地解决动作家‑评论家算法中的探索利用平衡问题，从而提高了算法的样本效率和泛化性能，为真实场景的应用提供了可行的解决方案。

本发明授权一种实现探索与利用平衡的智能体强化学习方法和装置在权利要求书中公布了：1.一种实现探索与利用平衡的智能体强化学习方法，其特征在于，所述方法包括： 构建用于对经验回放池中成功经验进行学习利用的第一贝尔曼算子； 构建用于探索未知状态的第二贝尔曼算子； 根据所述第一贝尔曼算子和所述第二贝尔曼算子，生成探索与利用平衡的贝尔曼算子； 利用所述探索与利用平衡的贝尔曼算子，改进动作家-评论家算法； 基于改进的动作家-评论家算法，对智能体进行强化学习； 所述探索与利用平衡的贝尔曼算子是所述第一贝尔曼算子和所述第二贝尔曼算子的加权和，表达式为： ； 上式中，为权重参数，为利用所述第一贝尔曼算子计算的智能体在状态下执行动作的价值函数，为利用所述第二贝尔曼算子计算的智能体在状态下执行动作的价值函数，为利用所述探索与利用平衡的贝尔曼算子计算的智能体在状态下执行动作的价值函数； 所述改进的动作家-评论家算法的表达式为： 动作家：； 评论家：； 上式中，为当前策略为且过往策略序列为的情况下智能体在状态下执行动作的价值函数，，为当前策略为的情况下智能体在状态下执行动作的熵值，为第轮迭代智能体的策略，为第轮迭代时利用所述探索与利用平衡的贝尔曼算子计算的智能体在状态下执行动作的价值函数，为由第轮迭代时的评论家网络确定的智能体在状态下执行动作的价值函数，为评论家网络； 所述基于改进的动作家-评论家算法，对智能体进行强化学习，包括： 对于所述智能体的机器人控制应用场景，获取所述应用场景中所述智能体的当前状态以及当前经验回放池； 利用所述当前经验回放池和所述改进的动作家-评论家算法，对所述当前状态下的智能体进行策略的迭代优化学习，得到对应的最优策略； 其中，智能体状态s包括电机编码器数据，摄像头拍摄的图片，以及传感器的感知数据；智能体动作a包括电机扭矩指令，电机转速指令，以及电机编码器位置指令；r为人工根据机器人执行任务所设计的奖励函数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人清华大学，其通讯地址为：100084 北京市海淀区双清路30号清华大学清华园北京100084-82信箱；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。