买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学技术大学申请的专利基于混合状态估计的强化学习四足机器人倒立摆稳定方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119758719B 。

龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411897937.3，技术领域涉及：G05B13/04；该发明授权基于混合状态估计的强化学习四足机器人倒立摆稳定方法是由秦家虎;江一鸣;刘轻尘;闫成真设计研发完成，并于2024-12-23向国家知识产权局提交的专利申请。

本基于混合状态估计的强化学习四足机器人倒立摆稳定方法在说明书摘要公布了：本发明涉及机器人与自动化技术领域，公开了一种基于深度强化学习的四足机器人倒立摆稳定控制方法，具体包括：将一阶倒立摆固定在四足机器人的机身上；将四足机器人的运动建模为部分可观测马尔可夫决策过程，并通过基于演员‑评论家模型的邻近策略优化算法对部分可观测马尔可夫决策过程输出的策略进行训练；演员‑评论家模型包括策略网络和价值网络；在策略训练过程中采用域随机化技术，随机化环境的参数；综合考虑速度跟踪奖励、稳定性惩罚以及倒立摆惩罚项来设计奖励函数，以训练价值网络并提供监督信号。本发明设计了一种端到端的、基于混合状态估计的四足机器人倒立摆稳定方法，提升了机器人平衡能力和稳定性能。

本发明授权基于混合状态估计的强化学习四足机器人倒立摆稳定方法在权利要求书中公布了：1.一种基于混合状态估计的强化学习四足机器人倒立摆稳定方法，其特征在于，通过设计实时估计倒立摆的关键参数，并动态调整四足机器人的姿态，从而实现运动控制与系统稳定性的深度融合；具体包括： 将一阶倒立摆固定在四足机器人的机身上； 将四足机器人的运动建模为部分可观测马尔可夫决策过程，并通过基于演员-评论家模型的邻近策略优化算法对部分可观测马尔可夫决策过程输出的策略进行训练； 演员-评论家模型包括策略网络和价值网络；其中，所述策略网络根据输入的状态输出一个策略，从策略对应的概率分布中采样或者直接选择具体的动作，输入的状态包括四足机器人自身的观测量以及状态估计量；价值网络用于评估当前策略网络的表现； 在策略训练过程中采用域随机化技术，随机化环境的参数； 综合考虑速度跟踪奖励、稳定性惩罚以及倒立摆惩罚项来设计奖励函数，以训练价值网络并提供监督信号； 所述状态估计量通过状态估计器估计得到； 所述状态估计器由记忆编码器和源编码器组成，所述记忆编码器采用长短期记忆网络；源编码器采用的多层感知机； 四足机器人自身的观测量传入长短期记忆网络后，将得到的输出馈送到源编码器，以获得所述状态估计量；所述状态估计量包括显式的机身的线速度、倒立摆的参数以及隐式状态； 基于显式的机身的线速度、倒立摆的参数、真实值的机身线速度和真实的倒立摆参数，采用均方根误差计算误差： ； 表示均方根误差； 对于下一时间步的观测量，通过过去一段时间的观测量进行预测，H代表时间步；将作为目标向量，作为源向量，分别输入目标编码器和源编码器，得到目标向量和源向量；对目标向量和源向量取L2归一化得到归一化矩阵，再对目标向量和源向量与归一化矩阵的点积进行归一化指数函数运算，得到目标预测概率和源预测概率： ； ； 其中为温度参数，表示归一化矩阵中的第k个元素；基于聚类分配的预测结果和目标，通过计算交叉信息熵，将表示学习的唯一目标定义为最大化预测精度： ； 表示观测量的时域长度，分别表示源向量和目标向量的期望值，通过Sinkhorn-Knopp算法计算得到；将交叉信息熵作为目标编码器的梯度，将交叉信息熵和均方根误差之和作为长短期记忆网络和源编码器的梯度进行训练。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学技术大学，其通讯地址为：230026 安徽省合肥市包河区金寨路96号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。