买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉哈尔滨工业大学申请的专利一种结合周期奖励的人形机器人步态模仿学习方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118664586B 。

龙图腾网通过国家知识产权局官网在2025-08-15发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410688294.5，技术领域涉及：B25J9/16；该发明授权一种结合周期奖励的人形机器人步态模仿学习方法是由吴立刚;邵翔宇;谭睿宇;孙光辉;周栋;姚蔚然;张少杰;李秉宸设计研发完成，并于2024-05-30向国家知识产权局提交的专利申请。

本一种结合周期奖励的人形机器人步态模仿学习方法在说明书摘要公布了：一种结合周期奖励的人形机器人步态模仿学习方法，涉及机器人运动控制技术领域，针对现有技术中人形机器人在平面内以类人姿态行走时，出现姿态不稳定的问题，本申请构建融合接触信息的参考动作库，作为模仿奖励项和周期接触奖励项的参考。本申请对基本动作与其对应的周期性接触信息，创建出一个综合性的参考动作库。这一策略通过模仿参考动作的风格及其接触信息，引入周期性奖励项，不仅提高了机器人动作的逼真度和风格一致性，而且增强了对动作执行中脚部与地面交互细节的关注，从而确保了人形机器人在平面内以类人姿态行走时，姿态的稳定。

本发明授权一种结合周期奖励的人形机器人步态模仿学习方法在权利要求书中公布了：1.一种结合周期奖励的人形机器人步态模仿学习方法，其特征在于包括以下步骤： 步骤一：构建参考动作库，所述参考动作库中包含基本动作以及每个基本动作对应的周期性接触信息，所述周期性接触信息包括持续DS、DS与SS交替出现、SS交替出现，其中，DS为双足接触相，SS为单足支撑相； 步骤二：基于参考动作库设计奖励函数； 步骤三：基于步骤二中设计的奖励函数训练深度强化学习模型； 步骤四：利用训练好的深度强化学习模型进行人形机器人步态模仿； 所述奖励函数包括模仿学习项、任务项和正则化项； 所述模仿学习项包括和 所述任务项为 所述正则化项包括和 其中，表示基座模仿奖励，表示关节模仿奖励，表示足接触力模仿奖励、表示足速度模仿奖励、表示迈步任务奖励，表示动作变化正则化奖励，表示力矩正则化奖励，表示力矩变化正则化奖励，和qbase,t分别表示为t时刻参考动作的基座朝向与实际基座朝向，和qt分别表示为t时刻参考动作的关节位置和实际关节位置，表示左脚地面反作用力相位指示器，表示右脚地面反作用力相位指示器，表示左脚速度相位指示器，表示右脚速度相位指示器，Fleft和Fright分别表示左脚和右脚归一化后的地面反作用力，Sleft和Sright分别表示左脚和右脚归一化后的体速度，a表示当前动作，aprev表示上一时刻动作，τ表示关节力矩，τprev表示前一时刻的关节力矩，dfoot表示足部与目标点之间的距离，droot表示基座与目标点之间的距离； 所述步骤三的具体步骤为： 步骤三一：导入强化学习环境，并对环境进行封装； 步骤三二：初始化Actor-Critic算法，所述Actor-Critic算法包括策略网络、价值网络以及PPO算法； 步骤三三：设定训练阶段为第1阶段和第2阶段，所述第1阶段为单一任务，所述第2阶段为复合任务，所述单一任务执行基础动作任务，所述复合任务执行组合步态任务； 步骤三四：设置训练轮次Titr，并取训练轮次Titr的一半为阶段变更轮次TJ，之后基于初始化后的Actor-Critic算法，进行训练，迭代轮次在0至TJ之间，采用第1阶段奖励函数权重进行训练，迭代轮次在TJ至Titr之间，采用第2阶段奖励函数权重进行训练，第1阶段奖励函数权重和第2阶段奖励函数权重具体如下： 第1阶段，若t≤TJ，则权重ω为： 若t＞TJ，则权重ω为： 第2阶段，若t≤TJ，则权重ω为： 若t＞TJ，则权重ω为： 步骤三五：对强化学习环境进行初始化，包括设定机器人的初始状态和任务目标，并引入随机扰动； 步骤三六：通过Ray对强化学习环境进行并行采样，并将采样结果拼接成一个Buffer； 步骤三七：对缓冲区中的索引进行随机采样，并设定批次大小，之后根据选取的索引，将缓冲区数据分割成多个小批量，即batch，每个batch包含完整的数据样本，对于不足以形成一个完整小批量的剩余样本，则将其抛弃； 步骤三八：开始一个训练周期epoch，总周期数为epochs，使用全部数据集训练模型的过程为一个训练周期，每个epoch都使用随机小批量数据对策略进行更新； 步骤三九：计算损失函数，反向传播更新网络权重，所述损失函数包括PPO损失、镜像对称损失和熵损失。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人哈尔滨工业大学，其通讯地址为：150001 黑龙江省哈尔滨市南岗区西大直街92号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。