买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉河海大学申请的专利一种基于元学习和经验向量的自动驾驶联邦强化学习方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119442908B 。

龙图腾网通过国家知识产权局官网在2025-09-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411590392.1，技术领域涉及：G06F30/27；该发明授权一种基于元学习和经验向量的自动驾驶联邦强化学习方法是由谢在鹏;汤磊设计研发完成，并于2024-11-08向国家知识产权局提交的专利申请。

本一种基于元学习和经验向量的自动驾驶联邦强化学习方法在说明书摘要公布了：本发明公开了一种基于元学习和经验向量的自动驾驶联邦强化学习方法，包括：构建自动驾驶异质环境；构建Actor网络，通过确定性策略梯度更新Actor网络参数；构建Critic网络，通过元学习算法和误差反向传播算法更新Critic网络参数，训练过程中还加入经验向量整合并更新各自动驾驶车辆的学习经验，以优化全局策略的性能表现；在训练过程中，所有自动驾驶车辆定期将本地Critic网络参数、Actor网络参数和本地经验向量发送至中央服务器聚合。本发明通过提高自动驾驶车辆对环境异质性的适应能力，解决现有联邦强化学习中因环境动态变化和策略性能波动带来的收敛速度变慢和策略泛化能力下降问题，从而提升训练效率和策略鲁棒性。

本发明授权一种基于元学习和经验向量的自动驾驶联邦强化学习方法在权利要求书中公布了：1.一种基于元学习和经验向量的自动驾驶联邦强化学习方法，其特征在于，包括如下步骤： 步骤1，为每个自动驾驶车辆构建异质虚拟仿真环境，初始化全局Actor参数φ0、全局Critic参数w0以及全局经验向量并发送至每个自动驾驶车辆； 步骤2，每个自动驾驶车辆的本地Actor网络加载全局Actor参数φ0，同时将φ0复制给目标Actor网络；每个自动驾驶车辆的本地Critic网络加载全局Critic参数w0，同时将w0复制给目标Critic网络；初始化每个自动驾驶车辆的经验回放池，开始本地训练； 步骤3，对于时间步t，各自动驾驶车辆与所处的环境交互，获得环境的反馈，即根据当前状态st选择动作at，获得执行动作at带来的奖励rt以及执行动作后的下一状态st+1，将st，at，rt，st+1作为经验元组存储到经验回放池中； 步骤4，每个时间步中，各自动驾驶车辆基于损失函数和相关性扰动，采用模型无关元学习方法Sharp-MAML更新本地Critic网络参数，并更新本地经验向量，并在时间步为本地Critic网络联邦频率的整数倍时，对所有自动驾驶车辆的本地Critic网络参数和本地经验向量分别进行聚合，将聚合得到的全局Critic参数和全局经验向量再发送给各自动驾驶车辆，继续进行本地训练； 步骤5，通过延迟策略，在时间步为延迟策略更新频率的整数倍时，通过确定性策略梯度更新各自动驾驶车辆的本地Actor网络参数，并记录本地Actor网络参数的更新次数，在更新次数为本地Actor网络联邦频率的整数倍时，对所有自动驾驶车辆的本地Actor网络参数进行聚合，将聚合得到的全局Actor参数再发送给各自动驾驶车辆，继续进行本地训练； 步骤6，在训练过程中，当时间步为延迟策略更新频率的整数倍时，采用软更新策略对各自动驾驶车辆的目标Critic网络和目标Actor网络参数进行更新； 步骤7，当时间步到达联邦强化学习预设的训练步数时，完成训练；根据训练完成时的全局Actor网络控制每个车辆实现自动驾驶。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人河海大学，其通讯地址为：211100 江苏省南京市江宁开发区佛城西路8号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。