买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东大学申请的专利基于深度强化学习的自主水下航行器轨迹跟踪方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119937604B 。

龙图腾网通过国家知识产权局官网在2025-11-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510086851.0，技术领域涉及：G05D1/485；该发明授权基于深度强化学习的自主水下航行器轨迹跟踪方法及系统是由李沂滨;李禧龙;张悦;庄英豪;张洪铂;王代超;高文龙设计研发完成，并于2025-01-20向国家知识产权局提交的专利申请。

本基于深度强化学习的自主水下航行器轨迹跟踪方法及系统在说明书摘要公布了：本发明属于自主式水下航行器控制领域，提供基于深度强化学习的自主水下航行器轨迹跟踪方法及系统。其中，该方法包括构建航行器轨迹跟踪控制器的控制目标并将其为基于策略‑评价网络的深度强化学习框架下的自主式水下航行器轨迹跟踪控制目标；形成转移元组并存入经验缓冲池；随机采样两次经验缓冲池中的转移元组，得到设定大小的两个初始数据集，再按照当前次完整探索过程得分从其中一个初始数据集筛选出若干排在靠前的转移元组，得到筛选数据集，并将筛选数据集随机替换另一初始数据集中相同数量的转移元组，得到最终训练用数据集，以用于策略‑评价网络的迭代训练；将迭代训练后的策略‑评价网络作为控制网络来对自主式水下航行器进行控制。

本发明授权基于深度强化学习的自主水下航行器轨迹跟踪方法及系统在权利要求书中公布了：1.一种基于深度强化学习的自主水下航行器轨迹跟踪方法，其特征在于，包括： 在自主式水下定系下，将自主式水下航行器的状态信息作为输入，推进器推力及垂直舵舵角作为输出，构建航行器轨迹跟踪控制器的控制目标； 基于预先定义的自主式水下航行器的状态向量、动作向量及奖励函数，将航行器轨迹跟踪控制器的控制目标转换为基于策略-评价网络的深度强化学习框架下的自主式水下航行器轨迹跟踪控制目标； 根据自主式水下航行器的当前状态向量，采样得到当前动作向量及其对应奖励函数值以及下一个状态向量，形成转移元组并存入经验缓冲池； 随机采样两次经验缓冲池中的转移元组，得到设定大小的两个初始数据集，再按照当前次完整探索过程得分从其中一个初始数据集筛选出若干排在靠前的转移元组，得到筛选数据集，并将筛选数据集随机替换另一初始数据集中相同数量的转移元组，得到最终训练用数据集，以用于策略-评价网络的迭代训练； 将迭代训练后的策略-评价网络作为控制网络，对自主式水下航行器进行控制； 策略-评价网络中的策略网络的目标函数表达式为： 其中，是策略网络，是网络参数；是评价网络，是评价网络参数；是温度系数；是状态向量；是动作向量；表示动作是根据当前策略，给定状态时的分布采样的；表示状态是从经验缓冲池D中采样的； 策略-评价网络中的评价网络的目标函数表达式为： ] 其中，是评价网络，是评价网络参数；是策略网络，是温度系数；表示价值函数，表示目标评价网络参数；是折扣因子；是状态向量；是动作向量；表示状态是从经验缓冲池D中采样的；表示动作是根据当前策略在给定状态下给出的分布采样得到的；表示观测到的下一时刻状态；表示在t时刻AUV采取动作后获得的即时奖励；表示目标评价网络基于t时刻状态和采取的动作而输出的值。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东大学，其通讯地址为：266237 山东省青岛市即墨区滨海路72号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。