买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江理工大学申请的专利基于深度强化学习的卫星探索控制系统及方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116692027B 。

龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310654199.9，技术领域涉及：B64G1/10；该发明授权基于深度强化学习的卫星探索控制系统及方法是由骆淑云;马志昕;侯健设计研发完成，并于2023-06-05向国家知识产权局提交的专利申请。

本基于深度强化学习的卫星探索控制系统及方法在说明书摘要公布了：本发明公开了一种基于深度强化学习的卫星探索控制系统及方法，系统包括强化学习模块和环境模块，环境模块包括动作模块、初始化模块、状态更新模块、基础环境模块、奖励计算模块；强化学习模块调用初始化模块，初始化模块对基础环境进行初始化，完成初始化后由初始化模块返回当前状态，强化学习模块在获得当前状态后输出动作给环境模块；环境模块中的动作模块捕获动作进行处理，交由状态更新模块调用基础环境模块来处理当前环境状态更新，再由奖励计算模块获取所有状态和动作信息后给出当前这轮学习的奖励，并将奖励和更新后的状态传递给强化学习模块；强化学习模块结合当前所有的信息构成四元组并进行训练后，再根据下一步状态输出下一个动作。

本发明授权基于深度强化学习的卫星探索控制系统及方法在权利要求书中公布了：1.基于深度强化学习的卫星探索控制系统，其特征是包括强化学习模块和环境模块，环境模块包括动作模块、初始化模块、状态更新模块、基础环境模块、奖励计算模块；强化学习模块调用初始化模块，初始化模块对基础环境进行初始化，完成初始化后由初始化模块返回当前状态s，强化学习模块在获得当前状态s后输出动作a给环境模块，a为一个三元数组作为卫星的三轴加速度动作；环境模块中的动作模块捕获动作进行处理，交由状态更新模块调用基础环境模块来处理当前环境状态更新，再由奖励计算模块获取所有状态和动作信息后给出当前这轮学习的奖励r，并将奖励r和更新后的状态s′传递给强化学习模块；强化学习模块结合当前状态s、输出动作a、奖励r和下一步状态s′构成四元组s,a,r,s′，作为网络的输入值并进行训练后，再根据下一步状态s′输出下一个动作a'； 所述的强化学习模块包含： TD3网络子模块：包含Actor网络、Critic网络、经验回放池； 复合噪声模块：包含探索噪声、策略噪声； 网络附加模块：包含LSTM网络子模块和RunningMeanStd归一化函数子模块； 所述的强化学习模块在学习环境之前，将轨道探索控制问题转换为马尔科夫决策过程，马尔科夫决策过程由三个关键要素构成，分别为状态、动作、奖励； 所述的奖励介绍如下： 奖励分为奖励部分和惩罚部分，其中惩罚部分设置了碰撞惩罚和偏心惩罚，奖励部分分为激励和到达目标时的一次性奖励； 在惩罚部分，碰撞惩罚rcp和偏心惩罚rep设置为触发条件后立刻终止训练，并且计算当前所有奖励，并赋予惩罚，ε为碰撞惩罚系数，φ为偏心系数，如下公式： RP＝εrcp+φrep3 如果目标在探索过程中，本回合的奖励r比上回合的奖励r-相比要更高，将会把二者的差值作为奖励乘以一个系数加给本轮奖励r；距离差奖励公式如下： RA＝αrx+βry+δrz4 其中，rx、ry、rz分别是在i时刻时，当前位置的地心惯性坐标与目标点坐标的差值距离作为的奖励，α、β、δ分别是三轴奖励的上的权值，用来平衡奖励本身的平滑度，距离奖励本身是负奖励；另一方面，激励函数的具体公式： 其中，是激励函数的平衡系数，用来保证奖励的平滑度；在激励函数中，如果当前状态的奖励大于上一步状态的奖励就会给予当前奖励一个正奖励，反之，如果当前的状态下的奖励低于上一步的奖励，就会给予奖励一个负奖励作为提示； 综上，汇总成一个奖励函数，具体公式如下：

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江理工大学，其通讯地址为：310018 浙江省杭州市钱塘区白杨街道2号大街928号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。