买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉重庆邮电大学申请的专利基于深度强化学习的完全分布式路由方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116248164B 。

龙图腾网通过国家知识产权局官网在2026-03-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211624634.5，技术领域涉及：H04B7/185；该发明授权基于深度强化学习的完全分布式路由方法和系统是由许国良;赵艳云;冉永屹设计研发完成，并于2022-12-16向国家知识产权局提交的专利申请。

本基于深度强化学习的完全分布式路由方法和系统在说明书摘要公布了：本发明涉及基于深度强化学习的完全分布式路由方法和系统，属于卫星网络动态技术领域。该方法以邻居节点的剩余能量、目的卫星坐标、邻居节点接收队列长度，邻居节点坐标以及当前节点发送队列长度作为状态输入智能决策下一跳，其主要步骤包括：首先，对每颗卫星建立了一个部分可观测的马尔可夫决策过程模型，其中只需要相邻卫星的空间位置、排队状态以及剩余能量。其次，提出了一种基于多智能体深度强化学习的完全分布动态路由方法，推导最优路由策略。

本发明授权基于深度强化学习的完全分布式路由方法和系统在权利要求书中公布了：1.基于深度强化学习的完全分布式路由方法，其特征在于：该方法包括以下步骤： 步骤1：建立LEO卫星网络中完全分布式路由的系统模型和通信模型； 步骤2：建立LEO卫星网络中完全分布式路由的能量消耗、传播时延和排队时延模型； 步骤3：构造LEO卫星网络的能量消耗、传播时延和排队时延最小化的目标函数；计算式为： 其中，表示加权因子，表示卫星剩余能量；B表示卫星初始能量，即电池容量；表示链路ij的能量状态；表示链路平均交付时延；n表示邻居节点卫星数量；表示卫星j的剩余能量，表示数据包集合，k表示数据包索引，表示权重系数，用于调整排队时延项在时延计算中的贡献；表示权重系数，用于调整传播时延项在时延计算中的贡献；vi表示卫星网络中的节点i，表示数据包k从源到目的路径上的节点集合，表示数据包k在t时刻在节点i处的排队时延，表示卫星网络中的边或链路i，表示数据包k从源到目的路径上的链路集合，表示数据包k在t时刻在链路ij上的传播时延；表示所有邻居卫星剩余能量Ri的总和；所述传播时延为当前卫星到下一跳传播所需要花费的时间；所述排队时延为数据包在卫星的输入队列和输出队列中排队等待的时间；所述能量消耗为卫星转发数据消耗的能量，包括数据发送能耗、数据接收能耗、以及卫星维持正常运行的能耗； 步骤4：计算每个数据包的候选下一跳到目的卫星的预估剩余传播时延； 步骤5：根据用户业务需求构建以当前卫星四个发送队列长度、邻居卫星节点接收队列长度、当前数据包的目的卫星坐标、邻居卫星节点距目的卫星节点的剩余预估时延、当前节点剩余能量以及邻居卫星节点剩余能量为状态的状态空间； 步骤6：使用GAT架构合并每个agent之间的关系信息，从而获取到全局隐藏特征；具体为：获取所述状态空间中的状态，其中状态包括当前卫星四个发送队列长度、邻居卫星节点接收队列长度、当前数据包的目的卫星坐标、邻居卫星节点距目的卫星节点的剩余预估时延和当前节点剩余能量以及邻居卫星节点剩余能量，通过将这些状态与输入图的不同元素相关联，通过迭代消息传递算法更新元素的状态，并使用结果状态产生输出；为同一节点及其邻居计算的消息使用元素求和进行聚合，通过聚合信息更新隐藏状态，重复相同的过程对所有链接的邻居通过迭代得到全局隐藏信息； 步骤7：对照所述目标函数构建行动空间中每个动作对应的奖励函数，其中所述行动空间表示当前卫星的下一跳候选卫星节点，即邻居卫星；所述奖励函数为： 其中，,表示加权因子，表示总传输时延，表示排队时延，表示传播时延，表示链路i,j的能量，表示卫星i在t时刻的链路剩余能量，表示卫星i在t时刻的能量消耗，表示卫星i在t时刻获得的能量；表示与距离相关的成本项，表示卫星维持正常运行的能耗，表示卫星发送数据消耗的能量，表示卫星接收数据消耗的能量，表示卫星正常运行功率，表示卫星数据发送功率，表示卫星数据接收功率，表示时隙长度，表示卫星i在时刻t的充电功率，表示时间阈值； 步骤8：在每个时刻，agent与环境交互会得到一个局部的观察，利用GAT通过合并agent信息将得到的局部观察转变为全局信息特征表示，将得到的特征表示驶入深度强化学习模型的Q估计网络中，计算所述行动空间中各个动作的Q值；基于预期回报来评价各个动作的价值函数，并通过贪婪策略进行智能决策，即以概率随机选择一个动作作为下一跳卫星节点，以概率选取Q值最大的动作作为下一跳卫星节点； 步骤9：环境对此动作做出反应，并得到一个即时奖励和下一时刻状态，将状态、路由决策、奖励函数和下一时刻状态存储到经验池中，从经验池中随机选择小批量样本batch进行训练，得到估计Q值和目标Q值，依据损失函数和梯度下降更新深度强化学习模型的Q估计网络和Q目标网络的参数并通过不断循环以上过程至深度强化学习模型收敛，利用收敛后的深度强化学习模型来智能决策LEO卫星网络的最优下一跳。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人重庆邮电大学，其通讯地址为：400065 重庆市南岸区黄桷垭崇文路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。