北京邮电大学张琦获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京邮电大学申请的专利一种分域星上路由决策与波长分配优化方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116232425B 。
龙图腾网通过国家知识产权局官网在2025-06-24发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211728694.1,技术领域涉及:H04L45/00;该发明授权一种分域星上路由决策与波长分配优化方法是由张琦;李元锋;陈东;姚海鹏;钱晋希;刘亮;陶滢;田凤;田清华;王富;柴芙蓉;孙梦;陶宇航设计研发完成,并于2022-12-30向国家知识产权局提交的专利申请。
本一种分域星上路由决策与波长分配优化方法在说明书摘要公布了:本申请提供卫星卫星通信技术领域中的一种分域星上路由决策与波长分配优化方法。在卫星通信路由与波长分配技术领域中,现有技术一般集中式路由与波长分配方法,这些集中式路由与波长分配方法虽然可以在理论上寻找到路由最优解,有效减小路由阻塞率并极大提高网络吞吐量,但实际上随着卫星网络规模逐渐扩大,卫星网络全局信息的获取也成为了难题,这些算法并不能实际应用于大规模卫星网络中。本方法创新地提出了分域星上路由决策与波长分配优化方法,以分域的形式对卫星网络分布式管控,提出了基于独立分层多智能体深度强化学习的路由决策优化,减小了网络状态信息获取难度,同时采用信息素机制维持相邻域的网络信息沟通,提高了卫星网络路由与波长分配成功率,有效提高网络链路利用率。
本发明授权一种分域星上路由决策与波长分配优化方法在权利要求书中公布了:1.一种分域星上路由决策与波长分配优化方法,其特征在于,该方法包括如下步骤: 第一步:将整个低轨卫星星座按曼哈顿街区网络划分为若干个域,每个域布置一个软件定义网控制器,作为该域的路由域波长分配决策控制器;当一个业务到来时,所属域将会根据业务的源节点和目的节点的路由器地址进行纯分布式的域内路由或跨域路由决策,在每个域内的控制器储存了该域内每对节点之间路由路径与波长若干种预方案; 第二步:每个域的软件定义网控制器采用基于独立分层多智能体深度强化学习的路由决策优化;其特征在于,提出了分层路由决策架构;将每个域的软件定义网控制器拆分为两个不同的模块,其分别为域内路由控制器和域间路由控制器;域内路由控制器仅负责对于域内路由业务的优化,对于跨域路由业务,则需要域间路由控制器;跨域路由控制器负责对于跨域路由业务的优化,它本身并不直接负责路由决策的发出,而是为域内路由控制器指定跨域路由链路,并将路由业务通过该跨域路由链路传送至邻接域; 所述基于独立分层多智能体深度强化学习的路由决策,实施于低轨卫星星座的每个域内,其每个域内的工作原理包括,将低轨卫星路由决策任务抽象为马尔可夫决策过程,即状态-动作-环境变化-奖励反馈的马尔可夫链;首先域内路由控制器观察出所属域内的网络状态;其网络状态包含所属域内的所有链路的链路距离D、剩余波长容量B、多普勒频移λ、路由占用标记为P;域间路由控制器观察所属域的域间链路网络状态和域内链路的负载模糊分布,代表将域内卫星网络划分为几个大域后每个域内的综合资源分布;B代表跨域链路的波长资源分布;D代表跨域链路的链路距离分布;λ代表跨域链路的多普勒频移分布;P代表跨域链路的信息素浓度分布,代表相邻域的跨域链路质量,R代表根据相邻域的跨域路由表在跨域链路的标记符;当一个路由业务到来时,控制器将首先判断是否为跨域路由业务,当判断为域内路由业务,则只有域内路由控制器负责路由决策输出;首先域内路由控制器通过观察域内网络状态;将几条备选的路由方案在网络观察状态的路由占用标记位进行标记,并将每个标记好的备选路由方案输入值图神经网络中,根据式(1)图神经网络的输出值为不同路由路径的评分; (1) 内路由控制器根据贪婪公式,选择当前评分最高的路由路径作为路由策略进行输出;低轨卫星网络根据策略进行路由转发,采用首次匹配法分配波长,并根据实际转发情况对域内路由控制器反馈奖励值R',如式(2)所示,为所选路径的最小剩余波长资源与域中最大波长资源的比值 (2) 当判断为跨域路由业务时,分别由域内路由控制器和跨域路由控制器对域内链路和跨域链路进行网络状态获取并观察,首先,由跨域路由控制器根据路由业务的目的节点,读取跨域路由表,将跨域链路符合跨域路由表的链路在R位置进行标记;跨域控制器根据公式(1)计算每个跨域链路的动作状态价值,并输出动作价值最高的链路作为跨域链路的选择,在跨域控制器输出跨域路由决策后环境不会立刻反馈给跨域路由控制器奖励值和后续网络状态,而是先将跨域路由决策交给域内路由控制器,根据跨域路由控制器输出的域内边缘卫星网络节点,作为域内路由的子目的节点,生成一条域内路由;在跨域路由控制器和域内路由控制器都输出各自的路由决策后,将联合路由决策交给卫星互联网;卫星互联网根据路由决策对路由业务进行跨域转发,并根据路由转发,采用首次匹配法分配波长结果;其跨域奖励为,如式(3)所示: 3 其跨域奖励不光和跨域路由决策本身有关,也与在跨域路由决策后,域内路由决策质量有关; 第三步:在每次跨域路由进行决策并转发后,需要根据路由转发,采用首次匹配法分配波长情况更新跨域链路信息素;考虑到卫星网络控制可以适应大规模低轨卫星星座,采用扁平式SDN部署架构,每个SDN控制器只可观测本域的链路状态,SDN控制器只与相邻的控制器通过异步通信共同维护其共同所属的跨域链路信息素分布;跨域链路的信息素是若干种会影响路由成功率的网络因素的函数计算,包括链路负载、链路是否连通和链路多普勒频移;信息素机制是指仅在网络中的跨域链路上分布信息素,信息素用于指导相邻SDN控制器选择质量更高的跨域链路作为路由链路,控制器会在一定的时间间隔内更新所属跨域链路的信息素分布;信息素的具体更新规则如下所述: 1、在每一个更新间隔内,如果一个跨域链路相邻的链路存在链路断开,则该跨域链路会增加定量信息素; 2、在每一个更新间隔内,如果一个跨域链路相邻的链路存在多普勒频移超过阈值,则该跨域链路会增加定量信息素; 3、在每一个更新间隔内,如果有路由经过一个域,则域内所有的跨域链路增加定量信息素; 4、在每一个更新间隔内,如果有路由经过一个域,所经过的跨域链路会额外增加定量信息素; 5、在每一个时间间隔后,所有跨域链路按照比例进行信息素蒸发,以避免信息素无限累积;跨域链路信息素越少,链路质量越高; 6、在路由失败后,所选择的跨域链路信息素会增加; 第四步,重复第二和第三步,对跨域路由控制器和域内路由控制器进行训练,使其奖励曲线训练到收敛。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京邮电大学,其通讯地址为:100876 北京市海淀区西土城路10号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。