中国电子科技集团公司第二十八研究所唐岚获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中国电子科技集团公司第二十八研究所申请的专利一种基于多智能体强化学习的机场滑行智能调度方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116402273B 。
龙图腾网通过国家知识产权局官网在2025-11-18发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310183386.3,技术领域涉及:G06Q10/0631;该发明授权一种基于多智能体强化学习的机场滑行智能调度方法是由唐岚;梁永胜;黄泓毓;丁辉;付胜豪;董斌;王凯设计研发完成,并于2023-03-01向国家知识产权局提交的专利申请。
本一种基于多智能体强化学习的机场滑行智能调度方法在说明书摘要公布了:本发明提供了一种基于多智能体强化学习的机场滑行智能调度方法,包括:步骤1,接收机场场面上每架飞机的状态信息;步骤2,使用基于集中式学习分布式执行框架的多智能体强化学习算法对所有飞机的状态信息进行分布式策略训练,获得场面上的每一架飞机的分布式策略;步骤3,根据生成的分布式策略为对应的飞机选择动作,并发送至场面上的飞机,场面上的飞机根据分布式策略生成的动作进行滑行;步骤4,执行步骤1至步骤3重复上述学习过程,最终所有的飞机都能够在避免滑行冲突的前提下,按照最优路径轨迹进行滑行。该方法可以根据机场场面信息决定每架飞机的移动方向和移动速度,在避免冲突的条件下,最小化飞机的滑行时间。
本发明授权一种基于多智能体强化学习的机场滑行智能调度方法在权利要求书中公布了:1.一种基于多智能体强化学习的机场滑行智能调度方法,其特征在于,包括以下步骤: 步骤1,接收机场场面上每架飞机的状态信息,所述状态信息包括所述飞机当前时刻的位置信息、上一时刻的位置信息和滑行终点位置信息; 步骤2,使用基于集中式学习分布式执行框架的多智能体强化学习算法对所有飞机的状态信息进行分布式策略训练,获得场面上的每一架飞机的分布式策略; 步骤3,根据生成的分布式策略为对应的飞机选择动作,将每架飞机对应的动作发送给场面上的飞机,场面上的飞机根据分布式策略生成的动作进行滑行; 步骤4,重复执行上述步骤1至步骤3学习过程,最终所有的飞机都能够在避免滑行冲突的前提下,按照最优路径轨迹进行滑行; 步骤2具体包括: 步骤2-1,设置每架飞机在t时刻的奖励函数; 步骤2-2,在每个时刻的初始阶段,基于全局状态使用分布式策略给对应的飞机,选择一个动作,表示机场场面内所有飞机的集合,并将得到的动作发送给场面上对应的飞机让其执行;假设通过与所有飞机之间的通信,获得每一架飞机的,从而获得场面上所有飞机整体的;其中表示时刻下场面上所有飞机的全局状态信息,表示环境全部的状态信息的集合,所有的飞机共享同一个奖励函数;表示机场场面在时刻下所有飞机采取的动作集合;在获得场面上所有飞机整体的状态信息后,通过集中式学习为每架飞机生成用以控制滑行调度的分布式策略;集中式学习是基于采样轨迹来实现的,其中表示采样长度;对于第架飞机,对应的分布式策略是,令折扣奖励为,其中为折扣因子,为当前时刻与时刻的时间差,如果用表示联合策略,状态价值函数定义为: 5 其中表示时刻下场面上所有飞机的全局状态信息,表示在下使用策略得到的一系列状态转移轨迹累积奖励的期望; 优势函数定义为: 6 其中; 步骤2-3,更新每架飞机的分布式策略,具体包括: 令表示初始状态的分布,定义强化学习的期望奖励函数为: 7 其中,表示在下使用策略得到的状态价值函数值的期望; 最大化期望奖励函数得到: 8 令,公式8转化为: 9 10 其中,表示第架飞机的分布式策略的参数,表示第架飞机更新后的策略和更新前旧策略的比值,表示当前联合策略,第架飞机的当前联合策略是参数的可微函数,是参数的可微函数,表示对求期望;剪裁函数将限制在区间内,为给定的常数,;N为飞机的总数; 通过策略迭代法求解公式9,函数的梯度为: 11 其中,表示所有分布式策略参数的集合,因此每一架飞机的策略的梯度为: 12 使用梯度来更新每个策略: 13 其中表示采样平均,表示对参数求梯度,表示在t时刻第i架飞机更新后的策略和更新前旧策略的比值,是的估计值。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国电子科技集团公司第二十八研究所,其通讯地址为:210007 江苏省南京市秦淮区苜蓿园东街1号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励