上海交通大学孙嘉徽获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉上海交通大学申请的专利无人机群智感知调度方法、系统、设备及介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115729258B 。
龙图腾网通过国家知识产权局官网在2025-08-22发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211445408.0,技术领域涉及:G05D1/695;该发明授权无人机群智感知调度方法、系统、设备及介质是由孙嘉徽;金海明;范桂云设计研发完成,并于2022-11-18向国家知识产权局提交的专利申请。
本无人机群智感知调度方法、系统、设备及介质在说明书摘要公布了:本发明提供了一种无人机群智感知调度方法、系统、设备及介质,涉及群智感知和强化学习技术领域,包括:步骤S1:将无人机调度问题建模为带约束合作马尔科夫博弈,设计状态、动作、奖励和损失函数;步骤S2:设计一个多任务多智能体强化学习框架,使用通用策略处理相似的无人机感知任务,降低训练策略的计算复杂度和样本复杂度;步骤S3:提出原始‑对偶多智能体强化学习训练算法,在提升整体感知收益和减少每个任务的约束违反之间交替执行。本发明能够有效地联合制定移动、感知和充电决策,在充电预算的约束下,最大化无人机长期感知收益。
本发明授权无人机群智感知调度方法、系统、设备及介质在权利要求书中公布了:1.一种无人机群智感知调度方法,其特征在于,包括: 步骤S1:将无人机调度问题建模为带约束合作马尔科夫博弈,设计状态、动作、奖励和损失函数,求解一个最优的调度策略,在平台充电预算的约束下,最大化无人机长期感知收益; 步骤S2:设计一个多任务多智能体强化学习框架表示最优策略的神经网络结构,所述框架能够处理大量相似的无人机感知任务,降低训练策略的计算复杂度和样本复杂度; 步骤S3:提出原始-对偶多智能体强化学习训练算法,在提升整体感知收益和减少每个任务的约束违反之间交替执行; 步骤S4:将训练好的策略部署到无人机上;无人机将全局信息和局部观测输入到策略中,策略输出无人机下一时刻的移动方向和距离,以及移动过程中是否收集感知数据、是否进行充电;无人机执行策略输出的结果,重复这个过程直到整个决策过程结束; 所述步骤S3包括: 步骤S3.1:使用拉格朗日乘子法将原约束优化问题转化为如下的max-min问题: 其中,θ是策略Π的参数,是原始变量;是非负的对偶变量; 为解决max-min问题,设计一种迭代算法,该算法在θ上的梯度上升步骤和λ上的梯度下降步骤之间交替; 步骤S3.2:更新对偶变量; 在每次循环h中,对偶变量通过投影梯度下降更新为: 其中ηk是步长,Γ[·]是将每个对偶变量投影到[0,λmax]范围内的投影算子; 步骤S3.3:更新策略参数; 在每次循环h中,给定更新的对偶变量λh,通过随机梯度上升将Πh的参数从θh更新到θh+1: 其中,ρ是参数更新步长,是目标函数关于策略的梯度: 其中,Dk表示采样的集合,bk表示Dk中的采样之一,并且: 其中,和分别表示代理j∈N的奖励和成本相关的优势函数: 步骤S3.4:更新评论员网络参数; 在每次循环h中,通过最小化收集到的经验的TD误差,将智能体的奖励评论员网络的参数从更新到如下式所示: 其中,是智能体i的奖励状态值函数; 类似地,通过最小化智能体成本评论员网络的参数从ξh更新为ξh+1: 其中,是智能体i的损失状态值函数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人上海交通大学,其通讯地址为:200240 上海市闵行区东川路800号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。