买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江工业大学申请的专利一种基于深度强化学习的无人机辅助边缘卸载决策方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115309467B 。

龙图腾网通过国家知识产权局官网在2025-09-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210433511.7，技术领域涉及：G06F9/445；该发明授权一种基于深度强化学习的无人机辅助边缘卸载决策方法是由田贤忠;缪娉婷;许鹏程;孟慧骁设计研发完成，并于2022-04-24向国家知识产权局提交的专利申请。

本一种基于深度强化学习的无人机辅助边缘卸载决策方法在说明书摘要公布了：一种基于深度强化学习的无人机辅助边缘卸载决策方法，包括以下步骤：设置S个静态边缘服务器和N架携带存储设备的无人机；服务器上的任务以均值为λi,t的泊松分布到达，并以一定的概率pi,t卸载给服务器进行处理，剩下的则在无人机处理；建立以最小化任务完成时间和计算任务成本为优化目标的优化问题模型，并采用深度强化学习方法来求解该问题，得到最优的无人机数量分配方案以及服务器与无人机之间的卸载方案。本发明适用于服务器计算任务不均衡的移动边缘计算系统场景，可以根据边缘服务器的计算任务负载情况，合理部署无人机，制定合适的卸载决策。

本发明授权一种基于深度强化学习的无人机辅助边缘卸载决策方法在权利要求书中公布了：1.一种基于深度强化学习的无人机辅助边缘卸载决策方法，其特征在于，包括如下步骤： 步骤1：在交通网络中，部署S台边缘服务器，简称为服务器，表示服务器的集合；无人机数量为N架；无人机计算单位任务成本为costd，服务器计算单位任务的成本为costs；每一架无人机都部署在某一服务器的覆盖范围内，辅助服务器完成卸载任务，部署的情况表示为Gt＝[a1,t,a2,t,a3,t,…,aS,t]，ai,t表示在t时刻协助服务器i的无人机数量； 步骤2：每个时隙t服务器i的任务到达都服从均值为λi,t的泊松分布；让到达服务器i的任务以pi,t的概率选择服务器i来处理，则服务器端任务的到达速率为λi,tpi,t，无人机端任务的到达速率为λi,t1-pi,t，记pt＝[p1,t,p2,t,…,pS,t]； 步骤3：利用排队论计算任务在服务器处理时的逗留时间和任务在无人机处理时的逗留时间，逗留时间包括排队时间+处理时间，建立最小化任务完成时间和计算任务成本为目标的优化问题P1；任务在服务器端或者无人机端的逗留时间的计算方法如下： 1服务器端的计算任务平均队列长度；利用排队论MM1模型，可得服务器端的服务强度μs是服务器的处理速率，则服务器内的平均队列长度为 2服务器端的发送任务平均队列长度；是服务器与无人机之间的上行传输速率，w为无人机与服务器之间的带宽，Pi为服务器i的发射功率，gi为服务器i与无人机之间的信道增益，σ2为服务器i与无人机之间的噪声；是服务器端发送任务的强度，利用排队论MM1模型，服务器端的发送任务平均队列长度为 3无人机端的计算任务平均队列长度；利用排队论的的MMC模型， 是无人机端计算任务队列长度，其中 μd为无人机的处理速率； 4统计计算任务的总成本；无人机计算单位任务的成本为costd，服务器计算单位任务的成本为costs，计算任务在服务器端和无人机端计算的成本分别为和 更进一步地，步骤3中，任务完成时间和计算任务成本的表达式为： Ti,t,s表示任务在服务器i上的逗留时间，Ti,t,d,s表示任务卸载给无人机时的逗留时间，其中式1是权重因子的约束，式2是辅助的无人机数量的约束，式3是卸载的概率约束，式456是排队论中任务到达速度和处理速度之间的约束； 步骤4：采用深度强化学习的算法对步骤3中归纳的数学问题P1进行求解，从而得到单个时隙内无人机辅助方案Gt、计算任务卸载方案pt；所述的采用深度强化学习的算法对步骤3中归纳的数学问题P1进行求解的步骤为： 步骤4.1：根据时隙之间的独立性以及服务器之间的独立性，将优化问题P1转化为问题P2； 步骤4.2：通过随机方法初始化两个DNN的网络参数θa,1和θp,1，用网络参数来产生部署决策和卸载决策；初始化两个空的Memory，用来存放经过训练后得到的历史经验； 步骤4.3：选择SoftPlus函数作为第一个DNN网络的隐藏层的激活函数，SoftMax函数作为其输出层函数；每个时隙的任务到达速率λt作为其输入，其输出为其中表示通过网络参数θa,t在第一个DNN网络中对于λt状态的映射函数； 步骤4.4：选择ReLu作为第二个DNN网络的隐藏层的激活函数，sigmoid函数作为输出层函数；将第一个DNN网络输出得到的作为输入，输出为 其中表示通过网络参数θp,t在第二个DNN网络中对于状态的映射函数； 步骤4.5：上述步骤中得到的和为松弛向量，即并不一定是对应状态的最优决策，于是将该时刻的λt和松弛向量和内的元素进行升序排列得到和将中的每一个元素与和中的元素进行遍历计算P2的最小值得到每个服务器的无人机数量Gt*和卸载决策 步骤4.6：把步骤4.5中和得到的Gt*添加到第一个DNN网络的Memory里，Gt*和添加第二个DNN的Memory中；如果Memory已满，就用最新的Gt*和替换Memory中最旧的数据；每当时隙数量达到训练间隔δ时，从Memory中联合取出一批数据作为训练样本集和 为一组时间指数； 步骤4.7：用和分别训练两个DNN，并且使用Adam算法更新优化训练参数θa,t和θp,t； 步骤4.8：重复步骤4.3-步骤4.7，直到迭代次数达到限定值M； 步骤4.9：利用训练好的深度强化学习网络求出每个时隙无人机部署和卸载方案。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江工业大学，其通讯地址为：310014 浙江省杭州市拱墅区潮王路18号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。