买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜重庆邮电大学申请的专利一种移动边缘计算中基于强化学习的服务迁移方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114339879B 。

龙图腾网通过国家知识产权局官网在2025-06-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111492744.6，技术领域涉及：H04W28/02；该发明授权一种移动边缘计算中基于强化学习的服务迁移方法是由何利;刘浩东设计研发完成，并于2021-12-08向国家知识产权局提交的专利申请。

本一种移动边缘计算中基于强化学习的服务迁移方法在说明书摘要公布了：本发明请求保护一种移动边缘计算中基于强化学习的服务迁移方法，包括下列主要步骤：S1，基于用户任务所处服务器位置、用户当前所处区域位置以及处理任务服务器负载构建奖励函数；S2，基于用户当前所处位置，之前移动方向以及迁移决策构建状态转移矩阵；S3，基于奖励函数和状态转移矩阵，使用价值迭代算法进行迁移决策制定；S4，基于路由之间的时延消耗和网络消耗做规范化处理来赋值链路消耗；S5，基于规范化后的链路消耗，使用强化学习算法进行路径选择并自适应地更新链路选择以适应动态网络的链路变化。本发明引入移动预测使模型更加符合实际场景；使用强化学习求解动态网络环境下自适应的服务迁移路径。

本发明授权一种移动边缘计算中基于强化学习的服务迁移方法在权利要求书中公布了：1.一种移动边缘计算中基于强化学习的服务迁移方法，其特征在于，包括以下步骤： S1，根据用户任务所处服务器位置、用户当前所处区域位置以及当前处理任务的服务器负载构建奖励函数； S2，根据用户当前所处位置，之前移动方向以及迁移决策构建状态转移矩阵； S3，根据所述奖励函数和所述状态转移矩阵，使用价值迭代算法进行迁移决策制定； S4，根据路由之间的时延消耗和网络消耗做规范化处理来赋值链路消耗； S5，根据规范化后的链路消耗，使用Sarsa强化学习算法进行路径选择并自适应地更新链路选择以适应动态网络的链路变化； 所述根据用户任务所处服务器位置、用户当前所处区域位置以及处理任务服务器负载构建奖励函数，具体包括： S11使用用户距离处理任务服务器的距离dt和处理任务服务器的负载ht构建用户服务满意度函数； S12使用用户距离处理任务服务器的距离dt构建迁移消耗函数； S13使用服务满意度函数和迁移消耗函数的加权和作为奖励函数； 所述使用用户距离处理任务服务器的距离和处理任务服务器的负载构建用户满意度c1st,at，具体公式为： c1st,at＝D-μ1dt-μ2ht 其中，D表示用户能够获得最大服务满意度，dt表示用户t时刻距离处理任务服务器的距离，ht表示t时刻处理任务的服务器负载情况，μ1和μ2是比例系数，表示距离和负载对于用户服务满意度的影响程度；dt通过计算用户当前位置lt＝xt,yt与处理任务服务器位置ls＝xs,ys的欧式距离获得； 使用用户距离处理任务服务器的距离dt构建迁移消耗函数c2st,at： c2st,at＝μ3+μ4dt 其中，使用距离dt的线性函数表示迁移消耗，μ3表示常数消耗，μ4表示距离的影响系数； 使用用户服务满意度函数和迁移消耗函数的加权和作为奖励函数rs,a： 其中，a表示迁移决策，a＝0表示不进行迁移，a＝1表示进行迁移； dmax表示任务被处理所允许的最大距离，超出该距离会有极大的惩罚M； 所述根据用户当前所处位置，之前移动方向以及迁移决策构建状态转移矩阵，包括： S21记录用户当前所处位置以及用户前一时刻移动方向； S22不同的移动方向会对用户接下来的移动轨迹产生影响，用户的移动模型为用户有较大的概率不改变方向，较小的概率改变方向； S23基于用户的移动模型与迁移决策，决定下一时刻用户的状态； 所述记录用户前一时刻移动方向zt，使用用户当前所处位置lt与之前移动方向zt表示用户目前状态st＝xt,yt,zt； 所述不同的移动方向zt会对用户接下来的移动轨迹产生影响，用户在下一时序有较大的概率p保持移动方向zt不变并到达位置同时，用户在下一时序有较小的概率改变移动方向为或并到达位置或 基于用户的移动模型与迁移决策，确定状态转移概率Ps'|s,a： 其中，表示在迁移后用户与处理任务的服务器处于同一位置；表示迁移后用户移动方向不变，同时不迁移时有p的概率用户移动方向不变； 根据所述奖励函数和所述状态转移矩阵，使用价值迭代算法进行迁移决策制定，包括： S31随机初始化用户在不同位置不同移动方向下的状态价值函数vs； S32基于贝尔曼最优方程使用上一迭代周期的状态价值函数值更新下一迭代周期的状态价值函数值，具体公式为： 其中，vk+1s表示第k+1个迭代周期状态s所对应的状态价值函数，表示状态s选取动作a所获得的奖励，表示状态s选取动作a到达状态s'的概率，vks'表示第k个迭代周期状态s'所对应的状态价值函数； S33重复步骤S32，直至不同位置不同方向下的状态价值函数均收敛； 所述根据路由之间的时延消耗t和网络消耗p做规范化处理来赋值链路消耗c的方法包括步骤： 记录链路中传输所需要的时延消耗t以及网络消耗p； 对二者进行均一化处理后加权求和赋值链路消耗c： ci＝ωtti+ωppi 其中，ti和pi表示每条链路对应时延消耗和网络消耗，表示链路时延消耗的最小值，表示链路时延消耗的最大值，表示链路网络消耗的最小值，表示链路网络消耗的最大值；ωt和ωp分别表示时延消耗与网络消耗的加权系数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人重庆邮电大学，其通讯地址为：400065 重庆市南岸区南山街道崇文路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。