买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国人民解放军陆军工程大学申请的专利一种基于元强化学习的卫星物联网在线资源联合分配方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115629540B 。

龙图腾网通过国家知识产权局官网在2025-08-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211247406.0，技术领域涉及：G05B13/04；该发明授权一种基于元强化学习的卫星物联网在线资源联合分配方法是由潘志松;胡谷雨;唐斯琪;白玮;祖家琛;郑义桀;夏士明设计研发完成，并于2022-10-12向国家知识产权局提交的专利申请。

本一种基于元强化学习的卫星物联网在线资源联合分配方法在说明书摘要公布了：一种基于元强化学习的卫星物联网在线资源联合分配方法，属于卫星通信领域。建立上行链路信道与功率资源联合分配模型；将上行链路资源联合分配问题建模为MDP过程；通过元强化学习方法训练在线信道选择与功率分配模型参数；每当新部署的LEO卫星发射升空，将训练得到的元强化学习参数分发给此LEO卫星；各LEO卫星微调Q值网络至收敛，利用迁移到本地真实太空环境的深度强化学习模型参数进行在线信道与功率资源联合分配。本发明借助元学习训练具有较强泛化能力的模型参数，有助于提高LEO星座实际部署中的星上收敛速度，降低训练所需计算资源开销的同时，减少了训练所需与实际系统的交互次数，延长了LEO卫星的正常服务时间。

本发明授权一种基于元强化学习的卫星物联网在线资源联合分配方法在权利要求书中公布了：1.一种基于元强化学习的卫星物联网在线资源联合分配方法，其特征在于包括如下步骤： 步骤一：基于历史数据为信道质量、终端数据传输所需环境信息构建近似模型，建立LEO卫星处上行链路信道与功率资源联合分配模型； 步骤二：将各LEO卫星处的上行链路资源联合分配问题建模为MDP过程； 步骤三：采用集中式训练的方式，通过元强化学习方法训练在线信道选择与功率分配模型参数； 具体过程为： 按照经典DRL的训练机制训练DRL-CAPC方法，即基于贝尔曼方程，通过目标网络Q′计算Q值的估计值即Q值估计值与Q网络预测值之间的均方误差为Lθ＝E[rt+γmaxQ′st+1,at+1|θ′-Qst,at|θ2]，其中rt为即时收益，γ为折扣因子，st为t时刻的状态信息，st+1为t+1时刻的状态信息，at为t时刻的信道分配与功率控制决策，at+1为t+1时刻的信道分配与功率控制决策； 将所有第一批部署的LEO卫星处损失进行平均，作为更新元参数的损失函数；通过梯度下降方法以此平均损失训练元参数Q值网络，更新参数，并更新目标网络Q′；训练流程如下： Step1参数初始化，令t＝0，初始化元学习值网络Q参数θ和目标网络Q′参数θ′，确定训练参数：ε贪心探索概率、折扣因子γ、优化周期T、批大小、观察次数和网络更新步长G； Step2各LEO卫星收集终端新产生请求，释放结束传输资源，将[t-1,t内新产生的终端数据传输请求放入集合将结束传输的终端移出并删除其信道占用；若至Step3，否则转至Step6； Step3分配决策，对每一终端请求，根据状态特征部分的特征组织步骤将状态信息st组织为张量形式作为Q值网络输入，得到动作值函数向量依据ε贪婪机制确定联合决策动作at，与环境交互根据计算rt，并感知环境变化st+1，将此次经验{st,at,rt,st+1}放入经验池； Step4训练参数，从经验池采样一批样本根据Lθ＝E[rj+γmaxQ′st+1,at+1|θ′-Qst,at|θ2]计算最小二乘损失，将所有LEO卫星处的损失求平均，得到平均损失并以此训练网络Q的参数θ； Step5更新目标网络；若达到更新步长G，则令θ′＝θ′； Step6若t＝T，结束并返回网络Q参数θ，否则令t＝t+1，转至Step2； 步骤四：在实际LEO星座运行过程中，每当新部署的LEO卫星发射升空，将步骤三中训练得到的元强化学习参数分发给此LEO卫星； 步骤五：各LEO卫星基于星上实际环境进行模型迁移，微调Q值网络至收敛； 步骤六：各LEO卫星利用迁移到本地真实太空环境的深度强化学习模型参数进行在线信道与功率资源联合分配。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国人民解放军陆军工程大学，其通讯地址为：210007 江苏省南京市秦淮区后标营路88号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。