南京理工大学;江苏第二师范学院李骏获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉南京理工大学;江苏第二师范学院申请的专利一种基于扩散模型和强化学习的基站节能调控方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119277491B 。
龙图腾网通过国家知识产权局官网在2025-09-19发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411422828.6,技术领域涉及:H04L41/16;该发明授权一种基于扩散模型和强化学习的基站节能调控方法是由李骏;李佳恒;倪艺洋;夏鹏程;金石;时龙设计研发完成,并于2024-10-12向国家知识产权局提交的专利申请。
本一种基于扩散模型和强化学习的基站节能调控方法在说明书摘要公布了:本发明公开了一种基于扩散模型和强化学习的基站节能调控方法,属于通信领域,具体包括以下步骤:步骤S1:构建流量动态变化的模拟基站环境;步骤S2:结合扩散模型的特点设计强化学习的策略网络;步骤S3:设计强化学习的奖励函数;步骤S4:在步骤S1构建的模拟基站环境中训练扩散模型,使扩散模型根据观测情况做出动态决策。本发明构建了一个能够反映用户流量动态变化的模拟场景,并将模型在该场景下进行迭代训练,在这个场景中,模型将经历一系列的迭代训练,以适应复杂且不断变化的流量环境,做出动态的节能控制决策。本发明在节能方面表现优异,并且维持了一定水平的用户服务质量。
本发明授权一种基于扩散模型和强化学习的基站节能调控方法在权利要求书中公布了:1.一种基于扩散模型和强化学习的基站节能调控方法,其特征在于:具体包括以下步骤: 步骤S1:构建流量动态变化的模拟基站环境; 步骤S2:结合扩散模型的特点设计强化学习的策略网络; 步骤S3:设计强化学习的奖励函数; 步骤S4:在步骤S1构建的模拟基站环境中训练扩散模型,使扩散模型根据观测情况做出动态决策; 在步骤S1中,流量动态变化指的是将流量建模为泊松过程,建模过程中,用户设备UE请求单个网络流,将流量建模为具有平均到达率为λt的泊松过程,平均到达率λt为在时间步dt中在区域中生成新UE的概率,λt遵循以下等式: 其中St为区域流量时间密度,dt为固定时隙,xmax为用户需求大小,PX=k为泊松分布概率,k为到达的用户数量,e为自然常数,k!为阶乘运算,X表示概率变量,λt k表式幂运算; 在步骤S2中,具体步骤包括: 步骤S21:将扩散模型的反向去噪过程作为强化学习中策略网络输出动作的过程,对于每一个状态,策略网络将高斯分布通过扩散模型的去噪过程来恢复策略的输出动作分布; 步骤S22:将扩散模型的前向加噪过程建模成强化学习中策略网络训练的过程,将原始动作加噪成高斯分布,再经过上述的前向加噪过程采样出动作分布,根据损失函数进行梯度下降训练; 步骤S23:基于基站控制动作离散的特点对策略网络的损失函数进行重新设计,将扩散模型部分的损失记为Ldθ,定义为: 其中θ代表神经网络优化的参数,∈代表扩散模型中的噪声估计,代表离散集合上的均匀分布,i代表此集合中的一个元素,代表标准正态分布,s代表状态,a代表动作;代表对满足条件的集合中元素求期望,∈θ代表噪声预测值,代表第i步中预测噪声的权重系数; 设计策略损失正则项避免模型陷入单峰策略,记为LHθ: 其中,H代求熵操作,πθ代表策略,Qθ代表Q值估计,α表示温度系数,代表代表对满足条件的集合中元素求期望,πt代表t时刻的策略网络输出,st代表t时刻的状态; 基于扩散模型的强化学习的策略网络的训练目标为: 其中Ldθ为训练扩散模型的噪声估计损失函数,LHθ为上文中定义的策略损失正则项; 在步骤S3中,设计强化学习的奖励函数,具体包括以下步骤: S31:定义对于用户设备UEuk的QoS奖励rqos,k: 式中,ρk代表的是用户设备UEuk实际速率与所需速率的比值; S32:定义功耗的奖励函数rpc: rpc=-pc; 式中,pc为总能耗,kw; S33:动作间隔内,奖励R定义为: 式中,α和β为QoS奖励和功耗奖励的权重系数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京理工大学;江苏第二师范学院,其通讯地址为:210094 江苏省南京市玄武区孝陵卫街道孝陵卫街200号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励