买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉长沙理工大学;成都工业学院申请的专利基于深度强化学习的构网型柔性直流输电系统控制方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119482634B 。

龙图腾网通过国家知识产权局官网在2025-10-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411376611.6，技术领域涉及：H02J3/36；该发明授权基于深度强化学习的构网型柔性直流输电系统控制方法是由周洋;郭晨洋;周松林;黄孙华;曹一家;马瑞;龙卓设计研发完成，并于2024-09-30向国家知识产权局提交的专利申请。

本基于深度强化学习的构网型柔性直流输电系统控制方法在说明书摘要公布了：本申请涉及柔性直流输电系统技术领域，特别是涉及一种基于深度强化学习的构网型柔性直流输电系统控制方法，包括建立构网型柔性直流输电系统控制模型，基于构网型柔性直流输电系统控制模型建立马尔科夫决策过程，采用双池‑双延迟深度确定性策略梯度算法训练智能体，智能体通过对虚拟同步控制模型中的P‑f控制回路提供附加功率输入值，提高构网型柔性直流输电系统的稳定性。该方法引入了双值函数网络，利用双值函数网络中较小的Q值来计算目标值，可以避免对某些状态‑动作对价值的过度估计，提高了VSG系统的整体稳定性。

本发明授权基于深度强化学习的构网型柔性直流输电系统控制方法在权利要求书中公布了：1.一种基于深度强化学习的构网型柔性直流输电系统控制方法，其特征在于，所述方法包括： 步骤S1，建立构网型柔性直流输电系统控制模型；所述构网型柔性直流输电系统控制模型包括电压电流双闭环控制模型和虚拟同步控制模型； 所述步骤S1包括： 步骤S11，获取构网型柔性直流输电系统主电路的电压回路方程；所述电压回路方程为： 式中，R表示线路的电阻，isn表示换流器的输出电流，L表示线路的电抗，en表示电网的电压，Uno表示换流器的输出电压，n＝A，B，C； 步骤S12，对所述电压回路方程进行dq变换和拉普拉斯变换后得到所述电压电流双闭环控制模型；所述电压电流双闭环控制模型的表达式为： 式中，s为拉普拉斯算子，id为三相电流在旋转坐标系下d轴的分量，iq为三相电流在旋转坐标系下q轴的分量，ud为三相电压在旋转坐标系下d轴的分量，uq为三相电压在旋转坐标系下q轴的分量，ed为电网电压在旋转坐标系下d轴的分量，eq为电网电压在旋转坐标系下q轴的分量，L为线路电感，ω为虚拟同步发电机的机械角速度； 所述虚拟同步控制模型包括虚拟同步发电机的机械方程和虚拟励磁器控制方程；所述步骤S1还包括： 步骤S13，建立所述虚拟同步发电机的机械方程和所述虚拟励磁器控制方程；其中，所述虚拟同步发电机的机械方程为： 式中，J是虚拟同步发电机的转动惯量，ω0为电网的同步角速度，Pm为虚拟同步发电机的机械功率，Pe为虚拟同步发电机的电磁功率，Tm为机械转矩，Te为电磁转矩，Td为阻尼转矩，D为阻尼系数，δ为转子角度； 所述虚拟励磁器控制方程的数学表达式为： 式中，E为虚拟电动势，E0为空载电动势的设定值，U为实际计算电压值，Un为额定电压值，Qref为无功功率的参考值，Qe为实际无功功率；为无功功率积分系数； 步骤S2，基于所述构网型柔性直流输电系统控制模型建立马尔科夫决策过程； 步骤S3，采用双池-双延迟深度确定性策略梯度算法训练智能体，所述智能体通过对所述虚拟同步控制模型中的P-f控制回路提供附加功率输入值，提高构网型柔性直流输电系统的稳定性；其中，所述双池-双延迟深度确定性策略梯度算法包括成功经验池和失败经验池，所述智能体按照预定比例从所述成功经验池和所述失败经验池中随机采样经验元组进行训练； 所述步骤S3包括： 步骤S31，获取经验元组xt，at，rt，xt+1和折扣因子γ，根据公式 计算目标Q值；式中，yt为t时刻的目标Q值，表示动作价值函数，xt+1表示t+1时刻的状态，表示目标策略网络生成的t+1时刻的动作，i＝1，2； 步骤S32，根据所述目标Q值，以最小化价值网络均方误差损失函数为目标，对价值网络的参数进行梯度下降更新，即 式中，αQ为所述价值网络的学习率，为梯度算子，Kwi为所述价值网络均方误差损失函数；其中，所述价值网络均方误差损失函数的表达式为： 式中，D为经验回放缓冲区；wi表示价值网络Qi的参数，i＝1，2；表示参数为wi的价值网络所计算的Q值； 步骤S33，基于所述价值网络的参数更新目标价值网络的参数，即 w′i←τwi+1-τw′i 式中，w′i为所述目标价值网络的参数，i＝1，2；τ为软更新系数，取值范围为0,1； 步骤S34，以最大化预期累计奖励函数为目标，对策略网络的参数θ进行梯度下降更新，即 式中，απ为所述策略网络的学习率，Hθ为所述预期累计奖励函数；其中，所述预期累计奖励函数的表达式为： 式中，Qθxt,πθxt表示在状态xt下执行动作πθxt后的期望总回报，πθxt表示参数为θ的策略网络在状态xt下生成的动作； 步骤S35，基于所述策略网络的参数更新目标策略网络的参数，即 θ'←τθ+1-τθ' 式中，θ′为所述目标策略网络的参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人长沙理工大学;成都工业学院，其通讯地址为：410000 湖南省长沙市天心区长沙理工大学云塘校区(长沙市天心区万家丽南路2段960号)；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。