基于深度强化学习的有源配电网电压分层控制策略

doi:10.12096/j.2096-4528.pgt.23029

基于深度强化学习的有源配电网电压分层控制策略

杜婉琳¹, 王玲¹, 罗威², 朱远哲¹, 吕鸿¹, 马潇男³, 周霞³

1.广东电网有限责任公司电能质量重点实验室(广东电网有限责任公司电力科学研究院)，广东省广州市 510080

2.广东电网有限责任公司梅州供电局，广东省梅州市 514021

3.南京邮电大学自动化学院、人工智能学院，江苏省南京市 210023

Voltage Hierarchical Control Strategy of Active Distribution Network Based on Deep Reinforcement Learning

DU Wanlin¹, WANG Ling¹, LUO Wei², ZHU Yuanzhe¹, LÜ Hong¹, MA Xiaonan³, ZHOU Xia³

1.Key Laboratory of Power Quality of Guangdong Power Grid Co. , Ltd. (Electric Power Research Institute of Guangdong Power Grid Co. , Ltd. ), Guangzhou 510080, Guangdong Province, China

2.Meizhou Power Supply Bureau of Guangdong Power Grid Co. , Ltd. , Meizhou 514021, Guangdong Province, China

3.College of Automation & College of Artificial Intelligence, Nanjing University of Posts and Telecommunications, Nanjing 210023, Jiangsu Province, China

收稿日期: 2023-08-26 修回日期: 2023-10-18

基金资助:

国家自然科学基金项目. 52207009
南方电网公司科技项目. GDKJXM20200331

Received: 2023-08-26 Revised: 2023-10-18

作者简介 About authors

杜婉琳(1985)，女，硕士，高级工程师，电力系统分析技术，2788829207@qq.com；

马潇男(1999)，男，硕士研究生，主要研究方向为配电网运行技术、电压管理，344717084@qq.com；

周霞(1978)，女，博士，副教授，从事电力通信、电力系统分析与控制研究，本文通信作者，zhouxia@njupt.edu.cn。

摘要

目的分布式电源发电的随机性和波动性，给有源配电网(active distribution network，ADN)的电压控制带来了严峻的挑战，在此背景下，亟需一种高效的电压控制策略来保证ADN的安全运行。方法基于深度强化学习方法，提出了一种双层区域配电网电压控制策略。首先，以调压设备的调节特性和可控元素复杂化的特点为前提，针对ADN辐射网架结构，设计了区域协调控制区域和本地自治控制区域，分别构建每个区域的电压控制模型；然后，通过深度Q网络(deep Q-network，DQN)算法和深度确定性策略梯度(deep deterministic policy gradient，DDPG)算法对该模型进行求解，以实现实时跟踪电压变化的目的，有效解决了ADN运行过程中电压控制问题；最后，通过IEEE 33节点仿真算例对该方法进行了验证。结果利用DQN算法和DDPG算法分别求解协调控制区域和本地自治区域的控制变量，实现了ADN系统电压调节的实时决策，解决了ADN潮流双向流动、电压复杂多变的问题。结论所提控制策略控制电压偏差效果明显，具有很强的准效性和实用性。

关键词： 有源配电网 (ADN) ; 区域协调控制 ; 本地自治控制 ; 深度强化学习 ; 电压控制策略

Abstract

Objectives The randomness and volatility of distributed power generation poses significant challenges for the voltage control in active distribution network (AND). In this context, there is an urgent need for an efficient voltage control strategy to ensure the safe operation of ADN. Methods Based on the deep reinforcement learning method, a voltage control strategy for double-layer regional distribution networks was proposed. First, based on the adjustment characteristics of voltage regulating equipment and the complexity of controllable elements, a regional coordinated control area and a local autonomous control area were designed for the radiating grid structure of the ADN, and the voltage control model of each area was constructed. Then, the model was solved by deep Q-Network (DQN) algorithm and deep deterministic policy gradient (DDPG) algorithm to achieve the purpose of tracking voltage changes in real time, and effectively solve the voltage control problem during the operation of the ADN. Finally, the method was verified by IEEE 33-bus simulation examples. Results The DQN algorithm and the DDPG algorithm were used to solve the control variables in the coordinated control region and the local autonomous region respectively, realizing real-time decision-making of voltage regulation in the ADN system, and solving the problems of bidirectional flow of ADN power flow and complex and changeable voltage. Conclusions The proposed control strategy has obvious effect on controlling voltage deviation, and has strong accuracy and practicality.

Keywords： active distribution network (ADN) ; regional coordination control ; local autonomous control ; deep reinforcement learning ; voltage control strategy

PDF (2605KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

杜婉琳, 王玲, 罗威, 朱远哲, 吕鸿, 马潇男, 周霞. 基于深度强化学习的有源配电网电压分层控制策略. 发电技术[J], 2024, 45(4): 734-743 DOI:10.12096/j.2096-4528.pgt.23029

DU Wanlin, WANG Ling, LUO Wei, ZHU Yuanzhe, LÜ Hong, MA Xiaonan, ZHOU Xia. Voltage Hierarchical Control Strategy of Active Distribution Network Based on Deep Reinforcement Learning. Power Generation Technology[J], 2024, 45(4): 734-743 DOI:10.12096/j.2096-4528.pgt.23029

0 引言

与传统的被动配电网不同，有源配电网(active distribution network，ADN)可以实现电网的双向流动和信息的互联互通^[1]，同时，ADN还能提高分布式电源的利用效率和经济性，促进可再生能源开发，符合国家能源转型的发展方向^[2-7]。但是，该方法也对电网的电压控制提出了更高的要求^[8]，因为不恰当的电压水平会导致设备发生过电流，进而引起用户设备的损坏^[9-10]。所以，应当将有效控制ADN的电压波动作为后续研究的重点之一^[11-12]。

ADN电压波动控制问题较为复杂，是拥有众多目标函数、变量和约束条件的高维非线性问题^[8]。目前，高维非线性问题的解决思路主要采用启发式搜索算法^[13-15]和二阶锥松弛技术^[16-17]。文献[18-19]采用启发式搜索算法中的粒子群算法和遗传算法对配电网进行协调控制，以改善配电网运行过程中的电压偏移现象，但是，该方法计算量大，时间成本较高，需要耗费大量的计算资源；文献[20-21]利用二阶锥技术求解可控设备模型来实现电压偏差最小化，但是，此类技术依赖于源荷预测数据和精确的电力系统优化模型，难以实现配电网电压实时调控的要求。

人工智能技术有望解决先前诸多方法的局限性，所以，诸多学者探讨了基于新一代人工智能技术^[22]的配电网电压波动调控方法^[23-24]。其中，强化学习(reinforcement learning，RL)方法作为人工智能技术的重要分支被广泛应用。文献[25-26]研究了单层尺度RL方法在配电网中的应用问题，该方法可以实时提供灵活的控制决策，针对电压波动问题控制效果良好。但是，文献[27]的研究发现，单层尺度RL容易受到环境变化的影响，出现过拟合现象。针对此问题，文献[28-29]基于长短时间尺度RL开展了研究，在配电网电压控制方面具有灵活性、自适应性。然而，上述方法均未考虑控制变量和AND拓扑结构的特点，所以存在模型不确定性，导致算法的控制效果不稳定。

因此，基于上述电压波动控制技术中所存在的问题，本文提出了基于深度强化学习的有源配电网电压分层控制策略。分层建立有功-无功协调优化模型后，采用深度强化学习算法求解；此外，考虑控制变量和AND拓扑结构的类型，提出利用深度Q网络(deep Q-network，DQN)算法求解区域协调控制的离散型设备变量，利用深度确定性策略梯度(deep deterministic policy gradient，DDPG)算法求解本地自治区域的连续型设备变量，以达到算法和物理模型有机整合。最后，基于IEEE 33节点划分多层次电压控制区域，验证了本文所提出的算法的有效性。

1 电压分层协调控制总框架

1.1 控制指标

将配电网的电压可以分为3个不同的状态区间：正常状态区间、预警状态区间和紧急状态区间，如图1所示。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 配电网电压分布状态图

Fig. 1 Voltage distribution state diagram of distribution network

1）正常状态

安全阈值设置为[0.95 pu,1.05 pu]。

2）紧急状态

紧急状态表达式为

[f_{V S m i n, i}, f_{V S m a x, i}] = [1.07 p u, 1.10 p u]

(1)

[f_{V X m i n, i}, f_{V X m a x, i}] = [0.85 p u, 0.93 p u]

(2)

式中： $f_{V S m i n, i}$ 和 $f_{V S m a x, i}$ 分别为第 $i$ 个区域上紧急状态下限值和上限值； $f_{V X m i n, i}$ 和 $f_{V X m a x, i}$ 分别为第 $i$ 个区域下紧急状态下限值和上限值。

3）预警状态

预警状态表达式为

[f_{Y V S m i n, i}, f_{Y V S m a x, i}] = [1.05 p u, 1.07 p u]

(3)

[f_{Y V X m i n, i}, f_{Y V X m a x, i}] = [0.93 p u, 0.95 p u]

(4)

式中： $f_{Y V S m i n, i}$ 和 $f_{Y V S m a x, i}$ 分别为第 $i$ 个区域上预警状态下限值和上限值； $f_{Y V X m a x, i}$ 和 $f_{Y V X m i n, i}$ 分别为第 $i$ 个区域下预警状态上限值和下限值。

1.2 控制框架

本文核心是分区对不同类型的控制设备进行控制，图2为配电网分层控制方法的结构图。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 配电网分层控制方法结构图

Fig. 2 Structure diagram of hierarchical control method of distribution network

主动配电网电压分层协调控制系统由主动配电网管理系统(active distribution management system，ADMS)、区域协调控制器和本地自治控制器3部分组成。控制器被安装在每个区域中，并且各个负荷节点处的电压传感器与控制器通信网络相邻布置。ADMS通过采集到的节点电压数据进行计算，当判断电压偏差平均标幺值处于紧急状态时，将信号传给区域协调控制器，采用DQN进行训练，得出调压器分接头的最佳档位位置；若区域协调控制器没有收到信号或者通过区域协调控制器控制以后，电压仍然处于非正常状态，则通过本地自治控制器对光伏逆变器、静态无功补偿装置(static var compensator，SVC)和储能进行调节，采用DDPG算法进行训练，获得最优控制策略后将控制信号下达到各个调压设备，实现电压实时自治控制，整体控制流程如图3所示。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 整体控制流程图

Fig. 3 Overall control flow chart

2 深度强化学习算法

2.1 DQN算法

DQN算法通过使用神经网络来估计当前状态下每个行动的Q值，输入是一个状态s，输出是一个向量，其中每个元素表示一个可能的动作a的Q值：

Q (s, a) \approx Q (s, a; θ)

(5)

式中： $θ$ 为神经网络的权重参数； $Q (s, a)$ 为真实的Q值； $Q (s, a; θ)$ 为神经网络估计的Q值。

目标是最小化Q值的平方误差损失，即：

L (θ) = E {[r (t) + γ m a x_{a'} Q (s^{'}, a^{'}; θ_{_t a r g e t}) - Q {(s, a; θ)]}^{2}}

(6)

式中： $r (t)$ 为当前状态和行动的奖励； $γ$ 为折扣因子； $s^{'}$ 为下一个状态； $a^{'}$ 为下一个状态下所有可能行动的最大Q值对应的行动； $θ_{_t a r g e t}$ 为目标网络的权重参数。

DQN算法使用随机梯度下降来更新神经网络的权重参数θ。可以计算损失函数 $L (θ)$ 的梯度：

\begin{matrix} \nabla θ L (θ) = r_{_i} + γ m a x_a' Q (\frac{s'_{_i}, a'}{θ_{_t a r g e t}}) - \\ Q (\frac{s_{_i}, a_{_i}}{θ}) \times \nabla θ Q (\frac{s_{_i}, a_{_i}}{θ}) \end{matrix}

(7)

式中： $s'_{_i}$ 为第 $i$ 组数据的下一个状态； $a_{_i}$ 为第 $i$ 组数据下一个状态下所有可能行动的最大Q值对应的行动； $r_{_i}$ 为第 $i$ 组数据下状态和行动的奖励。

根据梯度下降算法，更新神经网络的权重参数 $θ$ ，即

θ_{t + 1} = θ_{t} - α \nabla θ L (θ)

(8)

式中 $α$ 为学习率。

DQN算法使用 $ε$ - $g r e e d y$ 策略来选择行动，该策略以 $ε$ 的概率选择随机行动。其中， $ε$ 为探索率，通常在训练早期设置较高的值，然后逐渐降低到一个较小的值。

2.2 深度确定性策略梯度算法

DDPG算法将经验数据 $(s_{t}, a_{t}, r_{t}, s_{t + 1})$ 存储到经验池中，通过同时建立Actor目标网络和Critic目标网络来输出目标Q值，并通过最小化目标Q值和Critic网络输出Q值的差值完成模型的优化训练。

使用高斯分布表示输出的概率分布，即

a = μ (s; θ^{μ}) + ε (1)

(9)

式中： $a$ 为输出的动作； $μ$ 为策略网络； $ε (1)$ 为高斯噪声； $θ^{μ}$ 为策略网络的权重参数。

使用策略梯度算法来训练策略网络，即最大化长期回报的期望值 $J (θ^{μ})$ ：

\nabla θ J (θ^{μ}) = E_{π} [\nabla_{a} Q (s, a | θ^{Q}) |_{s = s_{t}, a = μ (s_{t})}] \nabla θ^{μ} μ (s | θ^{μ})

(10)

式中： $E_{π}$ 表示在策略 $π$ 下的期望； $Q (s, a | θ^{Q})$ 是值函数网络，即状态-动作值函数； $θ^{Q}$ 为Critic目标网络的权重参数公式； $\nabla_{a} Q (s, a | θ^{Q})$ 表示状态-动作值函数相对于动作 $a$ 的梯度。

值函数网络是一个连续函数，使用均方误差(mean squared error，MSE)作为损失函数，即

L (θ^{Q}) = E {[y - Q (s, a | θ^{Q} {)]}^{2}}

(11)

式中 $y = r + γ Q [s^{'}, μ (s^{'} | θ^{μ}) | θ^{Q}]$ 表示目标值。

使用梯度下降算法来更新权重参数 $θ^{Q}$ ，即

θ^{Q} (t + 1) = θ^{Q} (t) - α \nabla θ L [θ^{Q} (t)]

(12)

式中 $\nabla θ L [θ^{Q} (t)]$ 是损失函数相对于 $θ^{Q} (t)$ 权重参数的梯度。

3 基于深度强化学习算法的分层调压控制模型

3.1 电压控制数学模型

在调节区域协调控制节点电压时，将控制的目标设置为：最小全域配电网母线节点电压越限值平均值，表达式为

m i n F (x) = \{\begin{matrix} \bar{U} - 1.05 {\bar{U}}_{N}, \bar{U} \geq 1.05 {\bar{U}}_{N} \\ 0.95 {\bar{U}}_{N} - \bar{U}, \bar{U} \leq 0.95 {\bar{U}}_{N} \end{matrix}

(13)

式中： $\bar{U}$ 为全域配电网母线节点电压平均值； ${\bar{U}}_{N}$ 为配电网平均电压额定值。

在调节本地自治区域部分节点电压时，将控制目标设置为最小自治区域母线节点电压越限值，表达式为

m i n F (x) = \{\begin{matrix} \sum_{i = 1}^{M} (U_{i} - 1.05 U_{N}), U_{i} \geq 1.05 U_{N} \\ \sum_{i = 1}^{M} (0.95 U_{N} - U_{i}), U_{i} \leq 0.95 U_{N} \end{matrix}

(14)

式中： $U_{i}$ 为第 $i$ 个节点的节点电压； $U_{N}$ 为该区域配电网额定电压值； $M$ 为该区域配电网母线节点数。

约束条件如下。

1）潮流平衡约束

潮流平衡约束为

\{\begin{array}{l} \sum_{i = 1}^{M} P_{i, L} (t) + P_{L o s s} (t) = P_{M} (t) + P_{i, P V} (t) + P_{i, E S} (t) \\ \sum_{i = 1}^{M} Q_{i, L} (t) + Q_{L o s s} (t) = Q_{M} (t) + Q_{i, P V} (t) + Q_{i, S V C} (t) \end{array}

(15)

式中： $P_{i, L} (t)$ 和 $Q_{i, L} (t)$ 分别为在 $t$ 时刻节点 $i$ 上负荷消耗的有功和无功功率； $P_{L o s s} (t)$ 和 $Q_{L o s s} (t)$ 分别为 $t$ 时刻线路中的有功损耗和无功损耗； $P_{M} (t)$ 和 $Q_{M} (t)$ 分别为 $t$ 时刻从主配网上传输的有功和无功功率； $P_{i, P V} (t)$ 和 $Q_{i, P V} (t)$ 分别为 $t$ 时刻分布式光伏的输出有功和无功功率； $P_{i, E S} (t)$ 为 $t$ 时刻节点 $i$ 上储能输出有功功率； $Q_{i, S V C} (t)$ 为 $t$ 时刻节点 $i$ 上SVC输出无功功率。

2）光伏逆变器约束

光伏逆变器约束为

P_{P V}^{m i n} \leq P_{i, P V} (t) \leq P_{P V}^{m a x}

(16)

Q_{i, P V}^{2} (t) \leq S_{i n v}^{2} - P_{i, P V}^{2} (t)

(17)

式中： $P_{P V}^{m a x}$ 、 $P_{P V}^{m i n}$ 分别为光伏逆变器输出有功的上限和下限值； $S_{i n v}^{2}$ 表示逆变器的容量。

3）储能出力约束

储能出力约束为

P_{i, m i n}^{E S} (t) \leq P_{i, E S} (t) \leq P_{i, m a x}^{E S} (t)

(18)

Δ P_{i, m i n}^{E S} (t) \leq Δ P_{i}^{E S} (t) \leq Δ P_{i, m a x}^{E S} (t)

(19)

式中： $Δ P_{i}^{E S} (t)$ 为 $t$ 时刻节点 $i$ 上储能输出有功变化量； $P_{i, m i n}^{E S} (t)$ 和 $P_{i, m a x}^{E S} (t)$ 分别为 $t$ 时刻节点 $i$ 上储能输出有功的最小值和最大值； $Δ P_{i, m i n}^{E S} (t)$ 和 $Δ P_{i, m a x}^{E S} (t)$ 分别为 $t$ 时刻节点 $i$ 上储能输出有功最小和最大变化量。

4）SVC出力约束

SVC出力约束为

Q_{i, m i n}^{S V C} (t) \leq Q_{i, S V C} (t) \leq Q_{i, m a x}^{S V C} (t)

(20)

Δ Q_{i, m i n}^{S V C} (t) \leq Δ Q_{i}^{S V C} (t) \leq Δ Q_{i, m a x}^{S V C} (t)

(21)

式中： $Δ Q_{i}^{S V C} (t)$ 为节点 $i$ 上SVC输出无功变化量； $Q_{i, m a x}^{S V C} (t)$ 和 $Q_{i, m i n}^{S V C} (t)$ 分别为节点 $i$ 上SVC输出无功上下限； $Δ Q_{i, m a x}^{S V C} (t)$ 和 $Δ Q_{i, m i n}^{S V C} (t)$ 分别为 $t$ 时刻节点 $i$ 上SVC输出无功爬坡上下限。

5）有载调压变压器约束

有载调压变压器分接头调节范围的计算公式如下：

n_{n e x t} \in [n_{t p m i n}, n_{t p m a x}] = [n_{t p n o w} x_{p r o m i n}, n_{t p n o w} x_{p r o m a x}]

(22)

[x_{p r o m i n}, x_{p r o m a x}] = \underset{i = 1,2, \dots, n}{\cap} [\frac{f_{V S m i n, i} / f_{V X m i n, i}}{U_{e q, i}}, \frac{f_{V S m a x, i} / f_{V X m a x, i}}{U_{e q, i}}]

(23)

式中： $n_{t p m i n}$ 为有载变压器分接头最小调节值； $n_{t p m a x}$ 为有载变压器分接头最大调节值； $x_{p r o m i n}$ 为有载变压器最小可调比例； $x_{p r o m a x}$ 为有载变压器最大可调比例； $n_{t p n o w}$ 为有载变压器分接头当前所处位置； $n$ 为区域数量； $U_{e q, i}$ 为等效电压。

3.2 深度强化学习算法设计

将深度强化学习应用于配电网的电压控制中，将电压控制问题转化为马尔科夫决策过程，并通过对智能体在环境中进行探索和学习来获得最优的控制行为。该算法将配电网潮流系统状态映射到控制动作，同时利用奖励函数和控制变量映射来实现控制目标，在满足约束条件的前提下确保配电网系统的安全运行。

3.2.1 区域协调控制的DQN算法

1）状态空间

将母线节点电压作为被控制对象，则状态空间为节点电压的集合 $S_{D Q N}$ ：

S_{D Q N} = {v_{1}, v_{2}, \dots, v_{i}, \dots, v_{N}}

(24)

式中： $v_{i}$ 表示节点i电压的标幺值； $N$ 为全域配电网母线节点数。

2）动作空间

将有载变压器分接头的位置设置为DQN算法的动作空间 $A_{D Q N}$ ，假设每个设备有 $n$ 个档位，设置相同的调节范围： $i \times 1 % p u, - n \leq i \leq n$ ；档位调节的总范围 $\pm n \times 1 % p u$ ，即

A_{D Q N} = {- n \times 1 % p u, - (n - 1) \times 1 % p u, \dots,

0 % p u, \dots, (n - 1) \times 1 % p u, n \times 1 % p u}

(25)

3）奖励函数

将点电压越限量作为控制目标，奖励函数设计为 $r_{D Q N, i}$ ：

r_{D Q N, i} = - β Δ {\bar{v}}^{2}

(26)

式中： $β$ 为权重系数； $Δ \bar{v}$ 为全局配电网母线节点电压的平均标幺值超过正常状态的数值。

3.2.2 本地自治控制的DDPG算法

1）DDPG算法的状态空间

将各节点电压、有功功率和无功功率波动作为状态变量，构建配电网电压控制的状态空间的：

\begin{matrix} S_{D D P G, i} = {v_{1}, \dots, v_{i}, \dots, v_{M}, d v_{1}, \dots, d v_{i}, \dots, d v_{M}, p_{1}, \dots, \\ p_{i}, \dots, p_{M}, d p_{1}, \dots, d p_{i}, \dots, d p_{M}, q_{1}, \dots, q_{i}, \dots, \end{matrix}

q_{M}, d q_{1}, \dots, d q_{i}, \dots, d q_{M}}

(27)

式中： $d v_{i}$ 为节点 $i$ 电压的波动； $p_{i}$ 为节点 $i$ 的有功功率； $d p_{i}$ 为节点 $i$ 有功功率波动； $q_{i}$ 为节点 $i$ 的无功功率； $d q_{i}$ 为节点 $i$ 无功功率波动； $1 \leq i \leq M$ 。

2）DDPG算法的动作空间

将并入的设备动作出力集合 ${A_{D D P G . i}}$ 可以定义为动作空间：

{A_{D D P G . i}} = [P_{i}^{P V} (t), Q_{i}^{P V} (t), P_{i}^{E S} (t), Q_{i}^{S V C} (t)]

(28)

3）DDPG算法的奖励函数

将节点电压越限量和设备出力调节量作为奖励函数 $R_{D D P G, i}$ 来更新DDPG算法的策略网络和值函数网络，即

R_{D D P G, i} = - Δ v_{i} \cdot B_{1} \cdot Δ {v_{i}}^{T} - Δ P_{i}^{P V} \cdot C_{1} \cdot Δ P_{i}^{P V^{T}} - Δ Q_{i}^{P V} \cdot C_{2} \cdot

Δ Q_{i}^{P V^{T}} - Δ P_{i}^{E S} \cdot D_{1} \cdot Δ P_{i}^{E S^{T}} - Δ Q_{i}^{S V C} \cdot E_{1} \cdot Δ Q_{i}^{S V C^{T}}

(29)

式中： $Δ v_{i}$ 为母线节点 $i$ 的电压标幺值的越限值； $Δ Q_{i}^{P V}$ 表示母线节点 $i$ 的无功变化量； $B_{1}$ 表示电压偏差项的惩罚系数； $C_{1}$ 和 $C_{2}$ 表示分布式光伏输出有功、无功调节量项的惩罚系数； $D_{1}$ 表示储能输出有功调节量项的惩罚系数； $E_{1}$ 表示SVC输出无功调节量项的惩罚系数。

4 仿真验证

4.1 仿真分析

采用标准IEEE 33节点配电网系统进行仿真，拓扑图如图4所示。系统中调压器位于节点1，额定容量为100 MV⋅A，调节范围根据具体情况确定，该算例具体包括分布式光伏、储能电池、SVC，设备参数如表1所示。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 IEEE 33节点配电网拓扑图

Fig. 4 IEEE 33-node distribution network topology

表1 设备参数

Tab. 1 Equipment parameters

序号	布置节点	类型	额定容量
1	L17、L19、L20、L33	分布式光伏	2.2 MW
2	L11、L14、L22、L28	储能电池	800 kW⋅h
3	L18、L25	SVC	2 MV⋅A

新窗口打开| 下载CSV

通过配电网控制区域划分方法，将配电网按图4中的划分结果进行划分，结果如表2所示。

表2 控制区域划分结果

Tab. 2 Control zone division results

协调控制区域节点编号	自治控制区域编号	所含节点编号	控制节点编号
L1—L33	自治控制区域1	L1—L5、L19—L2、L3—L25	L20、L22、L25
	自治控制区域2	L6—L18	L11、L14、L17、L18
	自治控制区域3	L26—L33	L28、L33

新窗口打开| 下载CSV

4.2 结果分析

IEEE 33节点配电网在某一时刻引入功率扰动，部分节点越过正常状态区域限值，首先根据有载调压器的调节范围对DQN算法进行设计。

使用DQN智能体进行训练，每次训练290个样本，共进行500次训练。初始阶段，智能体奖励值较低，经过230次训练episode后，DQN智能体逐渐收敛于最优策略，其奖励值稳定且震荡幅度减小。最终，DQN智能体学习到了调节调压器分接头对电压控制的最优策略，具有良好的控制性能。DQN智能体训练结果如图5所示。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 DQN智能体训练过程

Fig. 5 DQN agent training process

图6为区域协调控制前后节点电压图。由此可见，各母线电压幅值有所下降，但仍然有部分母线节点电压标幺值处于非正常状态安全阈值之间，因此，需要通过DDPG算法对电压越限节点所在区域做进一步的处理。DDPG智能体训练结果如图7所示。

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 区域协调控制前后节点电压图

Fig. 6 Node voltage diagram before and after regional coordination control

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 DDPG智能体训练结果

Fig. 7 DDPG agent training results

DDPG智能体训练1 000个episodes，每个episode在训练300个样本后结束，经过70个episode后DDPG智能体的奖励值稳定，表明算法已收敛。图8为未削减光伏有功情况下节点10—17的控制效果。可见，控制区域内的节点电压并未控制到正常状态内，因此需要进一步削减有功功率。图9为通过光伏有功削减后节点10—17节点的电压，可快速有效地将母线节点电压控制在安全阈值内。

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 无有功削减情况下的电压控制效果

Fig. 8 Voltage control effect without active power reduction

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9 加入有功削减情况下电压控制效果

Fig. 9 Voltage control effect with active power reduction

为了验证本文方法控制的优越性，将本文方法与传统的麻雀搜索(sparrow search algorithm，SSA)算法和粒子群优化(particle swarm optimization，POS)算法进行对比，不同策略下的控制结果如表3所示。SSA在控制调节上响应时间为5.52 s，平均电压偏差0.002 9 $p u$ ，POS在控制调节上响应时间为4.84 s，平均电压偏差0.003 1 $p u .$ 。而采用强化学习控制方法进行调节时响应时间为0.11 s，平均电压偏差0.002 3 $p u .$ ，可以看出，本文控制策略虽然与其他算法在平均电压偏差上相差不大，但是大幅度缩短了算法响应的时间，充分显示了该强化学习算法的高效性和准确性。

表3 不同策略下的控制结果

Tab. 3 Control results under different strategies

策略	优化前	强化学习算法	SSA	POS
响应时间/s	0	0.11	5.52	4.84
平均电压偏差/pu	0.024 0	0.002 3	0.002 9	0.003 1

新窗口打开| 下载CSV

5 结论

针对有源配电网内不同时间响应的调压设备特性，提出一种基于深度强化学习的有源配电网电压分层控制策略，具体结论如下：

1）针对有源配电网电压特性，将有源配电网电压等级划分为3个不同的区域，有助于有源配电网系统的实时监测和管理，便于后续开展有源配电网电压控制。

2）针对不同控制对象的响应特点，利用DQN算法和DDPG算法分别求解协调控制区域和本地自治区域的控制变量，实现了ADN系统电压调节的实时决策。

3）经IEEE 33节点实验结果表明，所提方法可以有效保证电压稳定在正常状态之内；与SSA算法和POS算法相比，所提方法在响应时间和响应效果方面均有更大的优势。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

江道灼，徐宁，江崇熙，等．

蜂巢状有源配电网构想、关键技术与展望

[J]．电力系统自动化，2019，43(17)：1-11． doi:10.7500/AEPS20180730017