基于深度强化学习的有源配电网电压分层控制策略

doi:10.12096/j.2096-4528.pgt.23029

发电技术 ›› 2024, Vol. 45 ›› Issue (4): 734-743.DOI: 10.12096/j.2096-4528.pgt.23029

基于深度强化学习的有源配电网电压分层控制策略

杜婉琳¹, 王玲¹, 罗威², 朱远哲¹, 吕鸿¹, 马潇男³, 周霞³

^1.广东电网有限责任公司电能质量重点实验室(广东电网有限责任公司电力科学研究院)，广东省广州市 510080
^2.广东电网有限责任公司梅州供电局，广东省梅州市 514021
^3.南京邮电大学自动化学院、人工智能学院，江苏省南京市 210023

收稿日期:2023-08-26 修回日期:2023-10-18 出版日期:2024-08-31 发布日期:2024-08-27
通讯作者: 周霞
作者简介:杜婉琳(1985)，女，硕士，高级工程师，电力系统分析技术，2788829207@qq.com；
马潇男(1999)，男，硕士研究生，主要研究方向为配电网运行技术、电压管理，344717084@qq.com；
周霞(1978)，女，博士，副教授，从事电力通信、电力系统分析与控制研究，本文通信作者，zhouxia@njupt.edu.cn。
基金资助:
国家自然科学基金项目(52207009);南方电网公司科技项目(GDKJXM20200331)

Voltage Hierarchical Control Strategy of Active Distribution Network Based on Deep Reinforcement Learning

Wanlin DU¹, Ling WANG¹, Wei LUO², Yuanzhe ZHU¹, Hong LÜ¹, Xiaonan MA³, Xia ZHOU³

^1.Key Laboratory of Power Quality of Guangdong Power Grid Co. , Ltd. (Electric Power Research Institute of Guangdong Power Grid Co. , Ltd. ), Guangzhou 510080, Guangdong Province, China
^2.Meizhou Power Supply Bureau of Guangdong Power Grid Co. , Ltd. , Meizhou 514021, Guangdong Province, China
^3.College of Automation & College of Artificial Intelligence, Nanjing University of Posts and Telecommunications, Nanjing 210023, Jiangsu Province, China

Received:2023-08-26 Revised:2023-10-18 Published:2024-08-31 Online:2024-08-27
Contact: Xia ZHOU
Supported by:
National Natural Science Foundation of China(52207009);Science and Technology Projects of China Southern Power Grid Corporation(GDKJXM20200331)

摘要/Abstract

摘要：

目的分布式电源发电的随机性和波动性，给有源配电网(active distribution network，ADN)的电压控制带来了严峻的挑战，在此背景下，亟需一种高效的电压控制策略来保证ADN的安全运行。方法基于深度强化学习方法，提出了一种双层区域配电网电压控制策略。首先，以调压设备的调节特性和可控元素复杂化的特点为前提，针对ADN辐射网架结构，设计了区域协调控制区域和本地自治控制区域，分别构建每个区域的电压控制模型；然后，通过深度Q网络(deep Q-network，DQN)算法和深度确定性策略梯度(deep deterministic policy gradient，DDPG)算法对该模型进行求解，以实现实时跟踪电压变化的目的，有效解决了ADN运行过程中电压控制问题；最后，通过IEEE 33节点仿真算例对该方法进行了验证。结果利用DQN算法和DDPG算法分别求解协调控制区域和本地自治区域的控制变量，实现了ADN系统电压调节的实时决策，解决了ADN潮流双向流动、电压复杂多变的问题。结论所提控制策略控制电压偏差效果明显，具有很强的准效性和实用性。

关键词: 有源配电网 (ADN), 区域协调控制, 本地自治控制, 深度强化学习, 电压控制策略

Abstract:

Objectives The randomness and volatility of distributed power generation poses significant challenges for the voltage control in active distribution network (AND). In this context, there is an urgent need for an efficient voltage control strategy to ensure the safe operation of ADN. Methods Based on the deep reinforcement learning method, a voltage control strategy for double-layer regional distribution networks was proposed. First, based on the adjustment characteristics of voltage regulating equipment and the complexity of controllable elements, a regional coordinated control area and a local autonomous control area were designed for the radiating grid structure of the ADN, and the voltage control model of each area was constructed. Then, the model was solved by deep Q-Network (DQN) algorithm and deep deterministic policy gradient (DDPG) algorithm to achieve the purpose of tracking voltage changes in real time, and effectively solve the voltage control problem during the operation of the ADN. Finally, the method was verified by IEEE 33-bus simulation examples. Results The DQN algorithm and the DDPG algorithm were used to solve the control variables in the coordinated control region and the local autonomous region respectively, realizing real-time decision-making of voltage regulation in the ADN system, and solving the problems of bidirectional flow of ADN power flow and complex and changeable voltage. Conclusions The proposed control strategy has obvious effect on controlling voltage deviation, and has strong accuracy and practicality.

Key words: active distribution network (ADN), regional coordination control, local autonomous control, deep reinforcement learning, voltage control strategy

中图分类号:

TK 01

杜婉琳, 王玲, 罗威, 朱远哲, 吕鸿, 马潇男, 周霞. 基于深度强化学习的有源配电网电压分层控制策略[J]. 发电技术, 2024, 45(4): 734-743.

Wanlin DU, Ling WANG, Wei LUO, Yuanzhe ZHU, Hong LÜ, Xiaonan MA, Xia ZHOU. Voltage Hierarchical Control Strategy of Active Distribution Network Based on Deep Reinforcement Learning[J]. Power Generation Technology, 2024, 45(4): 734-743.

图/表 12

图1 配电网电压分布状态图

Fig. 1 Voltage distribution state diagram of distribution network

图2 配电网分层控制方法结构图

Fig. 2 Structure diagram of hierarchical control method of distribution network

图3 整体控制流程图

Fig. 3 Overall control flow chart

图4 IEEE 33节点配电网拓扑图

Fig. 4 IEEE 33-node distribution network topology

表1 设备参数

Tab. 1 Equipment parameters

序号	布置节点	类型	额定容量
1	L17、L19、L20、L33	分布式光伏	2.2 MW
2	L11、L14、L22、L28	储能电池	800 kW⋅h
3	L18、L25	SVC	2 MV⋅A

表2 控制区域划分结果

Tab. 2 Control zone division results

协调控制区域节点编号	自治控制区域编号	所含节点编号	控制节点编号
L1—L33	自治控制区域1	L1—L5、L19—L2、L3—L25	L20、L22、L25
	自治控制区域2	L6—L18	L11、L14、L17、L18
	自治控制区域3	L26—L33	L28、L33

图5 DQN智能体训练过程

Fig. 5 DQN agent training process

图6 区域协调控制前后节点电压图

Fig. 6 Node voltage diagram before and after regional coordination control

图7 DDPG智能体训练结果

Fig. 7 DDPG agent training results

图8 无有功削减情况下的电压控制效果

Fig. 8 Voltage control effect without active power reduction

图9 加入有功削减情况下电压控制效果

Fig. 9 Voltage control effect with active power reduction

表3 不同策略下的控制结果

Tab. 3 Control results under different strategies

策略	优化前	强化学习算法	SSA	POS
响应时间/s	0	0.11	5.52	4.84
平均电压偏差/pu	0.024 0	0.002 3	0.002 9	0.003 1

参考文献 29

1	江道灼，徐宁，江崇熙，等．蜂巢状有源配电网构想、关键技术与展望[J]．电力系统自动化，2019，43(17)：1-11． doi:10.7500/AEPS20180730017
	JIANG D Z， XU N， JIANG C X，et al ．Conception，key technology and prospect of honeycomb-shape active distribution network[J]．Automation of Electric Power Systems，2019，43(17)：1-11． doi:10.7500/AEPS20180730017
2	刘建伟，李学斌，刘晓鸥．有源配电网中分布式电源接入与储能配置[J]．发电技术，2022，43(3)：476-484． doi:10.12096/j.2096-4528.pgt.21068
	LIU J W， LI X B， LIU X O ．Distributed power access and energy storage configuration in active distribution network[J]．Power Generation Technology，2022，43(3)：476-484． doi:10.12096/j.2096-4528.pgt.21068
3	于淼，闫旻睿，万克厅，等．数据驱动的有源配电网运行态势智能感知方法[J]．电力建设，2024，45(7)：34-53．
	YU M， YAN M R， WAN K T，et al ．Data-driven intelligent situational awareness of active distribution networks[J]．Electric Power Construction，2024，45(7)：34-53．
4	蔡欢，袁旭峰，熊炜，等．柔性互联配电网运行调度研究综述[J]．智慧电力，2022，50(6)：92-99．
	CAI H， YUAN X F， XIONG W，et al ．Review on operation scheduling of flexible interconnected distribution network[J]．Smart Power，2022，50(6)：92-99．
5	闫群民，董新洲，穆佳豪，等．基于改进多目标粒子群算法的有源配电网储能优化配置[J]．电力系统保护与控制，2022，50(10)：11-19．
	YAN Q M， DONG X Z， MU J H，et al ．Optimal configuration of energy storage in an active distribution network based on improved multi-objective particle swarm optimization[J]．Power System Protection and Control，2022，50(10)：11-19．
6	仲泽天，李梦月，王加澍，等．一种有源配电网分布式光伏消纳能力评估方法[J]．电网与清洁能源，2023，39(2)：60-68．
	ZHONG Z T， LI M Y， WANG J S，et al ．An assessment method for distributed photovoltaic absorption capacity of active distribution networks[J]．Power System and Clean Energy，2023，39(2)：60-68．
7	LOPION P， MARKEWITZ P， ROBINIUS M，et al ．A review of current challenges and trends in energy systems modeling[J] ． Renewable and Sustainable Energy Reviews，2018，96：156-166． doi:10.1016/j.rser.2018.07.045
8	彭生江，陆军，张中丹，等．光伏接入对电网的影响研究[J]．电力系统保护与控制，2021，49(5)：157-164． doi:10.19783/j.cnki.pspc.200505
	PENG S J， LU J， ZHANG Z D，et al ．Research on the influence of photovoltaic access on a power grid[J]．Power System Protection and Control，2021，49(5)：157-164． doi:10.19783/j.cnki.pspc.200505
9	段穰达．有源配网后评价指标体系及其综合评价方法[J]．发电技术，2021，42(1)：86-93． doi:10.12096/j.2096-4528.pgt.20102
	DUAN R D ．A post-evaluation index system of active distribution network project and its comprehensive evaluation method[J]．Power Generation Technology，2021，42(1)：86-93． doi:10.12096/j.2096-4528.pgt.20102
10	张华赢，艾精文，汪伟．基于约束型深度强化学习的主动配电网电压控制策略[J/OL] ．电测与仪表，2022，．
	ZHANG H Y， AI J W， WANG W ．Active distribution network voltage control strategy based on constrained deep reinforcement learning[J/OL]．Journal of Electrical Measurement and Instrumentation，2022，
11	WECKX S， DRIESEN J ．Optimal local reactive power control by PV inverters[J]．IEEE Transactions on Sustainable Energy，2016，7(4)：1624-1633. doi:10.1109/tste.2016.2572162
12	符杨，廖剑波，李振坤，等．考虑越限风险的主动配电网日前优化调度及运行[J]．中国电机工程学报，2017，37(21)：6328-6338． doi:10.13334/j.0258-8013.pcsee.162014
	FU Y， LIAO J B， LI Z K，et al ．Day-ahead optimal scheduling and operating of active distribution network considering violation risk[J]．Proceedings of the CSEE，2017，37(21)：6328-6338． doi:10.13334/j.0258-8013.pcsee.162014
13	李鹏，姜磊，王加浩，等．基于深度强化学习的新能源配电网双时间尺度无功电压优化[J/OL]．中国电机工程报：1-15．．
	LI P， JIANG L， WANG J H，et al ．Optimization of dual-time scale reactive voltage for distribution network with renewable energy based on deep reinforcement learning[J/OL]．Proceedings of the CSEE，1-15．．
14	蒋平，梁乐．基于内点法和遗传算法相结合的交直流系统无功优化[J]．高电压技术，2015，41(3)：724-729． doi:10.13336/j.1003-6520.hve.2015.03.004
	JIANG P， LIANG L ．Reactive power optimization of hybrid AC/HVDC power system combining interior point algorithm and genetic algorithm[J]．High Voltage Engineering，2015，41(3)：724-729． doi:10.13336/j.1003-6520.hve.2015.03.004
15	李晓利，高金峰．用于配电网多目标无功优化的改进粒子群优化算法[J]．电力自动化设备，2019，39(1)：106-111． doi:10.16081/j.issn.1006-6047.2019.01.016
	LI X L， GAO J F ．Improved particle swarm optimization algorithm for multi-objective reactive power optimization of distribution network[J]．Electric Power Automation Equipment，2019，39(1)：106-111． doi:10.16081/j.issn.1006-6047.2019.01.016
16	林少华，吴杰康，莫超，等．基于二阶锥规划的含分布式电源配电网动态无功分区与优化方法[J]．电网技术，2018，42(1)：238-246． doi:10.13335/j.1000-3673.pst.2017.0718
	LIN S H， WU J K， MO C，et al ．Dynamic partition and optimization method for reactive power of distribution networks with distributed generation based on second-order cone programming[J]．Power System Technology，2018，42(1)：238-246． doi:10.13335/j.1000-3673.pst.2017.0718
17	肖遥，别朝红，黄格超，等．基于二阶锥最优潮流的机会约束分布鲁棒优化研究[J]．电网技术，2021，45(4)：1505-1517． doi:10.13335/j.1000-3673.pst.2020.1002
	XIAO Y， BIE Z H， HUANG G C，et al ．Chance-constrained distributional robust optimization based on second-order cone optimal power flow[J]．Power System Technology，2021，45(4)：1505-1517． doi:10.13335/j.1000-3673.pst.2020.1002
18	李国庆，陈蓉，沈杰，等．大规模光伏接入的配电网动态无功优化研究[J]．太阳能学报，2018，39(8)：2373-2380．
	LI G Q， CHEN R， SHEN J，et al ．Research of dynamic reactive power optimization of large-scale photovoltaic access distribution network[J]．Acta Energiae Solaris Sinica，2018，39(8)：2373-2380．
19	刘斌，程杰，肖荣，等．面向中低压一体化的配网无功优化方法[J]．电气自动化，2019，41(6)：45-47．
	LIU B， CHENG J， XIAO R，et al ．Reactive power optimization method for integrated medium and low voItage distribution networks[J]．Electrical Automation，2019，41(6)：45-47．
20	褚国伟，张友旺，葛乐，等．自储能柔性互联配电网多时间尺度电压优化[J]．电力系统自动化，2021，45(9)：71-79． doi:10.7500/AEPS20200223007
	CHU G W， ZHANG Y W， GE L，et al ．Multi-time-scale voltage optimization of flexible interconnected distribution network with self-energy storage[J]．Automation of Electric Power Systems，2021，45(9)：71-79． doi:10.7500/AEPS20200223007
21	郭清元，吴杰康，莫超，等．基于混合整数二阶锥规划的新能源配电网电压无功协同优化模型[J]．中国电机工程学报，2018，38(5)：1385-1396． doi:10.13334/j.0258-8013.pcsee.170247
	GUO Q Y， WU J K， MO C，et al ．A model for multi-objective coordination optimization of voltage and reactive power in distribution networks based on mixed integer second-order cone programming[J]．Proceedings of the CSEE，2018，38(5)：1385-1396． doi:10.13334/j.0258-8013.pcsee.170247
22	于成龙，侯俊杰，蒲洪波，等．新一代人工智能在国防科技领域发展探讨[J]．国防科技，2020，41(4)：13-18．
	YU C L， HOU J J， PU H B，et al ．Development of the new generation artificial intelligence in national defense science and technology[J]．National Defense Technology，2020，41(4)：13-18．
23	蒲天骄，乔骥，韩笑，等．人工智能技术在电力设备运维检修中的研究及应用[J]．高电压技术，2020，46(2)：369-383． doi:10.13336/j.1003-6520.hve.20200131001
	PU T J， QIAO J， HAN X，et al ．Research and application of artificial intelligence in operation and maintenance for power equipment[J]．High Voltage Engineering，2020，46(2)：369-383． doi:10.13336/j.1003-6520.hve.20200131001
24	YAP K Y， SARIMUTHU C R， LIM J M Y ．Artificial intelligence based MPPT techniques for solar power system：a review[J]．Journal of Modern Power Systems and Clean Energy，2020，8(6)：1043-1059． doi:10.35833/mpce.2020.000159
25	李琦，乔颖，张宇精．配电网持续无功优化的深度强化学习方法[J]．电网技术，2020，44(4)：1473-1480． doi:10.13335/j.1000-3673.pst.2019.2218
	LI Q， QIAO Y， ZHANG Y J ．Continuous reactive power optimization of distribution network using deep reinforcement learning[J]．Power System Technology，2020，44(4)：1473-1480． doi:10.13335/j.1000-3673.pst.2019.2218
26	WANG Y ．Grid voltage control method based on generator reactive power regulation using reinforcement learning[C]//2020 IEEE/IAS Industrial and Commercial Power System Asia (I&CPS Asia)．IEEE，2020：1060-1065． doi:10.1109/icpsasia48933.2020.9208556
27	毕聪博，唐聿劼，罗永红，等．电力系统优化控制中强化学习方法应用及挑战[J]．中国电机工程学报，2024，44(1)：1-21．
	BI C B， TANG Y J， LUO Y H，et al ．Review on critical problems in reinforcement learning methods applied in power system optimization and control scenarios[J]．Proceedings of the CSEE，2024，44(1)：1-21．
28	倪爽，崔承刚，杨宁，等．基于深度强化学习的配电网多时间尺度在线无功优化[J]．电力系统自动化，2021，45(10)：77-85．
	NI S， CUI C G， YANG N，et al ．Multi-time-scale online optimization for reactive power of distribution network based on deep reinforcement learning[J]．Automation of Electric Power Systems，2021，45(10)：77-85．
29	高一航，徐晓春，李鹏，等．面向高比例新能源并网的双时间尺度电网电压控制[J]．电网与清洁能源，2021，37(5)：115-122． doi:10.3969/j.issn.1674-3814.2021.05.014
	GAO Y H， XU X C， LI P，et al ．Dual-time-scale grid voltage control for high-proportion new energy grid-connected[J]．Power System and Clean Energy，2021，37(5)：115-122． doi:10.3969/j.issn.1674-3814.2021.05.014

[1]	胡程平, 范明, 刘艾旺, 施云辉. 考虑云储能的多区互联综合能源系统规划[J]. 发电技术, 2024, 45(4): 641-650.
[2]	赵振宇, 包格日乐图, 李炘薪. 基于信息间隙决策理论的含碳捕集-电转气综合能源系统优化调度[J]. 发电技术, 2024, 45(4): 651-665.
[3]	杨康, 李蓝青, 李艺丰, 宋东阔, 王博仑, 陈金, 周霞, 单宇. 一种新型分布式光伏出力区间预测方法[J]. 发电技术, 2024, 45(4): 684-695.
[4]	孟梓睿, 刘雅雯, 巨星. 光伏-压电复合独立供电系统的运行分析[J]. 发电技术, 2024, 45(4): 696-704.
[5]	肖白, 赵雪纯, 董光德. 电能质量综合评估方法综述与展望[J]. 发电技术, 2024, 45(4): 716-733.
[6]	陈昱, 丁鸿, 崔勇, 朱里, 陈士俊, 凌秋阳, 徐勇生, 郑建. 变电设备温度态势感知及辅助决策系统方案研究[J]. 发电技术, 2024, 45(4): 744-752.
[7]	王伟杰, 曾鑫洁, 徐远途, 李书仪, 阮灿华, 童宁, 武小梅. 基于正序突变量相轨迹辨识的可再生能源配电网电流保护[J]. 发电技术, 2024, 45(4): 753-764.
[8]	段贵超, 王恭, 曹生现, 段洁. 虚拟电厂运行策略及DG分布式控制研究[J]. 发电技术, 2024, 45(4): 765-771.
[9]	袁鑫, 刘骏, 陈衡, 潘佩媛, 徐钢, 王修彦. 碳捕集技术应用对燃煤机组调峰能力的影响[J]. 发电技术, 2024, 45(3): 373-381.
[10]	袁家海, 胡玥琳, 张健. 基于改进三阶段松弛测量-数据包络模型的火电上市公司碳排放效率评估研究[J]. 发电技术, 2024, 45(3): 458-467.
[11]	张洺驿, 黄鹏, 王亚午. 环形介电弹性体发电机的输出特性研究[J]. 发电技术, 2024, 45(3): 517-526.
[12]	叶健强, 孙敦虎. 碳交易条件下基于鲁棒优化的电源规划研究[J]. 发电技术, 2024, 45(3): 566-574.
[13]	王放放, 杨鹏威, 赵光金, 李琦, 刘晓娜, 马双忱. 新型电力系统下火电机组灵活性运行技术发展及挑战[J]. 发电技术, 2024, 45(2): 189-198.
[14]	李展, 杨振勇, 刘磊, 陈振山, 季卫鸣, 洪烽. 火电机组深度调峰工况下炉侧蓄热系数对一次调频能力的影响分析[J]. 发电技术, 2024, 45(2): 226-232.
[15]	杨正, 孙亦鹏, 温志强, 程亮, 李战国. 深度调峰工况下超临界机组的干湿态转换策略研究[J]. 发电技术, 2024, 45(2): 233-239.

基于深度强化学习的有源配电网电压分层控制策略

Voltage Hierarchical Control Strategy of Active Distribution Network Based on Deep Reinforcement Learning

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

图/表 12

参考文献 29

相关文章 15

编辑推荐

Metrics