基于Q-learning的集中-分布式形态配电网分层分区及网架规划方法

doi:10.12096/j.2096-4528.pgt.24005

发电技术 ›› 2025, Vol. 46 ›› Issue (5): 977-985.DOI: 10.12096/j.2096-4528.pgt.24005

基于Q-learning的集中-分布式形态配电网分层分区及网架规划方法

王炜¹, 熊蕴¹, 赵鹏臻², 谢宁², 靳翔¹, 王正阳¹

^1.国网江苏省电力有限公司连云港供电分公司，江苏省连云港市 222000
^2.上海交通大学电子信息与电气工程学院，上海市闵行区 200241

收稿日期:2024-01-08 修回日期:2024-05-08 出版日期:2025-10-31 发布日期:2025-10-23
作者简介:王炜(1977)，男，高级工程师，主要从事电网设备运维、电网规划专业工作，15705130039@163.com；
赵鹏臻(1998)，男，博士研究生，主要从事配电网形态和规划相关研究工作，809563642@sjtu.edu.cn；
谢宁(1973)，女，博士，副教授，主要从事电力系统安全与稳定、电力系统经济运行、智能电网方向相关研究公众，本文通信作者，xiening@sjtu.edu.cn。
基金资助:
国家重点研发计划项目(2020YFB2104500)

Q-Learning-Based Method for Distribution Layer Partitioning and Grid Planning in Hybrid Centralized-Distributed Networks

Wei WANG¹, Yun XIONG¹, Pengzhen ZHAO², Ning XIE², Xiang JIN¹, Zhengyang WANG¹

^1.Lianyungang Power Supply Company, State Grid Jiangsu Electric Power Co. , Ltd. , Lianyungang 222000, Jiangsu Province, China
^2.School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University, Minhang District, Shanghai 200241, China

Received:2024-01-08 Revised:2024-05-08 Published:2025-10-31 Online:2025-10-23
Supported by:
National Key R&D Program of China(2020YFB2104500)

摘要/Abstract

摘要：

目的为完善集中-分布式配电网在分层分区和网架规划方面的研究，充分考虑集中-分布式配电网要求等多方面因素，提出了基于Q-learning的分布层分区和网架规划方法。方法针对训练过程中出现的有向和无向转换、网架连通性、考虑多因素的分类等问题，根据分层分区和网架规划2个阶段的不同需求，分别对Reward和Agent进行了改进，使模型考虑要素更为全面，并利用实际电网数据进行了仿真验证。结果相比于传统电网规划方法，使用所提集中-分布式规划方案在保证一定可靠性的同时有着更好的经济性。结论所提方法在高可再生能源发电渗透率配电网中具有较高应用价值，为集中-分布式形态配电网的规划设计提供了一种新的思路和技术手段。

关键词: 配电网, 集中-分布式形态, 分布层分区, 网架规划, 强化学习, 智能体, 机器学习

Abstract:

Objectives To improve the research on distribution layer partitioning and grid planning in hybrid centralized-distributed networks, this study fully considers various factors such as the requirements of hybrid centralized-distributed networks and proposes a method for distribution layer partitioning and network planning based on Q-learning. Methods The method addresses issues such as directed and undirected transitions, grid connectivity, and multi-factor classification during the training process. The Reward and Agent are improved based on the different requirements of the two stages: distribution layer partitioning and grid planning. This makes the model more comprehensive by incorporating more elements and is verified through simulations using actual power grid data. Results Compared to traditional grid planning methods, the hybrid centralized-distributed planning scheme using this method provides better economic efficiency while ensuring a certain level of reliability. Conclusions The proposed method demonstrates significant application value in distribution networks with high renewable energy penetration, providing a novel idea and technical approach for the planning and design of hybrid centralized-distributed networks.

Key words: distribution network, hybrid centralized-distributed form, distribution layer partitioning, grid planning, reinforcement learning, agent, machine learning

中图分类号:

TK 01

王炜, 熊蕴, 赵鹏臻, 谢宁, 靳翔, 王正阳. 基于Q-learning的集中-分布式形态配电网分层分区及网架规划方法[J]. 发电技术, 2025, 46(5): 977-985.

Wei WANG, Yun XIONG, Pengzhen ZHAO, Ning XIE, Xiang JIN, Zhengyang WANG. Q-Learning-Based Method for Distribution Layer Partitioning and Grid Planning in Hybrid Centralized-Distributed Networks[J]. Power Generation Technology, 2025, 46(5): 977-985.

图/表 10

参考文献 23

[1]	IPCC ．Special report on global warming of 1.5 ℃[M]．UK：Cambridge University Press，2018：1-32．
[2]	金红洋，申永山，滕云，等．考虑碳减排的多能源系统网格化优化调度方法[J]．可再生能源，2023，41(2)：261-267．
	JIN H Y， SHEN Y S， TENG Y，et al ．Grid-based optimal scheduling method for multi-energy system considering carbon emission reduction[J]．Renewable Energy Resources，2023，41(2)：261-267．
[3]	姚琪，苏川，杨玉静，等．低碳背景下智能电网减排双目标调度规划方法[J]．电网与清洁能源，2024，40(8)：134-140．
	YAO Q， SU C， YANG Y J，et al ．A dual-objective scheduling planning method for smart grid emission reduction under low-carbon background[J]．Power System and Clean Energy，2024，40(8)：134-140．
[4]	刘洪波，刘珅诚，盖雪扬，等．高比例新能源接入的主动配电网规划综述[J]．发电技术，2024，45(1)：151-161． doi:10.12096/j.2096-4528.pgt.22106
	LIU H B， LIU S C， GAI X Y，et al ．Overview of active distribution network planning with high proportion of new energy access[J]．Power Generation Technology，2024，45(1)：151-161． doi:10.12096/j.2096-4528.pgt.22106
[5]	朱建昆，高红均，贺帅佳，等．考虑VSC与光-储-充协同配置的交直流混合配电网规划[J]．智慧电力，2023，51(11)：7-14．
	ZHU J K， GAO H J， HE S J，et al ．AC-DC hybrid distribution network planning considering VSC and photovoltaic-storage-charging coordinated configuration[J]．Smart Power，2023，51(11)：7-14．
[6]	张军达，卢姬，常俊晓，等．考虑可靠性成本的配电网多阶段扩展规划方法[J]．电测与仪表，2023，60(11)：113-122．
	ZHANG J D， LU J， CHANG J X，et al ．Multi-stage expansion planning method for distribution network considering reliability cost[J]．Electrical Measurement & Instrumentation，2023，60(11)：113-122．
[7]	张玉莹，曾博，周吟雨，等．碳减排驱动下的数据中心与配电网交互式集成规划研究[J]．电工技术学报，2023，38(23)：6433-6450．
	ZHANG Y Y， ZENG B， ZHOU Y Y，et al ．Research on interactive integration planning of data centers and distribution network driven by carbon emission reduction[J]．Transactions of China Electrotechnical Society，2023，38(23)：6433-6450．
[8]	巨云涛，周伟鹏，于宗民．考虑移动储能车提升系统供电可靠性的配电网规划方法[J]．电力系统保护与控制，2024，52(17)：128-138．
	JU Y T， ZHOU W P， YU Z M ．A distribution network planning approach considering mobile energy storage vehicles to enhance system power supply reliability[J]．Power System Protection and Control，2024，52(17)：128-138．
[9]	赵鹏臻，徐谦，谢宁，等．基于自主式元胞电网模式的电源及耦合点规划方法[J]．电力自动化设备，2021，41(8)：194-200．
	ZHAO P Z， XU Q， XIE N，et al ．Planning method of power sources and coupling points based on autonomous web-of-cell mode[J]．Electric Power Automation Equipment，2021，41(8)：194-200．
[10]	谢光龙，王旭斌，朱琳，等．蜂巢配电网的构建过程及优势分析[J]．电力系统及其自动化学报，2024，36(2)：11-18．
	XIE G L， WANG X B， ZHU L，et al ．Construction process and advantages of honeycomb distribution network[J]．Proceedings of the CSU-EPSA，2024，36(2)：11-18．
[11]	徐谦，邹波，王蕾，等．呈现集中-分布式形态的耦合协同型配电网架构研究[J]．电力自动化设备，2021，41(6)：81-90．
	XU Q， ZOU B， WANG L，et al ．Research on architecture of coupled collaborative distribution network presenting centralized-distributed pattern[J]．Electric Power Automation Equipment，2021，41(6)：81-90．
[12]	赵鹏臻，谢宁，殷佳敏，等．适应新型电力系统发展趋势的配电网集中-分布式形态及其分层分区方法[J]．智慧电力，2023，51(1)：94-100．
	ZHAO P Z， XIE N， YIN J M，et al ．Centralized-distributed pattern of distribution network and its hierarchical partition method adapting to development trend of new power system[J]．Smart Power，2023，51(1)：94-100．
[13]	金国彬，刘玉龙，李国庆，等．考虑可靠性的交直流混合配电网网架与分布式电源协同优化规划[J]．电力系统保护与控制，2022，50(22)：59-70．
	JIN G B， LIU Y L， LI G Q，et al ．Collaborative optimization planning of an AC/DC hybrid distribution network frame and distributed power generation considering reliability[J]．Power System Protection and Control，2022，50(22)：59-70．
[14]	SU Y， CHAO H， WANG Y，et al ．Planning optimization for the photovoltaic/storage/network system considering photovoltaic consumption level and grid supporting capacity[C]//2022 4th International Conference on Electrical Engineering and Control Technologies．Shanghai，China：CEECT，2022：1059-1063． doi:10.1109/ceect55960.2022.10030354
[15]	ZHANG X， WU J， LI S，et al ．Research on active distribution network structure planning for multi distributed generation access[C]//2020 IEEE 4th Conference on Energy Internet and Energy System Integration (EI2)．Wuhan，China：IEEE，2020：2197-2202． doi:10.1109/ei250167.2020.9347220
[16]	赵辰宇，俞永春，刘明林，等．考虑不确定性风险及结构脆弱性的配电网网架规划[J]．应用科技，2023，50(2)：86-92．
	ZHAO C Y， YU Y C， LIU M L，et al ．A distribution network frame optimization planning considering uncertain risk and structural vulnerability[J]．Applied Science and Technology，2023，50(2)：86-92．
[17]	张鑫，李媛媛，吉平．含高比例可再生能源的交直流混联电网规划方法[J]．全球能源互联网，2021，4(4)：372-381．
	ZHANG X， LI Y Y， JI P ．A planning approach for AC/DC hybrid power grid with high proportion of renewable energy[J]．Journal of Global Energy Interconnection，2021，4(4)：372-381．
[18]	刘洪，滑雪娇，韩柳，等．配电网网架规划与多模块智能终端配置联合优化方法[J]．电力自动化设备，2023，43(1)：41-47．
	LIU H， HUA X J， HAN L，et al ．Joint optimization method of distribution network grid planning and multi-module intelligent terminal configuration[J]．Electric Power Automation Equipment，2023，43(1)：41-47．
[19]	聂文海，方逸航，周毅，等．基于状态变量x0+Δx分解的配电自动化规划研究[J]．供用电，2022，39(3)：25-31．
	NIE W H， FANG Y H， ZHOU Y，et al ．Research on distribution automation planning based on state variables x0+Δx decomposition[J]．Distribution & Utilization，2022，39(3)：25-31．
[20]	杨轩．基于改进遗传算法的配电网网架规划[J]．科技创新与应用，2022，12(15)：64-67．
	YANG X ．Distribution network planning based on improved genetic algorithm[J]．Technology Innovation and Application，2022，12(15)：64-67．
[21]	FENG L， CUI C， MA R，et al ．Deep learning algorithm for preliminary siting of substations considering various features in distribution network planning[J]．IOP Conference Series Earth and Environmental Science，2018，192(1)：012032． doi:10.1088/1755-1315/192/1/012032
[22]	AHMADIAN A， ELKAMEL A， MAZOUZ A ．An improved hybrid particle swarm optimization and tabu search algorithm for expansion planning of large dimension electric distribution network[J]．Energies，2019，12(16)：3052-3061． doi:10.3390/en12163052
[23]	WU K， LI K， LIANG R，et al ．A joint planning method for substations and lines in distribution systems based on the parallel bird swarm algorithm[J]．Energies，2018(10)：2669-2696． doi:10.3390/en11102669

协调层	分布层	负责供电单元	净负荷/MW
协调层1	分布层1-1	A、B、D、E	113.48
	分布层1-2	C、K、L、Q	102.19
	分布层1-3	I、J、M、O、N	95.06
协调层2	分布层2-1	F、G、H	120.94
	分布层2-2	P、X	108.31
	分布层2-3	R、S、T、U、V、W	116.61

协调层	分布层	负责供电单元	净负荷/MW
协调层1	分布层1-1	A、B、D、E	113.48
	分布层1-2	C、K、L、Q	102.19
	分布层1-3	I、J、M、O、N	95.06
协调层2	分布层2-1	F、G、H	120.94
	分布层2-2	P、X	108.31
	分布层2-3	R、S、T、U、V、W	116.61

规划指标	规划结果
可再生能源渗透率/%	70
分布层1-1光伏装机/MW	47.04
分布层1-1风电装机/MW	3.00
分布层1-1燃气轮机装机/MW	4.80
分布层1-2光伏装机/MW	137.20
分布层1-2风电装机/MW	3.00
分布层1-2燃气轮机装机/MW	14.00
分布层1-3光伏装机/MW	125.26
分布层1-3风电装机/MW	3.00
分布层1-3燃气轮机装机/MW	8.00
分布层2-1光伏装机/MW	50.96
分布层2-1风电装机/MW	3.00
分布层2-1燃气轮机装机/MW	5.20
分布层2-2光伏装机/MW	60.76
分布层2-2风电装机/MW	3.00
分布层2-2燃气轮机装机/MW	6.20
分布层2-3光伏装机/MW	124.28
分布层2-3风电装机/MW	3.00
分布层2-3燃气轮机装机/MW	8.60
协调层1储能容量/(MW∙h)	175
协调层2储能容量/(MW∙h)	112.5
可再生能源装机占比/%	92.33
可再生能源发电占比/%	70.04
经济性/亿元	257.31
源荷匹配率(满载)/%	97.16

规划指标	规划结果
可再生能源渗透率/%	70
分布层1-1光伏装机/MW	47.04
分布层1-1风电装机/MW	3.00
分布层1-1燃气轮机装机/MW	4.80
分布层1-2光伏装机/MW	137.20
分布层1-2风电装机/MW	3.00
分布层1-2燃气轮机装机/MW	14.00
分布层1-3光伏装机/MW	125.26
分布层1-3风电装机/MW	3.00
分布层1-3燃气轮机装机/MW	8.00
分布层2-1光伏装机/MW	50.96
分布层2-1风电装机/MW	3.00
分布层2-1燃气轮机装机/MW	5.20
分布层2-2光伏装机/MW	60.76
分布层2-2风电装机/MW	3.00
分布层2-2燃气轮机装机/MW	6.20
分布层2-3光伏装机/MW	124.28
分布层2-3风电装机/MW	3.00
分布层2-3燃气轮机装机/MW	8.60
协调层1储能容量/(MW∙h)	175
协调层2储能容量/(MW∙h)	112.5
可再生能源装机占比/%	92.33
可再生能源发电占比/%	70.04
经济性/亿元	257.31
源荷匹配率(满载)/%	97.16

参数	集中—分布式形态方案	传统方案
可再生能源渗透率/%	70	0
源荷匹配率(满载)/%	97.16	100.00
源荷匹配率(半载)/%	100.00	100.00
变电站平均负载率/%	60.79	59.01
经济性/亿元	257.31	303.76

基于Q-learning的集中-分布式形态配电网分层分区及网架规划方法

Q-Learning-Based Method for Distribution Layer Partitioning and Grid Planning in Hybrid Centralized-Distributed Networks

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

图/表 10

参考文献 23

相关文章 15

编辑推荐

Metrics

[1]	李建林, 彭禹宸, 王茜, 姜晓霞, 王垒. 锂离子电池建模研究现状与展望[J]. 发电技术, 2025, 46(5): 857-871.
[2]	马浩然, 袁至, 王维庆, 李骥. 考虑数据中心和储能接入的主动配电网经济调度研究[J]. 发电技术, 2025, 46(4): 748-757.
[3]	王杰, 徐立军, 李笑竹, 樊小朝, 古丽扎提∙海拉提null, 王维庆. 计及灵活性不足风险的配电网智能软开关与多类型共享储能协调优化[J]. 发电技术, 2025, 46(4): 758-767.
[4]	高杉, 邢洁, 单英浩, 顾怡. 考虑光伏换相与柔性负荷协同的配电网三相不平衡研究[J]. 发电技术, 2025, 46(4): 768-777.
[5]	陈艺璇, 王嘉阳, 卓映君, 卢斯煜, 周保荣. 人工智能在电力系统运行模拟加速中的应用综述[J]. 发电技术, 2025, 46(3): 467-481.
[6]	刘宿城, 栾李, 李龙, 洪涛, 刘晓东. 基于人工智能的直流微电网大信号稳定性评估方法研究[J]. 发电技术, 2025, 46(3): 496-507.
[7]	闫正义, 赵康, 王凯. 基于强化学习的新型电力系统优化策略应用综述[J]. 发电技术, 2025, 46(3): 508-520.
[8]	赵睿智, 练小林, 应凯文, 柳杰, 李丝雨, 高扬. 基于改进二进制粒子群优化算法的综合能源系统故障定位研究[J]. 发电技术, 2025, 46(2): 231-239.
[9]	王奎, 余梦, 张海静, 李妍, 刘哲, 郭军红. 面向光伏消纳和冰蓄冷空调群低碳需求响应的新型配电系统多时间尺度优化策略[J]. 发电技术, 2025, 46(2): 284-295.
[10]	杨剑锋, 李婷, 杨爱民, 冯子宁. 含电能路由器的光伏配电网电压越限问题潮流优化研究[J]. 发电技术, 2025, 46(1): 113-125.
[11]	吴任博, 黄奕俊. 高比例可再生能源接入下含自愈性能的分布式配电网重构策略研究[J]. 发电技术, 2024, 45(5): 975-982.
[12]	王伟杰, 曾鑫洁, 徐远途, 李书仪, 阮灿华, 童宁, 武小梅. 基于正序突变量相轨迹辨识的可再生能源配电网电流保护[J]. 发电技术, 2024, 45(4): 753-764.
[13]	杜婉琳, 王玲, 罗威, 朱远哲, 吕鸿, 马潇男, 周霞. 基于深度强化学习的有源配电网电压分层控制策略[J]. 发电技术, 2024, 45(4): 734-743.
[14]	刘洪波, 刘珅诚, 盖雪扬, 刘永发, 阎禹同. 高比例新能源接入的主动配电网规划综述[J]. 发电技术, 2024, 45(1): 151-161.
[15]	韩一鸣, 徐鹏飞, 宫建锋, 申雅茹. 基于用户侧需求的电网发展经营综合评价体系研究[J]. 发电技术, 2022, 43(4): 636-644.