基于强化学习的固体氧化物燃料电池输出电压自抗扰控制研究

doi:10.12096/j.2096-4528.pgt.24017

发电技术 ›› 2024, Vol. 45 ›› Issue (6): 1163-1172.DOI: 10.12096/j.2096-4528.pgt.24017

• 新能源 • 上一篇

基于强化学习的固体氧化物燃料电池输出电压自抗扰控制研究

管超骏¹, 雷正玲¹, 霍海波¹, 王芳¹, 姚国全², 刘涛³

^1.上海海洋大学工程学院，上海市浦东新区 201306
^2.高性能舰船技术教育部重点实验室(武汉理工大学)，湖北省武汉市 430063
^3.上海海事大学交通运输学院，上海市浦东新区 201306

收稿日期:2024-01-22 修回日期:2024-04-29 出版日期:2024-12-31 发布日期:2024-12-30
通讯作者: 雷正玲
作者简介:管超骏(1994)，男，硕士研究生，研究方向为燃料电池建模与跟踪控制，17621922877@163.com；
雷正玲(1988)，女，博士，讲师，研究方向为新能源动力系统建模与控制、基于深度学习方法的新能源功率预测等，本文通信作者，zllei@shou.edu.cn；
姚国全(1987)，男，硕士，实验师，研究方向为船舶水动力学、船舶性能试验技术、海洋智能装备建模与控制等，604617856@qq.com；
刘涛(1988)，男，博士，副教授，研究方向为人工智能、智能交通、大数据等，dlmult@hotmail.com。
基金资助:
国家自然科学基金项目(52301420);高性能舰船技术教育部重点实验室开放基金课题项目(GXNC23052801);上海市地方院校能力建设计划项目(23010502200)

Active Disturbance Rejection Control of Output Voltage of Solid Oxide Fuel Cell Based on Reinforcement Learning

Chaojun GUAN¹, Zhengling LEI¹, Haibo HUO¹, Fang WANG¹, Guoquan YAO², Tao LIU³

^1.College of Engineering Science and Technology, Shanghai Ocean University, Pudong New District, Shanghai 201306, China
^2.Key Laboratory of High Performance Ship Technology of the Ministry of Education (Wuhan University of Technology), Wuhan 430063, Hubei Province, China
^3.College of Transport and Communications, Shanghai Maritime University, Pudong New District, Shanghai 201306, China

Received:2024-01-22 Revised:2024-04-29 Published:2024-12-31 Online:2024-12-30
Contact: Zhengling LEI
Supported by:
National Natural Science Foundation of China(52301420);Open Fund of Key Laboratory of High Performance Ship Technology of the Ministry of Education(GXNC23052801);Capacity Building Project of Local Universities in Shanghai(23010502200)

摘要/Abstract

摘要：

目的为提升固体氧化物燃料电池(solid oxide fuel cell，SOFC)系统性能及寿命，以100 kW SOFC系统为研究对象，探究在保证输出电压跟踪性能的同时，通过强化学习不断调整控制器系数以实现最佳的综合性能。方法建立基于机理的SOFC输出电压系统模型，采用改进型的非线性自抗扰控制器(nonlinear active disturbance rejection control，NLADRC)，通过控制输入燃气流量，使输出电压很好地跟踪参考值。考虑到传统的单通道控制器无法同时满足多个目标，但若采用双通道控制器则会导致系统复杂性、成本和故障风险增加，提出一种基于双延迟深度确定性策略梯度(twin delayed deep deterministic policy gradient，TD3)的改进型非线性自抗扰控制器，对非线性误差反馈控制律系数进行实时调节和优化。结果所设计控制器可在不违反燃料利用约束的情况下提高SOFC输出电压跟踪性能。结论所设计控制器具备适应性强、稳定性高和能克服不确定性等优点，为实际SOFC系统的输出电压控制器设计提供理论参考。

关键词: 固体氧化物燃料电池(SOFC), 双延迟深度确定性策略梯度(TD3), 非线性自抗扰控制器(NLADRC), 燃料利用率, 非线性误差反馈控制律, 输出电压跟踪, 不确定性

Abstract:

Objectives In order to improve the performance and lifetime of solid oxide fuel cell (SOFC) systems, the 100 kW SOFC system was taken as the research object. The continuous adjustment of the controller coefficients was explored through reinforcement learning to realize the best comprehensive performance, while ensuring the output voltage tracking performance. Methods A mechanism-based SOFC output voltage system model was established, an improved nonlinear active disturbance rejection controller (NLADRC) was used to make the output voltage track the reference value well by controlling the input gas flow. Conventional single-channel controllers can only satisfy one objective at a time, and dual-channel controllers will increase system complexity, cost and risk of failure. An improved NLADRC controller based on the twin delayed deep deterministic policy gradient (TD3) was proposed to optimize the coefficients of nonlinear error feedback control law. Results The designed controller can improve SOFC output voltage tracking performance without violating fuel utilization constraints. Conclusions The designed controller has the advantages of strong adaptability, high stability, and the ability to overcome uncertainty, providing theoretical reference for designing output voltage controllers in practical SOFC systems.

Key words: solid oxide fuel cell (SOFC), twin delayed deep deterministic policy gradient (TD3), nonlinear active disturbance rejection control (NLADRC), fuel utilization, nonlinear error feedback control law, output voltage tracking, uncertainty

中图分类号:

TM 911.4

管超骏, 雷正玲, 霍海波, 王芳, 姚国全, 刘涛. 基于强化学习的固体氧化物燃料电池输出电压自抗扰控制研究[J]. 发电技术, 2024, 45(6): 1163-1172.

Chaojun GUAN, Zhengling LEI, Haibo HUO, Fang WANG, Guoquan YAO, Tao LIU. Active Disturbance Rejection Control of Output Voltage of Solid Oxide Fuel Cell Based on Reinforcement Learning[J]. Power Generation Technology, 2024, 45(6): 1163-1172.

图/表 9

图1 固体氧化物燃料电池模型结构

Fig. 1 Solid oxide fuel cell model structure

表1 SOFC系统参数取值

Tab. 1 Values for SOFC system parameters

参数	数值
绝对温度 $T 0$ / $K$	1 273
法拉第常数 $F 0$ /（ $C / m o l$ ）	96 485
通用气体常数 $R 0$ / $[J / (m o l ⋅ K)]$	8.314
理想标准电位 $E 0$ / $V$	1.18
电池数 $N$ ₀	384
常数 $K r$ / $[m o l / (s ⋅ A)]$	$0.996 × 10 - 6$
氢气的阀摩尔常数 $K H 2$ $/ [m o l / (s ⋅ P a$ $)]$	$8.32 × 10 - 6$
水蒸气的阀摩尔常数 $K H 2 O$ $/ [m o l / (s ⋅ P a)]$	$2.77 × 10 - 6$
氧气的阀摩尔常数 $K O 2$ $/ [m o l / (s ⋅ P a$ $)]$	$2.49 × 10 - 6$
氢气流响应时间 $τ H 2$ $/$ $s$	26.1
水的响应时间 $τ H 2 O$ $/$ $s$	78.3
氧气流响应时间 $τ O 2$ $/$ $s$	2.91
燃料重整时间常数 $τ f$ $/$ $s$	5
氢氧比 $τ H - O$	1.145

表1 SOFC系统参数取值

Tab. 1 Values for SOFC system parameters

参数	数值
绝对温度 $T 0$ / $K$	1 273
法拉第常数 $F 0$ /（ $C / m o l$ ）	96 485
通用气体常数 $R 0$ / $[J / (m o l ⋅ K)]$	8.314
理想标准电位 $E 0$ / $V$	1.18
电池数 $N$ ₀	384
常数 $K r$ / $[m o l / (s ⋅ A)]$	$0.996 × 10 - 6$
氢气的阀摩尔常数 $K H 2$ $/ [m o l / (s ⋅ P a$ $)]$	$8.32 × 10 - 6$
水蒸气的阀摩尔常数 $K H 2 O$ $/ [m o l / (s ⋅ P a)]$	$2.77 × 10 - 6$
氧气的阀摩尔常数 $K O 2$ $/ [m o l / (s ⋅ P a$ $)]$	$2.49 × 10 - 6$
氢气流响应时间 $τ H 2$ $/$ $s$	26.1
水的响应时间 $τ H 2 O$ $/$ $s$	78.3
氧气流响应时间 $τ O 2$ $/$ $s$	2.91
燃料重整时间常数 $τ f$ $/$ $s$	5
氢氧比 $τ H - O$	1.145

图2 二阶非线性自抗扰控制器结构

Fig. 2 Structure of second-order nonlinear active disturbance rejection control

图3 TD3算法结构

Fig. 3 TD3 algorithm structure

图4 ADRC-TD3总体控制策略框架

Fig. 4 Structure framework of ADRC-TD3 overall control

表2 ADRC-TD3算法主要超参数

Tab. 2 Main hyperparameters of ADRC-TD3 algorithm

参数	取值
折扣因子	0.99
经验池大小	2×10⁶
Actor网络学习率	0.001
Critic网络学习率	0.000 1
样本学习个数	128
训练步数	4 000
软更新系数	0.005
延迟更新参数	2

图5 ADRC-TD3算法调节过程奖励

Fig. 5 ADRC-TD3 algorithm adjustment process reward

图6 给定电压信号跟踪实验仿真结果对比

Fig. 6 Comparison of simulation results of given voltage signal tracking experiments

图7 负载电流扰动实验仿真结果对比

Fig. 7 Comparison of simulation results for load current disturbance experiments

参考文献 25

1	YANG B， LI Y， LI J，et al ．Comprehensive summary of solid oxide fuel cell control：a state-of-the-art review[J]．Protection and Control of Modern Power Systems，2022，7(3)：1-31． doi:10.1186/s41601-022-00251-0
2	NECHACHE A， HODY S ．Alternative and innovative solid oxide electrolysis cell materials：a short review[J]．Renewable and Sustainable Energy Reviews，2021，149：111322． doi:10.1016/j.rser.2021.111322
3	郭心如，郭雨旻，罗方，等．磷酸燃料电池的能效、㶲及生态特性分析[J]．发电技术，2022，43(1)：73-82．
	GUO X R， GUO Y M， LUO F，et al ．Analysis of energy，exergy and ecology characteristics of phosphoric acid fuel cell[J]．Power Generation Technology，2022，43(1)：73-82．
4	和萍，祁盼，申润杰，等．计及风电和燃料电池的综合能源系统阻尼特性分析[J]．电力科学与技术学报，2020，35(1)：14-23．
	HE P， QI P， SHEN R J，et al ．Analysis of damping characteristics of an integrated energy system with hybrid wind-fuel cells integrated[J]．Journal of Electric Power Science and Technology，2020，35(1)：14-23．
5	LAN T， STRUNZ K ．Multiphysics transients modeling of solid oxide fuel cells：methodology of circuit equivalents and use in EMTP-type power system simulation[J]．IEEE Transactions on Energy Conversion，2017，32(4)：1309-1321． doi:10.1109/TEC.2017.2687886
6	BAO C， WANG Y， FENG D，et al ．Macroscopic modeling of solid oxide fuel cell (SOFC) and model-based control of SOFC and gas turbine hybrid system[J]．Progress in Energy and Combustion Science，2018，66：83-140． doi:10.1016/j.pecs.2017.12.002
7	张瑞宇，王雨晴，任佳伟．基于丙烷催化部分氧化的微管式固体氧化物燃料电池系统特性研究[J]．发电技术，2024，45(3)：486-493．
	ZHANG R Y， WANG Y Q， REN J W ．Characteristics research of a micro-tubular solid oxide fuel cell system based on catalytic partial oxidation of propane[J]．Power Generation Technology，2024，45(3)：486-493．
8	李林，刘彤宇，李爽，等．甲醇重整制氢燃料电池发电研究进展[J]．发电技术，2022，43(1)：44-53． doi:10.12096/j.2096-4528.pgt.21116
	LI L， LIU T Y， LI S，et al ．Research progress of hydrogen production by methanol reforming for fuel cell power generation[J]．Power Generation Technology，2022，43(1)：44-53． doi:10.12096/j.2096-4528.pgt.21116
9	KOMATSU Y， BRUS G， KIMIJIMA S，et al ．The effect of overpotentials on the transient response of the 300 W SOFC cell stack voltage[J]．Applied Energy，2014，115：352-359． doi:10.1016/j.apenergy.2013.11.017
10	SUN L， JIN Y， SHEN J，et al ．Sustainable residential micro-cogeneration system based on a fuel cell using dynamic programming-based economic day-ahead scheduling[J]．ACS Sustainable Chemistry & Engineering，2021，9(8)：3258-3266． doi:10.1021/acssuschemeng.0c08725
11	王倩如，王彩霞，顾吉鹏．固体氧化物燃料电池的神经模糊控制策略研究[J]．热能动力工程，2022，37(10)：198-206． doi:10.1016/j.apenergy.2021.118214
	WANG Q R， WANG C X， GU J P ．Study on neural fuzzy control strategy of solid oxide fuel cell[J]．Journal of Engineering for Thermal Energy and Power，2022，37(10)：198-206． doi:10.1016/j.apenergy.2021.118214
12	ZHANG T， LI H， TU X，et al ．Optimization of SOC fractional PID control parameters for solid oxide battery based on improved firefly algorithm[C]//2021 3rd International Conference on Industrial Artificial Intelligence (IAI)．Shenyang，China：IEEE，2021：1-5． doi:10.1109/iai53119.2021.9619450
13	WU X， GAO D ．Optimal robust control strategy of a solid oxide fuel cell system[J]．Journal of Power Sources，2018，374：225-236． doi:10.1016/j.jpowsour.2017.10.070
14	ABBAKER A O， WANG H， TIAN Y ．Voltage control of solid oxide fuel cell power plant based on intelligent proportional integral-adaptive sliding mode control with anti-windup compensator[J]．Transactions of the Institute of Measurement and Control，2020，42(1)：116-130． doi:10.1177/0142331219867779
15	LI J， YU T， YANG B ．A data-driven output voltage control of solid oxide fuel cell using multi-agent deep reinforcement learning[J]．Applied Energy，2021，304：117541． doi:10.1016/j.apenergy.2021.117541
16	LI J， YU T ．A novel data-driven controller for solid oxide fuel cell via deep reinforcement learning[J]．Journal of Cleaner Production，2021，321：128929． doi:10.1016/j.jclepro.2021.128929
17	HAN J ．From PID to active disturbance rejection control[J]．IEEE Transactions on Industrial Electronics，2009，56(3)：900-906． doi:10.1109/tie.2008.2011621
18	ZHOU J， XUE S， XUE Y，et al ．A novel energy management strategy of hybrid electric vehicle via an improved TD3 deep reinforcement learning[J]．Energy，2021，224：120118． doi:10.1016/j.energy.2021.120118
19	PADULLES J， AULT G W， MCDONALD J R ．An integrated SOFC plant dynamic model for power systems simulation[J]．Journal of Power sources，2000，86(1/2)：495-500． doi:10.1016/s0378-7753(99)00430-9
20	SUN L， HUA Q， SHEN J，et al ．A combined voltage control strategy for fuel cell[J]．Sustainability，2017，9(9)：1517． doi:10.3390/su9091517
21	LI Y， SHEN J， LU J ．Constrained model predictive control of a solid oxide fuel cell based on genetic optimization[J]．Journal of Power Sources，2011，196(14)：5873-5880． doi:10.1016/j.jpowsour.2011.03.010
22	ZHAO C， LI D ．Control design for the SISO system with the unknown order and the unknown relative degree[J]．ISA Transactions，2014，53(4)：858-872． doi:10.1016/j.isatra.2013.10.001
23	LADOSZ P， WENG L， KIM M，et al ．Exploration in deep reinforcement learning：a survey[J]．Information Fusion，2022，85：1-22． doi:10.1016/j.inffus.2022.03.003
24	FUJIMOTO S， VAN HOOF H， MEGER D ．Addressing function approximation error in actor-critic methods[J]．Proceedings of the 35th International Conference on Machine Learning，2018，80：1587-1596．
25	NGUYEN T T， NGUYEN N D， NAHAVANDI S ．Deep reinforcement learning for multiagent systems：a review of challenges，solutions，and applications[J]．IEEE Transactions on Cybernetics，2020，50(9)：3826-3839． doi:10.1109/tcyb.2020.2977374

[1]	叶健强, 孙敦虎. 碳交易条件下基于鲁棒优化的电源规划研究[J]. 发电技术, 2024, 45(3): 566-574.
[2]	张瑞宇, 王雨晴, 任佳伟. 基于丙烷催化部分氧化的微管式固体氧化物燃料电池系统特性研究[J]. 发电技术, 2024, 45(3): 486-493.
[3]	龚思琦, 云再鹏, 许明, 敖乐, 李初福, 黄凯, 孙晨. 基于三元催化剂的固体氧化物燃料电池尾气催化燃烧数值模拟[J]. 发电技术, 2024, 45(2): 331-340.
[4]	付小标, 侯嘉琪, 李宝聚, 温亚坤, 赖晓文, 郭雷, 王志伟, 王尧, 张海锋, 李德鑫. 一种二模态天气分型方法及其在光伏功率概率预测的应用[J]. 发电技术, 2024, 45(2): 299-311.
[5]	贾晓强, 杨永标, 杜姣, 甘海庆, 杨楠. 气候变化条件下基于智能预测模型的虚拟电厂不确定性运行优化研究[J]. 发电技术, 2023, 44(6): 790-799.
[6]	张燕平, 张宇超, 刘易飞. 基于概率可靠度的槽式太阳能电站优化设计[J]. 发电技术, 2020, 41(6): 590-598.
[7]	施云辉,郭创新,丁筱. 基于仿射可调鲁棒优化的园区综合能源系统经济调度[J]. 发电技术, 2020, 41(2): 118-125.
[8]	施云辉,郭创新. 考虑运行风险的含储能综合能源系统优化调度[J]. 发电技术, 2020, 41(1): 56-63.
[9]	张斌,张超,韩晓娟. 含规模化风电并网的负荷频率云PI控制策略研究[J]. 发电技术, 2019, 40(6): 516-520.

基于强化学习的固体氧化物燃料电池输出电压自抗扰控制研究

Active Disturbance Rejection Control of Output Voltage of Solid Oxide Fuel Cell Based on Reinforcement Learning

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

图/表 9

参考文献 25

相关文章 9

编辑推荐

Metrics