异构图像融合算法及其在电力设施检测中的应用研究

doi:10.12096/j.2096-4528.pgt.24003

发电技术 ›› 2024, Vol. 45 ›› Issue (3): 558-565.DOI: 10.12096/j.2096-4528.pgt.24003

异构图像融合算法及其在电力设施检测中的应用研究

贾梦涵¹, 刘刚¹, 徐世杰², 吴双应²

^1.上海电力大学自动化工程学院, 上海市杨浦区 200090
^2.重庆大学能源与动力工程学院, 重庆市沙坪坝区 400044

收稿日期:2024-03-11 修回日期:2024-05-01 出版日期:2024-06-30 发布日期:2024-07-01
通讯作者: 刘刚
作者简介:贾梦涵(1997)，女，硕士研究生，主要研究方向为图像处理与应用，jmh9910@163.com；
刘刚(1977)，男，博士，教授，主要研究方向为图像融合、缺陷检测和深度学习等，本文通信作者，liugang@shiep.edu.cn；
徐世杰(1996)，男，博士研究生，主要研究方向为太阳能综合利用，xsj9629@163.com；
吴双应(1968)，男，博士，教授，主要研究方向为热工理论及其工程应用、太阳能热电转换与利用等，shuangyingwu@126.com。
基金资助:
国家自然科学基金项目(62203224);上海市地方院校能力建设专项计划项目(22010501300)

Heterogeneous Image Fusion Algorithm and Its Application in Power Facility Detection Research

Menghan JIA¹, Gang LIU¹, Shijie XU², Shuangying WU²

^1.Department of Automation, Shanghai University of Electric Power, Yangpu District, Shanghai 200090, China
^2.School of Energy and Power Engineering, Chongqing University, Shapingba District, Chongqing 400044, China

Received:2024-03-11 Revised:2024-05-01 Published:2024-06-30 Online:2024-07-01
Contact: Gang LIU
Supported by:
National Natural Science Foundation of China(62203224);Shanghai Special Plan for Local Colleges and Universities Capacity Building(22010501300)

摘要/Abstract

摘要：

目的电力设施的及时、准确检测对保障能源供应的可靠性至关重要，而单一传感器在电力设施检测中存在一定的局限性，为此，提出了一种基于显著性检测的多尺度特征异构图像融合算法。方法采用边缘制导网络从红外图像中提取显著目标，生成显著目标掩模；在每个区域建立特定的损失函数，结合显著目标掩模引导网络进行特征提取；基于特征层次的定向异构融合方法，将不同尺度的深度特征进行定向结合，最大限度地减少信息丢失。结果在TNO数据集上进行的主观与客观实验表明，该算法在大多数评估指标上优于其他方法，验证了其在电力设施检测领域应用的有效性。结论该算法有效解决了检测率较低和信息丢失的问题，使电力设施的检测更全面准确，对提高电力设备故障检测的准确度和诊断效率具有重要意义。

关键词: 电力设施检测, 异构图像融合, 目标检测, 深度学习

Abstract:

Objectives Timely and accurate detection of power facilities is very important to ensure the reliability of energy supply. However, a single sensor has certain limitations in the detection of power facilities. Therefore, a multi-scale feature heterogeneous image fusion algorithm based on saliency detection was proposed. Methods Firstly, the edge guidance network was used to extract the salient target from the infrared image to generate the salient target mask. Secondly, a specific loss function was established in each region, and the salient target mask was used to guide the network for feature extraction. Finally, a directional heterogeneous fusion method based on feature hierarchy was proposed, which combined the depth features of different scales to minimize information loss. Results Subjective and objective experiments on the TNO dataset show that the algorithm is superior to other methods in most evaluation indicators, which verifies the effectiveness of its application in the field of power facilities detection. Conclusions The algorithm effectively solves the problems of low detection rate and information loss, and makes the detection of power facilities more comprehensive and accurate. It is of great significance to improve the accuracy and diagnostic efficiency of power equipment fault detection.

Key words: power facility detection, heterogeneous image fusion, target detection, deep learning

中图分类号:

TM 76

贾梦涵, 刘刚, 徐世杰, 吴双应. 异构图像融合算法及其在电力设施检测中的应用研究[J]. 发电技术, 2024, 45(3): 558-565.

Menghan JIA, Gang LIU, Shijie XU, Shuangying WU. Heterogeneous Image Fusion Algorithm and Its Application in Power Facility Detection Research[J]. Power Generation Technology, 2024, 45(3): 558-565.

图/表 8

图1 融合算法的网络框架Conv—3×3的卷积；EGNet—边缘制导网络；PSFEM—渐进显著目标特征提取模块；NLSEM—非局部显著边缘特征提取模块；O2OGM—指导模块；L—最终损失函数；Lp—像素损失函数；Lgrad—梯度损失函数；Lpixelback—背景像素损失；Lpixelsalient—显著像素损失；Lgradback—背景梯度损失；Lgradsalient—显著梯度损失；α—控制不同区域损失平衡的超参数。

Fig. 1 Network framework of fusion algorithm

图2 编码器和解码器结构

Fig. 2 Structure of encoder and decoder

图3 训练过程框架和模块通道数量

Fig. 3 Framework of training process and number of module channels

图4 TNO数据集中对伞图像的定性比较

Fig. 4 Qualitative comparison of umbrella image pairs in TNO dataset

图5 TNO数据集中对人图像的定性比较

Fig. 5 Qualitative comparison of man image pairs in TNO dataset

表1 对比实验的客观评价

Tab. 1 Objective evaluation of comparative experiments

方法	EN	VIF	MSE	SCD	MS_SSIM	FMI_pixel
CBF	6.856 0	0.445 8	0.061 1	1.517 4	0.587 6	0.835 8
FusionGAN	6.674 2	0.641 7	0.062 5	1.707 0	0.787 8	0.887 3
GANMcC	6.859 2	0.759 9	0.056 6	1.864 1	0.899 1	0.898 8
RFN-Nest	6.992 1	0.792 8	0.062 3	1.943 0	0.921 9	0.905 6
FPDE	6.237 0	0.650 4	0.045 1	1.735 9	0.888 7	0.893 0
LatLRR	6.895 0	0.891 3	0.082 4	1.758 1	0.849 1	0.907 7
U2Fusion	7.009 1	0.683 1	0.055 4	1.923 6	0.935 5	0.896 6
IFEVIP	6.895 0	0.905 0	0.082 4	1.758 1	0.849 1	0.907 7
Deepfuse	6.157 4	0.880 2	0.045 0	1.737 4	0.884 0	0.906 6
Densefuse	6.874 2	0.880 2	0.060 0	1.960 1	0.950 7	0.906 7
本文算法	7.026 2	0.883 7	0.056 5	1.960 7	0.939 3	0.907 9

图6 图像融合结果

Fig. 6 Image fusion results

图7 红外、可见光和融合图像检测结果

Fig. 7 Detection results of infrared, visible and fusion images

参考文献 33

1	彭超逸，张昆，胡亚平，等．动态监测系统在电力市场环境下的应用[J]．发电技术，2021，42(5)：595-603． doi:10.12096/j.2096-4528.pgt.20019
	PENG C Y， ZHANG K， HU Y P，et al ．Application of dynamic monitoring system in electric power market[J]．Power Generation Technology，2021，42(5)：595-603． doi:10.12096/j.2096-4528.pgt.20019
2	王志伟，王伟，李德鑫，等．冰灾天气下考虑输配协同的电-热联合系统韧性提升策略[J]．电力建设，2024，45(5)：9-18． doi:10.12204/j.issn.1000-7229.2024.05.002
	WANG Z W， WANG W， LI D X，et al ．Enhancing resilience in electric-heat combined system：coordinated approach for transmission and distribution network during ice disasters[J]．Electric Power Construction，2024，45(5)：9-18． doi:10.12204/j.issn.1000-7229.2024.05.002
3	高伟，郭美青，张兴忠，等．基于改进PP-YOLOv2的红外图像电力设备检测[J]．计算机仿真，2023，40(9)：81-87． doi:10.3969/j.issn.1006-9348.2023.09.016
	GAO W， GUO M Q， ZHANG X Z，et al ．Infrared image power equipment detection based on improved PP-YOLOv2[J]．Computer Simulation，2019，40(9)：81-87． doi:10.3969/j.issn.1006-9348.2023.09.016
4	彭曙蓉，刘登港，何洁妮，等．基于改进YOLOv4的架空线路电力设备故障检测[J]．电力科学与技术学报，2023，38(5)：169-176．
	FENG S R， LIU D G， HE J N，et al ．Fault detection for overhead line power equipment based on improved YOLOv4[J]．Journal of Electric Power Science and Technology，2023，38(5)：169-176．
5	杨俊，高昱峰，张可，等．基于图像边缘检测和法向探测的导线覆冰监测方法[J]．电网与清洁能源，2023，39(2)：24-32． doi:10.3969/j.issn.1674-3814.2023.02.004
	YANG J， GAO Y F， ZHANG K，et al ．A conductor icing monitoring method based on image edge detection and normal direction detection[J]．Power System and Clean Energy，2023，39(2)：24-32． doi:10.3969/j.issn.1674-3814.2023.02.004
6	袁朝晖，付文龙，李佰霖，等．基于多策略分割融合与形态特征辨识的变电站保护压板状态识别[J]．电力系统保护与控制，2022，50(1)：98-106．
	YUAN Z H， FU W L， LI B L，et al ．Protection platen status recognition for a smart substation based on multi-strategy segmentation and fusion and morphological feature identification[J]．Power System Protection and Control，2022，50(1)：98-106．
7	张少平．输电线路典型目标图像识别技术研[D]．南京：南京航空航天大学，2012．
	ZHANG S P ．Research on typical target image recognition technology of transmission lines[D]．Nanjing：Nanjing University of Aeronautics and Astronautics，2012．
8	方明，孙晓敏，黄然，等．面向高分辨率卫星遥感的电力杆塔自动检测[J]．航天返回与遥感，2021，42(5)：118-126． doi:10.3969/j.issn.1009-8518.2021.05.013
	FANG M， SUN X M， HUANG R，et al ．Automatic power tower detection for high-resolution satellite Remote sensing[J]．Space Return and Remote Sensing，2021，42(5)：118-126． doi:10.3969/j.issn.1009-8518.2021.05.013
9	史晋涛，李喆，顾超越，等．基于样本扩充的Faster R-CNN电网异物监测技术[J]．电网技术，2020，44(1)：44-51．
	SHI J T， LI Z， GU C Y，et al ．Faster R-CNN foreign body monitoring technology based on sample expansion[J]．Power Grid Technology，2020，44(1)：44-51．
10	郑鑫，潘斌，张健．可变形网络与迁移学习相结合的电力塔遥感影像目标检测法[J]．测绘学报，2020，49(8)：1042-1050． doi:10.11947/j.AGCS.2020.20190356
	ZHENG X， PAN B， ZHANG J ．Remote sensing image detection method of power tower based on deformable network and transfer learning[J]．Journal of Surveying and Mapping，2020，49(8)：1042-1050． doi:10.11947/j.AGCS.2020.20190356
11	胡青云，黄应敏，许翠珊，等．基于深度神经网络的电力电缆故障检测方法研究[J]．电子设计工程，2020，28(24)：165-168．
	HU Q Y， HUANG Y M， XU C S，et al ．Research on power cable fault detection method based on deep neural network[J]．Electronic Design Engineering，2020，28(24)：165-168．
12	DAVARI N， AKBARIZADEH G， MASHHOUR E ．Intelligent diagnosis of incipient fault in power distribution lines based on corona detection in UV-visible videos[J]．IEEE Transactions on Power Delivery，2020，36(6)：3640-3648． doi:10.1109/tpwrd.2020.3046161
13	李金恒．基于卷积神经网络的电力设备红外图像检测方法研究[D]．南宁：广西大学，2021．
	LI J H ．Research on infrared image detection method of power equipment based on convolutional neural network[D]．Nanning：Guangxi University，2021．
14	王刘旺．机器视觉技术在电力安全监控中的应用综述[J]．浙江电力，2022，41(10)：16-26．
	WANG L W ．Areview of the application of machine vision in power safety monitoring[J]．Zhejiang Electric Power，2022，41(10)：16-26．
15	刘君，邓毅，杨延西，等．基于深度学习的空预器转子红外补光图像积灰状态识别[J]．发电技术，2022，43(3)：510-517． doi:10.12096/j.2096-4528.pgt.20122
	LIU J， DENG Y， YANG Y X，et al ．Ash accumulation state identification for infrared compensation images of air preheater rotor based on deep learning method[J]．Power Generation Technology，2022，43(3)：510-517． doi:10.12096/j.2096-4528.pgt.20122
16	张峰．面向电力设备故障检测的红外与可见光图像融合算法研究[D]．石家庄：石家庄铁道大学，2023．
	ZHANG F ．Research on infrared and visible light image fusion algorithm for power equipment fault detection[D]．Shijiazhuang：Shijiazhuang Tiedao University，2023．
17	郭子琦．红外与可见光图像融合方法及在电力设备监测的应用研究[D]．长沙：长沙理工大学，2022． doi:10.1016/j.infrared.2022.104178
	GUO Z Q ．Research on infrared and visible image fusion method and its application in power equipment monitoring[D]．Changsha：Changsha University of Science & Technology，2022． doi:10.1016/j.infrared.2022.104178
18	MA J， MA Y， LI C ．Infrared and visible image fusion methods and applications：a survey[J]．Information Fusion，2019，45：153-178． doi:10.1016/j.inffus.2018.02.004
19	WANG J， PENG J， FENG X，et al ．Fusion method for infrared and visible images by using non-negative sparse representation[J]．Infrared Physics & Technology，2014，67：477-489． doi:10.1016/j.infrared.2014.09.019
20	SINGH R， VATSA M， NOORE A ．Integrated multilevel image fusion and match score fusion of visible and infrared face images for robust face recognition[J]．Pattern Recognition，2008，41(3)：880-893． doi:10.1016/j.patcog.2007.06.022
21	MA J， TANG L， XU M，et al ．STDFusionNet：an infrared and visible image fusion network based on salient target detection[J]．IEEE Transactions on Instrumentation and Measurement，2021，70：1-13． doi:10.1109/tim.2021.3075747
22	ZHANG Y， ZHANG L， BAI X，et al ．Infrared and visual image fusion through infrared feature extraction and visual information preservation[J]．Infrared Physics & Technology，2017，83：227-237． doi:10.1016/j.infrared.2017.05.007
23	KUMAR B S ．Image fusion based on pixel significance using cross bilateral filter[J]．Signal，Image and Video Processing，2015，9(5)：1193-1204． doi:10.1007/s11760-013-0556-9
24	BAVIRISETTI D P， XIAO G， LIU G ．Multi-sensor image fusion based on fourth order partial differential equations[C]//2017 20th International Conference on Information Fusion，Xi’an，China：IEEE，2017：1-9． doi:10.23919/icif.2017.8009719
25	LI H， WU X J ．Infrared and visible image fusion using latent low-rank representation[J]．ArXiv，2018，4：8992．
26	LI H， WU X J ．DenseFuse：a fusion approach to infrared and visible images[J]．IEEE Transactions on Image Processing，2018，28(5)：2614-2623． doi:10.1109/tip.2018.2887342
27	PRABHAKAR K R， SRIKAR V S， BABU R V ．Deepfuse：a deep unsupervised approach for exposure fusion with extreme exposure image pairs[C]//Proceedings of 2017 IEEE International Conference on Computer Vision．Venice，Italy：IEEE，2017：4724-4732． doi:10.1109/iccv.2017.505
28	MA J， YU W， LIANG P，et al ．FusionGAN：a generative adversarial network for infrared and visible image fusion[J]．Information Fusion，2019，48：11-26． doi:10.1016/j.inffus.2018.09.004
29	LI H， WU X J， KITTLER J ．RFN-Nest：an end-to-end residual fusion network for infrared and visible images[J]．Information Fusion，2021，73：72-86． doi:10.1016/j.inffus.2021.02.023
30	MA J， ZHANG H， SHAO Z，et al ．GANMcC：a generative adversarial network with multiclassification constraints for infrared and visible image fusion[J]．IEEE Transactions on Instrumentation and Measurement，2020，70：1-14． doi:10.1109/tim.2020.3038013
31	XU H， MA J， JIANG J，et al ．U2Fusion：a unified unsupervised image fusion network[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，2022，44(1)：502-518． doi:10.1109/tpami.2020.3012548
32	XU X， LIU G， BAVIRISETTI D P，et al ．Fast detection fusion network (FDFnet)：an end to end object detection framework based on heterogeneous image fusion for power facility inspection[J]．IEEE Transactions on Power Delivery，2022，37(6)：4496-4505． doi:10.1109/tpwrd.2022.3150110
33	LI Y， NI M， LU Y ．Insulator defect detection for power grid based on light correction enhancement and YOLOv5 model[J]．Energy Reports，2022，8：807-814． doi:10.1016/j.egyr.2022.08.027

[1]	封钰, 宋佑斌, 金晟, 冯家欢, 史雪晨, 俞永杰, 黄弦超. 基于随机森林算法和粗糙集理论的改进型深度学习短期负荷预测模型[J]. 发电技术, 2023, 44(6): 889-895.
[2]	董光德, 李道明, 陈咏涛, 马兴, 付昂, 穆钢, 肖白. 基于粒子群优化与卷积神经网络的电能质量扰动分类方法[J]. 发电技术, 2023, 44(1): 136-142.
[3]	陈尚年, 李录平, 张世海, 欧阳敏南, 樊昂, 文贤馗. 汽轮发电机组振动故障诊断技术研究进展[J]. 发电技术, 2021, 42(4): 489-499.
[4]	张国栋,蒲海涛,刘凯. 基于深度学习的小电流接地系统故障选线方法[J]. 发电技术, 2019, 40(6): 548-554.
[5]	李相俊,许格健. 基于长短期记忆神经网络的风力发电功率预测方法[J]. 发电技术, 2019, 40(5): 426-433.
[6]	朱永利,石鑫,王刘旺. 人工智能在电力系统中应用的近期研究热点介绍[J]. 发电技术, 2018, 39(3): 204-212.

异构图像融合算法及其在电力设施检测中的应用研究

Heterogeneous Image Fusion Algorithm and Its Application in Power Facility Detection Research

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

图/表 8

参考文献 33

相关文章 6

编辑推荐

Metrics