异构图像融合算法及其在电力设施检测中的应用研究
1.
2.
Heterogeneous Image Fusion Algorithm and Its Application in Power Facility Detection Research
1.
2.
收稿日期: 2024-03-11 修回日期: 2024-05-01
| 基金资助: |
|
Received: 2024-03-11 Revised: 2024-05-01
作者简介 About authors
目的 电力设施的及时、准确检测对保障能源供应的可靠性至关重要,而单一传感器在电力设施检测中存在一定的局限性,为此,提出了一种基于显著性检测的多尺度特征异构图像融合算法。 方法 采用边缘制导网络从红外图像中提取显著目标,生成显著目标掩模;在每个区域建立特定的损失函数,结合显著目标掩模引导网络进行特征提取;基于特征层次的定向异构融合方法,将不同尺度的深度特征进行定向结合,最大限度地减少信息丢失。 结果 在TNO数据集上进行的主观与客观实验表明,该算法在大多数评估指标上优于其他方法,验证了其在电力设施检测领域应用的有效性。 结论 该算法有效解决了检测率较低和信息丢失的问题,使电力设施的检测更全面准确,对提高电力设备故障检测的准确度和诊断效率具有重要意义。
关键词:
Objectives Timely and accurate detection of power facilities is very important to ensure the reliability of energy supply. However, a single sensor has certain limitations in the detection of power facilities. Therefore, a multi-scale feature heterogeneous image fusion algorithm based on saliency detection was proposed. Methods Firstly, the edge guidance network was used to extract the salient target from the infrared image to generate the salient target mask. Secondly, a specific loss function was established in each region, and the salient target mask was used to guide the network for feature extraction. Finally, a directional heterogeneous fusion method based on feature hierarchy was proposed, which combined the depth features of different scales to minimize information loss. Results Subjective and objective experiments on the TNO dataset show that the algorithm is superior to other methods in most evaluation indicators, which verifies the effectiveness of its application in the field of power facilities detection. Conclusions The algorithm effectively solves the problems of low detection rate and information loss, and makes the detection of power facilities more comprehensive and accurate. It is of great significance to improve the accuracy and diagnostic efficiency of power equipment fault detection.
Keywords:
本文引用格式
贾梦涵, 刘刚, 徐世杰, 吴双应.
JIA Menghan, LIU Gang, XU Shijie, WU Shuangying.
0 引言
早期的电力设施检测研究主要基于传统的图像处理方法,如边缘检测[5]、阈值分割[6]和轮廓检测[7]等,但这些方法存在一些局限性,如对光照、视角变化敏感,依赖手工设计特征等。随着深度学习技术的发展,越来越多的研究者开始尝试将深度学习方法应用于电力设施检测中。文献[8]通过样本数据增广,结合最新的目标检测框架,利用高分辨率卫星图像实现了对电力杆塔的自动检测,并在实验中取得了良好的检测效果。文献[9]采用Faster R-CNN (region-based convolutional neural network)算法,并将隐患目标与背景图像融合,解决了样本不足的问题,为电网安全运行提供了有效监测手段。文献[10]结合可变形网络和迁移学习,对Faster R-CNN进行改进,该框架包括特征提取和目标检测2个部分,利用可变形网络模型改进卷积层提取电力塔几何形变特征,通过模型迁移实现精确检测。文献[11]提出了一种基于深度神经网络的电缆故障检测方法,通过无监督预训练和参数微调,利用仿真数据完成模型训练,并实现了实时故障检测。文献[12]提出了一种基于深度学习的紫外-可见视频处理方法,用于配电线路早期故障诊断。文献[13]利用神经网络的特征学习能力,能够自动提取红外图像中的关键特征并进行故障检测。以上基于深度学习的算法虽然取得了不错的效果,但仍存在以下问题:1)单一传感器在电力设施检测的应用中存在一定的局限性;2)深度学习中存在过多卷积,导致深层次特征图像信息丢失;3)难以识别尺寸较小和处于复杂背景的物体。
基于此,本文提出一种基于显著性检测的多尺度特征异构图像融合算法,利用红外图像的显著区域设计特殊的损失函数来指导融合过程,采用不同的融合策略对多尺度特征进行整合,之后基于嵌套连接的解码器,充分利用融合后的特征来重构图像。
1 基于显著性检测和特征定向融合的图像融合算法
1.1 网络框架
融合算法的网络架构分为4部分,即特征提取网络、定向融合模块、特征重构网络、显著目标与纹理背景提取网络,如图1所示。
图1
图1
融合算法的网络框架
Conv—3×3的卷积;EGNet—边缘制导网络;PSFEM—渐进显著目标特征提取模块;NLSEM—非局部显著边缘特征提取模块;O2OGM—指导模块;L—最终损失函数;Lp—像素损失函数;Lgrad—梯度损失函数;
Fig. 1
Network framework of fusion algorithm
特征提取网络由1个卷积层和4个编码器模块组成。编码器和解码器的结构如图2所示,每个编码器模块包含2个3×3的卷积(Conv)和1个最大池化算子(max-pooling),确保编码器网络在广泛的尺度上提取深度特征,如边界、纹理等简单特征,以及空间、位置等抽象信息。特征提取网络的构建保证了提取特征的最大化。
图2
由于特征具有不同的语义,定向融合模块将不同尺度的特征进行定向组合,生成融合特征图,其中:前2层的特征图保留了更多的可见光图像信息,具有更丰富的纹理和形状细节;后2层的特征图主要保留了内容、空间结构等深层特征。针对这些特点,本文设计了一种特殊的融合策略,即网络的前2层采用加权平均融合策略,后2层采用L1范数融合策略。该融合策略使得特征映射与融合特征映射保持在同一个数量级上,减少了信息丢失。
特征重构网络由解码器模块组成,缺少池化算子,如图2所示,为了避免语义缺口,6个卷积块以嵌套连接的方式构造解码器。特征重构网络利用解码器对融合后的特征图进行处理,重建最终的融合图像。
显著目标与纹理背景提取网络中,在像素级下,将目标掩模和红外图像相乘,得到原显著目标的区域;将背景掩模与对应的可见光图像相乘,得到原背景的纹理区域。同样,将融合后的图像与2种类型的掩模相乘,得到融合后的显著目标区域和融合后的背景区域。随后,利用这4个重要区域构造具体的损失函数,引导网络实现信息融合。
1.2 损失函数
损失函数的设置是为了表达源图像和融合图像之间的信息差异,并指导网络向期望的结果发展。本文结合显著目标掩模
像素强度的一致性是通过压缩像素差异来实现的。融合结果被限制为具有与源图像相似的像素强度。显著像素损失和背景像素损失分别表示如下:
式中:H、W分别为图像的高度和宽度;Iir、Ivi、If分别表示红外图像、可见光图像和融合图像。Im⊗Iir和(1-Im)⊗Ivi分别表示源图像中原始显著目标区域和原始背景纹理区域,Im⊗If和(1-Im)⊗If分别表示融合图像产生的显著区域和背景区域。
此外,由于梯度损失表征了细节信息的保留程度,因此将其引入,使得融合结果包含更丰富的纹理细节。同样,梯度损失还包括显著梯度损失和背景梯度损失,分别表示如下:
式中
本文使用DoG算子计算图像的梯度,最终损失函数描述为
2 实验验证及分析
为了验证所提异构图像融合算法的有效性,将其与TNO数据集上先进的10种融合方法进行对比,即红外特征提取和视觉信息保存(infrared feature extraction and visual information preser-vation,IFEVIP)[22]、交叉双边滤波(cross bilateral filter,CBF)[23]、四阶偏微分方程(fourth-order partial differential equations,FPDE)[24]、潜在低秩表示(latent low-rank representation,LatLRR)[25]、DenseFuse[26]、Deepfuse[27]、融合生成对抗网络(fusion generative adversarial network,FusionGAN)[28]、基于Nest的残差融合网络 (residual fusion network-Nest,RFN-Nest)[29]、多分类约束生成对抗网络(generative adversarial network with multiclassification constraints,GANMcC)[30]和统一无监督图像融合网络(unified unsupervised image fusion network,U2Fusion)[31]。由于这10种方法的实现都是公开的,因此本文采用原文中的参数设置。
2.1 评价指标
为了更好地评价红外和可见光图像融合算法的性能,对融合算法进行了定性和定量比较。其中:定性分析也称为主观评价,主要依赖于人的感知;定量分析也称为客观评价,是指用定量指标来衡量融合绩效。本文采用熵(entropy,EN)、像素级特征匹配指数(feature matching index at the pixel level,FMIpixel)、多尺度结构相似性指数(multi-scale structural similarity index,MSSSIM)、均方误差(mean squared error,MSE)、视觉信息保真度(visual information fidelity,VIF)和光谱条件散度(spectral conditional divergence,SCD) 6个评价指标,其中:EN和FMIpixel是基于信息论;MSSSIM和MSE是基于结构相似性;VIF是基于主观视觉效果;SCD是基于图像之间的影响大小。
2.2 实验设置
训练框架和融合网络设置如图3所示,其中:I表示输入的原始显著区域和背景区域;O表示输出的融合图像;虚线区域为嵌套连接结构。利用80对红外、可见光图像的显著区域和背景区域来训练自动编码器网络,这些图像的大小调整为256×256。TNO数据集(部分)是各种与军事相关的场景,包括41组注册的红外和可见光图像。在测试阶段,从TNO数据集中选择20个图像对进行对比实验,该算法在PyTorch平台上实现。
图3
图3
训练过程框架和模块通道数量
Fig. 3
Framework of training process and number of module channels
训练参数设置如下:批量大小设置为1,迭代次数设置为30,学习率设置为10-4。正如图1所示,红外图像中的显著区域仅占一小部分,因此,为控制显著区域和背景区域之间的损失平衡,本文将α设置为10。所有实验都是在具有16 GB内存和GPU3060的Windows10操作系统上进行的。
2.3 主观评价
为了对比不同方法的性能差异,选择TNO数据集中的所有图像进行主观评价,其中一些融合结果如图4、5所示。此外,为了便于比较,每张图片都选择了细节区域(即红框区域),并在左上角进行放大。根据图4所示实验结果,CBF的融合图像中引入了伪影和噪声,导致背景细节不够清晰;LatLRR和FPDE失去了红外图像中的热辐射目标信息,无法捕捉到显著区域的目标;而Deepfuse、DenseFuse、IFEVIP和U2Fusion在保留红外图像中的显著目标信息方面表现较好,但是背景区域受到噪声的严重干扰;FusionGAN存在处理红外图像时的边缘模糊问题,导致红外图像在融合结果中失去了高对比度信息,难以与背景进行有效区分;相比之下,GANMcC、RFN-Nest以及本文算法能够有效突出显著的目标。
图4
图4
TNO数据集中对伞图像的定性比较
Fig. 4
Qualitative comparison of umbrella image pairs in TNO dataset
图5
图5
TNO数据集中对人图像的定性比较
Fig. 5
Qualitative comparison of man image pairs in TNO dataset
本文算法不仅突出了红外图像中的辐射目标,还保留了可见光图像的细节特征,并且融合结果中不存在伪影和噪声。从图5中可以清晰地看到细节,如地板的纹理、烟囱中烟的方向以及树枝的形状等。这些清晰的结果主要得益于提取的显著目标掩模和构建的损失函数在异构图像融合算法中的有效应用。
2.4 客观评价
对TNO数据集中所有图像进行定量实验,其中表1为10对图像的6个常用定量指标的实验结果。对于MSSSIM指标,本文算法的融合结果更接近源图像。本文算法在SCD指标中表现最优,表明源图像和融合图像之间有很强的相关性。同时,对于EN和FMIpixel指标,本文算法的融合图像信息量更大,优势较为明显。
表1 对比实验的客观评价
Tab. 1
| 方法 | EN | VIF | MSE | SCD | MSSSIM | FMIpixel |
|---|---|---|---|---|---|---|
| CBF | 6.856 0 | 0.445 8 | 0.061 1 | 1.517 4 | 0.587 6 | 0.835 8 |
| FusionGAN | 6.674 2 | 0.641 7 | 0.062 5 | 1.707 0 | 0.787 8 | 0.887 3 |
| GANMcC | 6.859 2 | 0.759 9 | 0.056 6 | 1.864 1 | 0.899 1 | 0.898 8 |
| RFN-Nest | 6.992 1 | 0.792 8 | 0.062 3 | 1.943 0 | 0.921 9 | 0.905 6 |
| FPDE | 6.237 0 | 0.650 4 | 1.735 9 | 0.888 7 | 0.893 0 | |
| LatLRR | 6.895 0 | 0.082 4 | 1.758 1 | 0.849 1 | 0.907 7 | |
| U2Fusion | 0.683 1 | 0.055 4 | 1.923 6 | 0.935 5 | 0.896 6 | |
| IFEVIP | 6.895 0 | 0.905 0 | 0.082 4 | 1.758 1 | 0.849 1 | |
| Deepfuse | 6.157 4 | 0.880 2 | 0.045 0 | 1.737 4 | 0.884 0 | 0.906 6 |
| Densefuse | 6.874 2 | 0.880 2 | 0.060 0 | 0.950 7 | 0.906 7 | |
| 本文算法 | 7.026 2 | 0.883 7 | 0.056 5 | 1.960 7 | 0.907 9 |
3 电力设施检测
3.1 数据集
本文采用计算机视觉电力设施(computer vision power facility,CVPower)数据集[32],其由240组电力设施的红外和可见光图像组成。利用红外和可见光图像进行融合实验和目标检测实验,待检测的电力设施目标有连接器(connector)、容器(container)、绝缘子(insulator)和塔(tower) 4种。CVPower数据集具有纹理细节不明显、物体小而密、特征不明显、线性物体多的特点,能够测试模型的性能。
3.2 融合实验分析
采用本文算法对CVPower数据集中的红外和可见光图像进行融合实验,得到融合后的图像如图6所示。其中,红外图像在捕捉电力设施中不同区域的温度变化方面表现出色,为全面了解设备状态提供了重要信息。然而,由于红外图像具有相对较低的分辨率,无法提供细节信息,并容易受到天气和环境的影响;而可见光图像通常具有较高的分辨率,能够提供详细的外观信息,但主要用于外部观察,难以深入分析电力设备内部的问题。基于红外与可见光图像融合的方法充分利用了2类图像的优势,不仅能提供全面的信息,还能捕捉设备的热分布和外观特征。因此,融合图像能够更好地适应复杂环境,进而更好地展现设备表面和内部的状况。
图6
3.3 检测实验分析
图7
图7
红外、可见光和融合图像检测结果
Fig. 7
Detection results of infrared, visible and fusion images
从图7可以看出,融合图像中检测出的电力设施种类和数量最多,其次是可见光图像,而红外图像最少;在检测精度方面,红外图像的检测效果最差,融合图像的检测效果最好。从融合图像的整体检测结果来看,对绝缘子和连接器等小目标的检测精度较低,但其精度基本在80%以上;对于容器和塔等形状较大且特征显著的物体,目标识别的精度较高,可达到90%以上。显然,特征显著的大型物体更容易被检测和识别。
4 结论
提出了一种基于显著性检测的多尺度特征异构图像融合算法,结合显著目标掩模设计了特定的损失函数,并针对每个区域进行下采样的设计,指导网络提取多尺度特征,减少信息损失。具体结论如下:
1)采用所提算法可有效地避免提取大量冗余和无效信息,得到的融合图像与源图像具有较高的一致性。
2)所提算法有效利用了红外检测的广泛性和可见光检测的精准性,其检测精度提升到了80%~90%,为电力设施的运维和管理提供了更有力的支持。
3)所提算法只融合了2种模态数据,为了应对更复杂的图像,下一步将引入基于多模态的图像融合算法,以适应快速发展的各类电力设施。
参考文献
动态监测系统在电力市场环境下的应用
[J].
Application of dynamic monitoring system in electric power market
[J].
冰灾天气下考虑输配协同的电-热联合系统韧性提升策略
[J].
Enhancing resilience in electric-heat combined system:coordinated approach for transmission and distribution network during ice disasters
[J].
基于改进PP-YOLOv2的红外图像电力设备检测
[J].
Infrared image power equipment detection based on improved PP-YOLOv2
[J].
基于改进YOLOv4的架空线路电力设备故障检测
[J].
Fault detection for overhead line power equipment based on improved YOLOv4
[J].
基于图像边缘检测和法向探测的导线覆冰监测方法
[J].
A conductor icing monitoring method based on image edge detection and normal direction detection
[J].
基于多策略分割融合与形态特征辨识的变电站保护压板状态识别
[J].
Protection platen status recognition for a smart substation based on multi-strategy segmentation and fusion and morphological feature identification
[J].
输电线路典型目标图像识别技术研
[D].
Research on typical target image recognition technology of transmission lines
[D].
面向高分辨率卫星遥感的电力杆塔自动检测
[J].
Automatic power tower detection for high-resolution satellite Remote sensing
[J].
基于样本扩充的Faster R-CNN电网异物监测技术
[J].
Faster R-CNN foreign body monitoring technology based on sample expansion
[J].
可变形网络与迁移学习相结合的电力塔遥感影像目标检测法
[J].
Remote sensing image detection method of power tower based on deformable network and transfer learning
[J].
基于深度神经网络的电力电缆故障检测方法研究
[J].
Research on power cable fault detection method based on deep neural network
[J].
Intelligent diagnosis of incipient fault in power distribution lines based on corona detection in UV-visible videos
[J].
基于卷积神经网络的电力设备红外图像检测方法研究
[D].
Research on infrared image detection method of power equipment based on convolutional neural network
[D].
机器视觉技术在电力安全监控中的应用综述
[J].
Areview of the application of machine vision in power safety monitoring
[J].
基于深度学习的空预器转子红外补光图像积灰状态识别
[J].
Ash accumulation state identification for infrared compensation images of air preheater rotor based on deep learning method
[J].
面向电力设备故障检测的红外与可见光图像融合算法研究
[D].
Research on infrared and visible light image fusion algorithm for power equipment fault detection
[D].
红外与可见光图像融合方法及在电力设备监测的应用研究
[D].
Research on infrared and visible image fusion method and its application in power equipment monitoring
[D].
Infrared and visible image fusion methods and applications:a survey
[J].
Fusion method for infrared and visible images by using non-negative sparse representation
[J].
Integrated multilevel image fusion and match score fusion of visible and infrared face images for robust face recognition
[J].
STDFusionNet:an infrared and visible image fusion network based on salient target detection
[J].
Infrared and visual image fusion through infrared feature extraction and visual information preservation
[J].
Image fusion based on pixel significance using cross bilateral filter
[J].
Multi-sensor image fusion based on fourth order partial differential equations
[C]//
Infrared and visible image fusion using latent low-rank representation
[J].
DenseFuse:a fusion approach to infrared and visible images
[J].
Deepfuse:a deep unsupervised approach for exposure fusion with extreme exposure image pairs
[C]//
FusionGAN:a generative adversarial network for infrared and visible image fusion
[J].
RFN-Nest:an end-to-end residual fusion network for infrared and visible images
[J].
GANMcC:a generative adversarial network with multiclassification constraints for infrared and visible image fusion
[J].
U2Fusion:a unified unsupervised image fusion network
[J].
Fast detection fusion network (FDFnet):an end to end object detection framework based on heterogeneous image fusion for power facility inspection
[J].
Insulator defect detection for power grid based on light correction enhancement and YOLOv5 model
[J].
/
| 〈 |
|
〉 |