基于图像融合和改进阈值的管道机器人探测图像增强方法_袁明道(1).pdf

第 47 卷 第 4 期 煤田地质与勘探 Vol. 47 No.4 2019 年 8 月 COAL GEOLOGY 2. Department of Computer Science and Engineering, Tianjin University of Technology, Tianjin 300384, China Abstract Pipeline robot detection technology can quickly, accurately and intuitively identify the structure and hidden functional troubles of pipeline. However, due to the restriction of the pipeline environment, the detected images have problems such as uneven illumination, low contrast and blurred details. Therefore, an enhancement technique for detected image of pipeline robot is proposed. First, the contrast limited adaptive histogram equaliza- tionCLAHE and homomorphic filtrateHF are applied to deal with the problem of uneven illumination and low contrast, and the result images of the two s are fused. Secondly, the fusion images are transed by the Nonsubsampled Contourlet TransNSCT, and the improved Bayes-Shrink threshold is used to remove the noise of the high frequency coefficient. Finally, the nonlinear mapping function is used to enhance the details, and the NSCT inverse trans is used to get the final enhanced image. In order to verify the effectiveness and supe- riority of the for pipeline robot detection image, 5 typical pipeline robot detection images were selected and enhanced by this , and compared with 4 common image enhancement technologies. The results show that ChaoXing 第 4 期 袁明道等 基于图像融合和改进阈值的管道机器人探测图像增强方法 179 image enhancement for pipeline robot detection image by using image fusion and improved threshold can effectively improve the overall and local contrast image, and effectively enhance the image details. It can solve the main problems in pipeline robot detected image effectively. Keywords pipeline robot; image fusion; nonsubsampled contourlet transNSCT; homomorphic filteringHF; con- trast limited adaptive histogram equalizationCLAHE 我国目前大坝总数高达 8 万余座，其中绝大部 分为 20 世纪中叶修建的中小型土坝， 作为重要的三 大构成之一的输水涵管，结构性和功能性缺陷是导 致该类土坝出现病险的主要原因之一。因此，消除 输水涵管病害是全面落实“河长制”，切实保障水安 全的重要一环。为科学有效地消除输水涵管病害， 须先对其进行探测，查明其存在的结构性和功能性 缺陷。 管道机器人探测是目前管道探测最有效、最 安全的手段，能快速、准确和直观地识别管道结 构性和功能性隐患[1]。然而受水利管道内环境条 件限制，探测的图像存在光照不均匀、对比度低、 细节模糊等问题，导致探测结果失真，图像分析 困难，隐患难以全部探明，严重影响管道安全运 行。因此，有必要对管道机器人探测图像进行增 强处理。 图像增强是一种重要的图像处理方法，能有效增 强图像中的细节信息，抑制噪声，提高图像质量[2-3]。 目前图像增强方法主要有 直方图均衡化Histogram Equalization，HE、引导滤波Guided Filtering、同 态滤波Homomorphic Filtering，HF、小波变换、多 尺度几何变换等[4-7]。直方图均衡化运算速率快且能 有效增大图像对比度，但图像局部的对比度提升能 力弱，且会将不同的灰度级像素归为同一级，造成 信息丢失。基于分块处理思想提出的自适应直方图 均衡化Adaptive Histogram Equalization，AHE，能 有效增强局部对比度，但同时噪声也会放大，限制 对比度自适应直方图均化Contrast Limited Adaptive Histogram Equalization，CLAHE采用阈值对噪声进 行限制，但图像细节无法得到增强。引导滤波是一 种保持边缘的图像增强方法，可有效地增强图像边 缘细节信息，但对噪声敏感[5]。HF 可有效改善光照 不均问题，但不能较好地增强图像边缘细节信息[8]。 小波变换[4]具有时频局域化特点，可有效捕捉图像 高频信息，在图像处理中得到广泛的使用，但小波 变换只有 3 个方向，ContourletCT可得到更多的方 向，是种“正真”的图像二维表示方法，可有效捕捉 图像各个方向的高频信息，但是其不具备平移不变 性， 存在频谱混叠现象， 表现“吉布斯”效应[9]。 NSCT 在分解重构过程中继承了传统 CT 对图像表示的多 方向性和各向异性，且具有传统 CT 不具备的平移 不变性[10-11]。NSCT 可以有效地增强图像的细节， 但不能较好提升图像整体对比度。现有的基于 NSCT 增强的方法主要是先使用 NSCT 分解，对低 频信息进行拉伸，再对高频信息进行增强，因此， 若原图像对比度较低，则 NSCT 难以较好地捕捉边 缘信息进而增强图像的细节信息[12-14]。 本文针对管道机器人探测图像光照不均、对比 度低、 细节模糊的特点， 融合 CLAHE、 HF 和 NSCT 各自的优点提出了一种组合的图像增强方法，根据 Bayes-Shrink 阈值提出改进的阈值，并采用人为评 价和客观评价对其增强效果进行评价。 1 管道机器人探测 管道机器人探测技术又称 CCTVClosed Circuit Television，CCTV探测技术，是目前最有效和最安 全的管道探测手段。管道机器人主要由控制器、自 动电缆盘、带高清晰度摄影成像的爬行车、存储器 和伸缩控制杆等部件组成。管道机器人通过爬行车 爬入管道内部，通过自带的摄影成像系统将管道内 部情况实时显示于控制面板显示器，并通过存储器存 储。管道机器人爬行车尺寸长 310 mm宽 110 mm 高 90 mm，质量 6 kg，最大防水深度 10 m。其中摄 像系统尺寸长 168 mm宽 81 mm高 72 mm，质量 1.5 kg，感光度 1 Lux，水平分辨率 460 线，光学变 焦 10 x，数码变焦 12x，视角 60，LED 照明。检测 系统可显示并自动更新电缆校准点到摄像头间的距 离，精度可达分米级。 近年来，广东省水利水电科学研究院开展了近 百宗管道机器人探测，为各种管道工程复核计算和 安全评价提供依据，为落实“河长制”保障水安全提 供了技术支撑[1]。然而管道内由于光线昏暗，空气 潮湿，大量颗粒悬浮等问题使得探测的图像普遍存 在以下缺陷图1a. 管道内光线不足，其主要光源 为管道机器人自带的 LED 灯，光照分布不均。当物 体距光源较远时，光照度不足导致物体整体轮廓模 糊，而距光源较近时，光照度过强产生镜面反射导 致图像中出现亮白一片； b. 管道机器人自带的 LED 灯与自然光成像明显不同，管道中悬浮颗粒会散射 和吸收物体表面反射光，光照度明显不足，对比度 低，细节模糊；c. 图像呈灰、白和黑色，图像处理 时，可利用色彩信息少。管道机器人探测图像缺陷 ChaoXing 180 煤田地质与勘探 第 47 卷 严重影响输水涵管隐患评判与分析，危及管道安全 运行。因此，为保障涵管探测分析结果可靠性，必 须首先对管道机器人探测图像光照不均、 对比度低、 细节模糊的问题进行处理。 图 1 典型管道机器人探测图像 Fig.1 Typical pipeline robot detection image 2 基于图像融合和改进阈值的图像增强技术 为有效解决管道机器人获取的图像存在的光照 不均、对比度低、细节模糊等问题，提出了一种基 于图像融合和改进阈值的图像增强技术，该技术流 程图如图 2 所示。其设计思路为根据管道机器人获 取图像对光照不均和对比度较低的特点，首先融合 了 HF 和 CLAHE 方法的优势， 提高图像的对比度和 亮度； 其次根据 Bayes-Shrink 阈值提出改进的阈值， 使用 NSCT 对图像进行噪声抑制；最后使用映射函 数对图像细节进行增强。 图 2 图像增强技术流程图 Fig.2 Flow chart of image enhancement technology 2.1 基于空域融合的对比度增强 同态滤波HF是一种频率图像增强方法，可基 于图像的成像模型将亮度进行操作实现对比度增 强， 其基本步骤[16]如图 3 所示。 一副图像,f x y可 以使用照度分量,i x y与反射分量,r x y的乘积 得到 ,,,f x yi x yr x y 1 进行对数变换，得到两个加性分量，即 ln,ln,ln,f x yi x yr x y 2 进行傅立叶变换， 得到其对应的频率表示系数 DFT ln,DFT ln,DFT ln,f x yi x yr x y  3 设计一个频率滤波器,H u v， 进行频率域滤波 操作，并进行傅立叶反变换，返回空域对数图像， 取指数，即可得到空域结果图像。 图 3 同态滤波的基本步骤 Fig.3 Basic steps of homomorphic filtering CLAHE 与普通自适应直方图均衡的主要不同 在于其对比度限幅， 为克服 AHE 的过度放大噪声的 ChaoXing 第 4 期 袁明道等 基于图像融合和改进阈值的管道机器人探测图像增强方法 181 问题， 在 CLAHE 中对每个小区域都进行了对比度限 幅。虽然同态滤波和 CLAHE 都能提高图像的对比 度，但是这 2 种方法各有优势，因此，本文提出对同 态滤波和 CLAHE 的结果加权融合，公式如式4 1 122 , , , F x yw g x yw gx y 4 式中 1 , g x y和 2 , gx y分别为 HF 和 CLAHE 结果 图像， 1 w和 2 w为融合加权系数， , F x y为融合结 果图像，如图 4 所示。可知，空域融合图像包含了 HF 和 CLAHE 两种方法的优点，提高了图像的局部 对比度也改善了亮度不均。 图 4 空域融合图像 Fig.4 Airspace fusion image 2.2 改进阈值函数 受探测环境限制， 管道机器人获取的图像噪声较大， 且CLAHE 和HF 在增强图像时会将噪声放大， 需对图像 进行去噪处理，NSCT 是一种新型平移不变，多尺度、 多方向性的快速变换，是基于非下采样金字塔 Nonsubsampled Pyramid，NSP和非下采样方向滤波器 Nonsubsampled Directional Filter Band，NSDFB的一种 变换。其操作方法为首先采用NSP 对输入图像进行塔形 分解，得到高通和低通 2 个部分，然后使用 NSDFB 将 高频子带分解为多个方向子带，低频部分继续进行如上 分解。图像通过NSP 进行多尺度分解减少了采样在滤波 器中的失真，获得了平移不变性。NSDFB 是一个双通道 的滤波器， 将分布在同方向的奇异点合成NSCT 的系数。 每个尺度下的方向子图的的大小都和原图同样大小。 在小波域中， 假设小波系数服从广义高斯分布， Bayes-Shrink 阈值[17]能获得接近于理想阈值的去噪 效果。而图像经过 NSCT 变换后，其高频系数也符 合广义高斯分布，故引入 BayesShrink 阈值 2 nf /T 5 式中 2 n 为噪声方差； f 为信号标准差。 噪声经过 NSCT 多层分解之后，其值逐渐衰减 变小，而边缘细节的值经过多层分解后逐渐变大， 因此，在 NSCT 域中，在不同尺度、不同方向的子 带系数均有差异，所以对每一层均需采取不同的阈 值。为此，提出了一种改进的阈值 2 tnf /T 6 噪声方差 2 n 通过中值法得到  n, med/0.6745 i j w 7 式中 ,i j w为NSCT 域中不同尺度不同方向子带的系数。 信号方差 2 f 可以采用最大似然估计法得到 2 , 11 22 fn max 0, mn i j ij mn w S            8 式中 mn S为子带图像大小。 第l个分解尺度第d个分解方向的阈值因子 , l d可表示为            1 22 nn , ,,/ l l d w l dl dw ll           9 ChaoXing 182 煤田地质与勘探 第 47 卷 式中 为一个常数，本文取 0.95；从 1l   可以看出 随分解层数增加，噪声的系数越来越小，符合噪声 系数随分解层数增加噪声系数逐渐变小的特点；   ,w l d和  2 n , l d分别为第l个分解尺度第d 个分解方向系数绝对值的均值和方差；   w l和    2 n l分别为第l个分解尺度系数绝对值的均值 和方差。 通过改进，可以更多地保留高层子带的系数， 抑制底层子带的噪声，有助于增强图像的清晰度。 2.3 细节增强 由于CLAHE和HF不能较好地对图像细节进行 增强，通过 NSCT 高频系数操作可实现图像细节的 增强。为便于 NSCT 对图像细节的提取和增强，首 先对图像对比度进行了有效的增强。由于 NSCT 可 有效地捕捉图像每个方向的细节，故仅需对细节系 数进行合理地调节，即可获得理想的结果。 NSCT 高频系数可分为 3 种噪声系数、弱边缘 系数和强边缘系数。 噪声系数绝对值相对较小， 需对 其进行抑制，采用本文改进的 BayesShrink 噪声阈值 对其进行简单的置零操作即可抑制噪声； 弱边缘系数 绝对值大小适中， 对其进行适当的放大， 则可有效地 增强弱边缘； 强边缘系数绝对值相对较大， 不需要进 行增强处理，直接保留。细节增强操作可表示为     0, ,,,max, ,max,, w l dT w i jw i jTw i jw l d w l dw l dw i j           ≤ ≤ 10 式中 T为第l个分解尺度第d个分解方向得到的噪 声阈值；max, w l d为第l个分解尺度第d个分解 方向系数绝对值的最大值；为增强系数＞1， 本文取 1.5；为系数因子0＜＜1，本文取 0.8。 为更大限度地增强弱边缘，该细节增强操作产生了 系数跳跃，但本次试验结果良好，未出现系数幅值 跳跃对结果造成震荡的情况。 3 实验 3.1 实验设置 为验证提出的基于图像融合和改进阈值的管道 机器人探测图像增强技术的有效性，选取 5 幅典型 管道机器人探测图像，分别编号为 P1、P2、P3、P4 和 P5，并将本文方法与 4 种图像增强方法HE、 CLAHE、HF 和文献[14]中的方法进行对比实验， 其中文献[14]中的方法为一种目前最新的图像增强 方法。操作平台为 Windows 7，内存为 16 GB，编 程软件为 Matlab2016a。本文方法和文献[14]中的方 法使用的方向滤波器为“dmaxflat7”，金字塔滤波器 使用的是“maxflat”。通过多次参数设定测试，将同 态滤波中滤波器的截止频率设定为 80 Hz，高频增 益设置为 2.2，低频增益设定为 0.5，锐化系数设定 为 1.6；同态滤波和 CLAHE 的融合参数 w1和 w2分 别设置为 0.4 和 0.6。 管道机器人探测图像为彩色的， 故分别对图像的 RGB 三个通道进行增强处理。 3.2 实验结果与分析 管道机器人探测原图像与采用 5 种方法增强后 的图像如图 5图 9 所示。可知HE 虽然增强了整 体对比度但不能较好地增强局部对比度； CLAHE 方 法可有效地增强局部的对比度； HF 可以提高图像的 整体和局部对比度，但是其没有 CLAHE 对局部对 比度提升的好；文献[14]虽然增强了图像的细节， 但是对图像的对比度没有太大的提升；本文方法 图 5 P1 原图及不同方法的增强图像结果对比图 Fig.5 P1 original images and images enhanced by different s ChaoXing 第 4 期 袁明道等 基于图像融合和改进阈值的管道机器人探测图像增强方法 183 图 6 P2 原图及不同方法的增强图像结果对比图 Fig.6 P2 original images and images enhanced by different s 图 7 P3 原图及不同方法的增强图像结果对比图 Fig.7 P3 original images and images enhanced by different s 图 8 P4 原图及不同方法的增强图像结果对比图 Fig.8 P4 original images and images enhanced by different s 结合了 HF、CLAHE 和 NSCT 的优势，可有效地提高 图像的整体和局部对比度， 并有效地增强图像的细节。 3.3 增强评价 目前图像增强的评价方法主要有人为评价和客 观评价 2 种方法。人为评价是通过人眼的直观感受 对增强结果进行评价，本次邀请了 10 位评价者，凭 借人类视觉感知对 5 种增强方法进行打分，分数从 0.11.0 按 0.1 的梯度从低到高分为 10 个等级， 分数 越高说明图像增强效果越好，根据评分结果剔除差 异性较大的样本，取剩余样本的平均值作为管道机 ChaoXing 184 煤田地质与勘探 第 47 卷 图 9 P5 原图及不同方法的增强图像结果对比图 Fig.9 P5 original images and images enhanced by different s 器人探测图像增强主观评价结果，不同方法增强图 像平均主观质量分数如表 1 所示。可知，本文提出 的方法对管道机器人探测图像增强主观评价分数最 好，增强效果最好。 人为评价具有一定的可信度，但易受个人主观 因素的影响，为增强评价结果可靠性，对 5 种增强 方法处理的管道机器人探测图像进行客观评价。客 观评价方法为信息熵评价法和对比度增加指数评价 法，信息熵[18]计算公式为 255 1 lg ii i HPP    11 式中 Pi为灰度值i出现的概率。 对比度增加指数[5]计算公式为 maxminF 0maxmin GGC EC CGG    ， 12 式中 CF为增强结果图的对比度；C0为原始图像的 对比度； max G为区域像素值的最大值； min G为区域 像素值的最小值。本文在计算对比度时，将图像进 行分块处理，每一块大小为16 16。 5 种方法增强图像信息熵和对比度增加指数的 值如表 1 所示。从表 1 可知，CLAHE 信息熵较高， 说明图像中包含了更多的信息；HE 信息熵较低，包 含的信息较少；文献[14]的方法只对细节进行增强， 因此， 其信息熵也较低； HF 虽然可以消除光照不均， 但在提升图像对比度上并没有太大的优势；本文方 法充分使用了 CLAHE、HF 和 NSCT 方法的优势， 有效地提升局部对比度和细节信息，因此信息熵较 高，包含的细节信息最多。HE、CLAHE 和本文方 法在对图像对比度增强上效果较好，本文方法对比 度增加值最高，图像最容易辨识。 表 1 不同方法图像增强效果评价参数表 Table 1 uation parameters of the images enhanced by different s CLAHE HE HF 文献[14]的方法 本文方法 编号 S1 S2 S3 S1 S2 S3 S1 S2 S3 S1 S2 S3 S1 S2 S3 P1 0.78 7.25 2.86 0.75 5.98 3.230.507.051.170.557.131.58 0.80 7.353.30 P2 0.65 7.51 2.11 0.70 5.96 2.290.786.661.110.506.821.52 0.80 7.522.82 P3 0.70 7.59 2.40 0.68 5.99 2.060.607.460.820.507.561.43 0.85 7.712.48 P4 0.70 7.25 2.89 0.60 5.98 3.120.657.071.470.757.031.34 0.88 7.393.34 P5 0.70 7.19 2.68 0.50 5.97 3.230.607.072.010.656.711.39 0.80 7.313.44 注S1为平均主观质量分数；S2为信息熵；S3为对比度增加指数。 4 结 论 a. 针对管道机器人探测图像普遍存在的光照 不均、对比度低和细节模糊等问题，提出了一种适 用于管道机器人探测图像的增强方法。 b. 提出的图像增强方法平均主观质量分数、信 息熵和对比度增加指数均明显优于实验采用的其他 方法，对比度增加值最高、细节信息最丰富，增强 后的图像最容易辨识。 c. 提出的图像增强方法能有效解决管道机器 人探测图像存在的主要问题，为隐患探测、图像识 别提供有效的解决方案，但该方法目前亦存在系数 ChaoXing 第 4 期 袁明道等 基于图像融合和改进阈值的管道机器人探测图像增强方法 185 跳跃可能造成结果震荡以及只能在增强的同时抑制 高斯白噪声等不足之处。 参考文献 [1] 徐云乾. CCTV 和三维激光扫描技术在水利工程输排水管道 隐患探测中的应用[J]. 中国农村水利水电，2014368–70. XU Yunqian. The application of CCTV and 3D laser scanning technology in the detection of hidden dangers of drainage pipe- line in water conservancy engineering[J]. China Rural Water and Hydropower，2014368–70. [2] GUO X，LI Y，LING H. LIMELow-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society， 2017，262982–993. [3] LIU H，LU H，ZHANG Y. Image enhancement for outdoor long-range surveillance using IQ-learning multiscale Retinex[J]. Iet Image Processing，2017，119786–795. [4] KAUR A，SINGH C. Contrast enhancement for cephalometric images using wavelet-based modified adaptive histogram equalization[J]. Applied Soft Computing，2017，51180–191. [5] 李阳，常霞，纪峰. 图像增强方法研究新进展[J]. 传感器与微 系统，2015，34129–12. LI Yang，CHANG Xia，JI Feng. New progress of research on image enhancement [J].Transducer and Microsystem Technologies，2015，34129–12. [6] GHARBI M，CHEN J，BARRON J T，et al. Deep bilateral learning for real-time image enhancement[J]. ACM Transactions on Graphics，2017，364118. [7] WANG Y，PAN Z. Image contrast enhancement using adja- cent-blocks-based modification for local histogram equaliza- tion[J]. Infrared Physics Technology，2017，8659–65. [8] VOICU L I. Practical considerations on color image enhance- ment using homomorphic filtering[J]. Journal of Electronic Im- aging，1997，61108–113. [9] YANG L，XIA C，CHANG J. Image edge detection based on gaussian mixture model in nonsubsampled contourlet domain[J]. Journal of Electrical and Computer Engineering， 201610 1–10. [10] HEPSIBAH K，HEAVEN M S，SARAVANAN M. Image en- hancement based on nonsubsampled contourlet trans using matrix factorization techniques[J]. International Journal of Computer Applications，2015，123635–38. [11] 闫利， 向天烛. NSCT 域内结合边缘特征和自适应 PCNN 的 红外与可见光图像融合[J]. 电子学报，2016，444761– 766. YAN Li，XIANG Tianzhu. Fusion of infrared and visible images based on edge feature and adaptive PCNN in NSCT domain[J]. Acta Electronica Sinica，2016，444761–766. [12] 周飞，贾振红，杨杰，等. 基于 NSCT 和改进模糊的遥感 图像增强方法[J]. 计算机工程与应用，2017，5315 206–209. ZHOU Fei，JIA Zhenhong，YANG Jie，et al. Enhancement of remote sensing image based on NSCT and improved fuzzy contrast[J]. Computer Engineering and Applications， 2017，5315206–209. [13] 吴一全，史骏鹏. 基于多尺度 Retinex 的非下采样 Contourlet 域图像增强[J]. 光学学报，2015，35379–88. WU Yiquan，SHI Junpeng. Image enhancement in non-subsampled Contourlet trans domain based on multi-scale Retinex[J]. Acta Optica Sinica，2015，35379–88. [14] 王峰， 程咏梅. 基于 MSSTO 与 NSCT 变换的可见光与红外图 像增强融合[J]. 控制与决策，2017，322269–274. WANG Feng，CHENG Yongmei. Visible and infrared image enhanced fusion based on MSSTO and NSCT trans[J]. Con- trol and Decision，2017，322269–274. [15] XIAO L，LI C，WU Z，et al. An enhancement for X-ray image via fuzzy noise removal and homomorphic filtering[J]. Neurocomputing，2016，19556–64. [16] 肖进胜，单姗姗，段鹏飞，等. 基于不同色彩空间融合的快速 图像增强算法[J]. 自动化学报，2014，404697–705. XIAO Jinsheng，SHAN Shanshan，DUAN Pengfei，et al. A fast image enhancement algorithm based on fusion of diff erent color spaces[J]. 2014，404697–705. [17] HE H，LEE W J，LUO D S，et al. Insulator infrared image denoising based on wavelet generic gaussian distribution and map estimation[J]. IEEE Transactions on Industry Applica- tions，2017，5343279–3284. [18] 付晓薇，丁明跃，周成平，等. 基于量子概率统计的医学图像 增强算法研究[J]. 电子学报，2010，3871590–1596. FU Xiaowei， DING Mingyue， ZHOU Chengping， et al. Research on image enhancement algorithms of medical images based on quantum probability statistics[J]. Acta Electronica Sinica，2010， 3871590–1596. 责任编辑 聂爱兰 ChaoXing