一种煤矿井下低照度图像增强算法.pdf

工矿自动化 Ind us t r y and Mine Aut o mat io n 第45卷第11期 2019年11月 Vo l . 45 No . 11 No v. 2019 文章编号1671-251X2019 11-0081-05 DOI 10. 13272/j. is s n. 1671-251x . 17498 一种煤矿井下低照度图像增强算法 王洪栋，郭伟东，朱美强，雷萌 中国矿业大学信息与控制工程学院，江苏徐州221116 扫码移动阅读 摘要针对多尺度Ret inex算法在处理煤矿井下低照度图像时存在细节增强不足和耗时等问题，提出了 一种基于光照校正的快速多尺度Ret inex算法对煤矿井下低照度图像进行增强。该算法通过计算高斯模糊 后图像的每个像素点的亮度值，将图像划分为暗调区域和高光区域，并对不同区域进行光照校正，从而降低 高光区域的亮度，保证不过分曝光，同时提升较暗区域的亮度，凸显更多细节信息；利用三次快速均值滤波代 替高斯滤波来估计光照强度，减少算法耗时。实验结果表明，该算法能有效提高图像的亮度和对比度，增强 图像中暗调区域和高光区域的细节，具有较快的处理速度。 关键词矿井图像；低照度图像；图像增强；多尺度Ret inex算法；光照校正；快速均值滤波 中图分类号TD67 文献标志码A An enh anc ement al g o r it h m f o r l o w-il l uminat io n imag e o f und er g r o und c o al mine WANG Ho ng d o ng , GUO Weid o ng , ZHU Meiq iang , LEI Meng Sc h o o l o f Inf o r mat io n and Co nt r o l Eng ineer ing , Ch ina Univer s it y o f Mining and Tec h no l o g y, Xuzh o u 221116, Ch ina Abstrac t Th e mul t i-s c al e Ret inex al g o r it h m h as s o me pr o bl ems s uc h as ins uf f ic ient d et ail enh anc ement and l o ng t ime-c o ns umpt io n in pr o c es s ing l o w-il l uminat io n imag e o f und er g r o und c o al mine. Aiming at t h e pr o bl em, a f as t mul t i-s c al e Ret inex al g o r it h m bas ed o n il l uminat io n c o r r ec t io n was pr o po s ed t o enh anc e l o w-il l uminat io n imag e o f und er g r o und c o al mine. By c al c ul at ing br ig h t nes s val ue o f eac h pix el o f imag e af t er g aus s ian bl ur , t h e imag e is d ivid ed int o d ar k and h ig h l ig h t ar eas , and il l uminat io n c o r r ec t io n is c ar r ied o ut o n d ar k and h ig h l ig h t ar eas , s o as t o r ed uc e br ig h t nes s o f h ig h l ig h t ar ea t o avo id o ver ex po s ur e, and impr o ve br ig h t nes s o f d ar k ar ea t o h ig h l ig h t mo r e d et ail s . Th r ee-t imes f as t mean f il t er ing is us ed ins t ead o f Gaus s ian f il t er ing t o es t imat e il l uminat io n int ens it y, s o as t o r ed uc e t ime-c o ns umpt io n o f t h e al g o r it h m. Th e ex per iment al r es ul t s s h o w t h at t h e al g o r it h m c an ef f ec t ivel y impr o ve br ig h t nes s and c o nt r as t o f imag e, enh anc e d et ail s o f d ar k and h ig h l ig h t ar eas in imag e, and h as f as t pr o c es s ing s peed . Key w ordsmine imag e; l o w-il l uminat io n imag e; imag e enh anc ement; mul t i-s c al e Ret inex al g o r it h m; il l uminat io n c o r r ec t io n; f as t mean f il t er ing 0引言 煤矿井下视频监控是了解井下人员分布和设备 运行状况的有效工具，是煤矿安全高效生产的重要 组成部分。然而受煤矿井下粉尘和光源等因素的影 响，视频监控系统采集的图像呈低照度特点，导致图 像质量降低。图像质量的好坏直接影响后续的图像 分析与决策，因此研究适合煤矿井下的低照度图像 增强算法具有十分重要的实际意义2】。 目前，常用的低照度图像增强算法包括直方图 收稿日期2019-08-23；修回日期2019-11-03 ；责任编辑盛男。 基金项目国家自然科学基金资助项目61901003,51904297；中国博士后基金资助项目2014M551695 0 作者简介王洪栋1986-.男，山东临沂人，博士研究生，研究方向为机器视觉,E-mail zs l 0060188c umt . ed u. c no 引用格式王洪栋，郭伟东，朱美强，等.一种煤矿井下低照度图像增强算法[J].工矿自动化,2019,451181-85. WANG Ho ng d o ng , GUO Weid o ng , ZHU Meiq iang ,et al . An enh anc ement al g o r it h m f o r l o w-il l uminat io n imag e o f und er g r o und c o al mineEJj. Ind us t r y and Mine Aut o mat io n*201945 11 81-85. 82 工矿自动化第45卷 均衡化算法和同态滤波算法等。何畏⑷采用改进的 全局直方图均衡化算法，有效提高了低照度图像的 对比度和清晰度。Zuo Ch ao等⑷提出了双直方图 算法，在保持亮度的同时图像细节也有所增强。但 以上算法存在增强后的图像细节信息缺失和过增强 的问题。韩丽娜等⑸提出了基于HSV Hue, Sat ur at io n, Val ue,色调，饱和度，明度空间的双通 道同态滤波图像增强算法，能够保持增强前后图像 色彩的一致性，但没有考虑图像的空间局部信息，容 易导致局部对比度增强效果不佳。 近年来，基于颜色恒常性理论的Ret inex算法 被广泛应用于低照度图像增强。Ret inex算法只关 注物体表面反射特性，不受周围光照条件的影响，因 而具有更高的色彩保真度，视觉效果更符合人眼视 觉感受。王星等⑷、程德强等⑴提出了基于引导滤 波的单尺度 Ret inex Sing l e Sc al e Ret inex ,SSR矿 井图像增强算法，利用引导滤波进行照度估计，能有 效凸显边缘信息，获得了较好的视觉效果。但SSR 算法无法同时取得较好的动态范围压缩和颜色保真 效果。多尺度 Ret inex Mul t i-Sc al e Ret inex , MSR 算法是多个SSR算法的组合，同时具有较好的动态 范围压缩和颜色保真能力，但在处理不满足灰度世 界假设的图像如色彩单一的煤矿井下图像时，容 易产生灰化效应，即图像出现灰化现象，色彩丢失严 重。针对MSR算法存在的问题，Z. U. Rah man 等⑷提出了带颜色恢复的 MSR Mul t i-Sc al e Ret inex wit h Co l o r Res t o r at io n, MSRCR算法，通 过引入颜色恢复因子来解决因局部对比度增强导致 的颜色失真问题；A. B. Pet r o等⑷提岀了基于色 度保持的 MSR Mul t i-Sc al e Ret inex wit h Ch r o mat ic it y Pr es er vat io n, MSRCP算法，保证了 图像增强前后色度信息的一致性。但以上改进 MSR算法在估计光照强度时受局部区域亮度的限 制，对图像较暗和较亮区域的增强效果不佳，且由于 采用多尺度，导致算法复杂度高，运算时间增加。本 文提出一种基于光照校正的快速MSR算法对煤矿 井下低照度图像进行增强。该算法对图像的暗调/ 高光区域进行光照校正，保证获得更多的暗调区域 细节信息和高光区域信息不丢失；采用三次快速均 值滤波代替高斯滤波对光照校正后的图像进行光照 强度估计，可提高算法处理速度。 1相关理论 1. 1 SSR算法 Ret inex理论是由Land根据人眼视觉机制提 出的一种颜色恒常视觉计算理论，认为人类视觉系 统感受的不是绝对光照强度而是相对光照强度 由人眼或设备接收到的图像可表示为 Rx,yLj,y 1 式中d为高斯函数标准差。 d大小影响图像增强效果当d较小时，能够很 好地实现动态范围压缩，使暗处细节信息更加丰富， 但颜色易失真；当d较大时，能保持原本的颜色信 息，但细节增强不足⑴〕。 对式1两端取对数，可导出SSR算法的表 达式 Fs s r X, V lg ---------------------------------------〜 厂 ⑶ 1 Rx9yLj,y g 式中Fs s rGcq为SSR算法输出结果；*为卷积运 算符；瓦兀分别为反射分量和照度分量在像素点 r ,y中心邻域的加权平均值。 在一定范围内光照变化是平缓的，因此Ret inex 算法的输出图像与光照强度无关，只与物体表面的 反射特性相关，算法不受光照条件干扰。 1. 2 MSR算法 MSR算法是对多个尺度不同的SSR算法的输 出结果进行线性加权求和，其表达式为 N Fms rd艺 KFs s rzq 4 n 1 式中Fms rw1W2分别为 暗调/高光的色调宽度，色调宽度越大，涉及的亮度 范围越广。 当0时为暗调区域,/iv,w2 0时 为高光区域。判定完每个像素点所属的区域类别 后，计算每个像素点的暗调/高光调整系数以RGB 通道中的R通道为例 d _] | [1 Sis ir o ]d a,p7 r0 h _ ]_ 255 7 g 5 厂0么人S3S2 rovor o drhv,w2s2 8 式中d ,,h,分别为原始图像R通道的像素点对应 的暗调/高光调整系数小，血分别为暗调/高光区域 饱和度调节参数；厂。为原始图像R通道的灰度值; P，q分别为暗调/高光强度调节系数。 将原始图像每个颜色通道的灰度值与暗调/高 光调整系数相乘，即可得到光照校正后的图像。 2.2 光照强度估计优化 实现光照强度估计最常用的核心滤波算法为高 斯滤波。MSR算法通常需要3个尺度的高斯滤波， 但随着尺度的增大，算法耗时成倍增加。本文采用 三次快速均值滤波代替高斯滤波，不仅能提高算法 的处理速度，而且能够保证光照强度估计效果与采 用高斯滤波时接近。 三次快速均值滤波由2种不同宽度的快速均值 滤波组成,其中较小的均值滤波宽度为 g f l o o r J誓 1 9 式中g为奇数，否则执行g gl; f l o o r为向下 取整函数。 则较大的均值滤波宽度g g 2。 用三次快速均值滤波代替高斯滤波时，需要使 用m次宽度为g的快速均值滤波和3勿次宽度为 g 的快速均值滤波。 m r o und 12严一3g 2 12g9 4g 4 10 式中r o und O为四舍五入函数。 快速均值滤波引入与图像同宽的辅助数组，利 用滤波窗口滑动时相邻窗口和辅助数组之间的递归 关系，减少冗余计算，达到处理速度与滤波宽度无关 的效果假设图像宽、高分别为WP,HP,均值滤 波窗口宽、高分别为Ww,Hwo对滤波窗口内所有 列进行分组求和，并将其存放到辅助数组A中。当 窗口向右滑动时，以像素点i,j l 为中心的窗口 内所有像素点的灰度值之和为 Si,j At \_j 广*] A, \_j 厂* 1] 11 式中S,“为以像素点i,j为中心的窗口内所有像 素点的灰度值之和;A, \_j rx] , A； [j 厂* 1]分别 为辅助数组A在第i行、第j-rx,jrx l列对应 的数值,U为窗口横向半径。 辅助数组的建立包括初始化和更新两部分。每 幅图像只需要初始化1次，初始化过程需要WpHw 次加法。更新阶段可利用相邻行之间的递归关系以 减少加法操作。以辅助数组A在第i行、第j列对 应的数值为例，当窗口中心由i, j移动到 i l ,J时，则有 A.1L/] S[i ry Si 1 ry 12 式中A.1D]为辅助数组A在第汁1行、第j列对应 的数值;S[z ry ,j],Sil ”y 分别为像素点i ry ,j ,z l ry ,j的灰度值,为窗口纵向半径。 更新1次数组需要2WP次加法。快速均值滤 波的计算复杂度为04,与窗口大小无关。 3实验结果和分析 为验证本文算法的有效性，使用操作系统为 Ubunt ul 4.04、CPU 为 i3-2130、内存为 4 GB 的计 算机进行实验。选取煤矿井下低照度图像进行增强 处理，通过主观评价和客观评价2种图像质量评价 方法对MSRCR算法、MSRCP算法及本文算法进 行对比，实验结果如图1和图2所示。 3. 1 主观评价 从图1a和图2a可看出，原始图像整体亮度 较低，存在大量的暗调区域，人眼很难分辨该区域中 84 工矿自动化第45卷 --------- b MSRCR算法处理后图像c MSRCP算法处理后图像d 本文算法处理后图像a原始图像 图1不同算法下煤矿井下图像1增强效果对比 Fig . 1 Co mpar is o n o f enh anc ement ef f ec t o f c o al mine und er g r o und imag e 1 und er d if f er ent al g o r it h ms a原始图像b MSRCR算法处理后图像c MSRCP算法处理后图像d 本文算法处理后图像 图2不同算法下煤矿井下图像2增强效果对比 Fig . 2 Co mpar is o n o f enh anc ement ef f ec t o f c o al mine und er g r o und imag e 2 und er d if f er ent al g o r it h ms 细节信息，另外图2a中指示牌为高光区域，最前面 的指示牌编号信息难以辨认。从图1b和图2b 可看出，经MSRCR算法处理后的图像亮度和对比 度得到了较大提升，图像的很多细节显现出来，但 图1b存在严重的颜色失真问题，图2b存在一 定的灰化效应，对于高光区域存在过增强问题，指示 牌上的数字信息丢失严重。从图1c 和图2c 可 看出，经MSRCP算法处理后的图像整体可视范围 得到一定程度提升，但对于暗调区域增强效果有限， 这些区域的细节没有凸显出来，图1c 存在一定的 颜色过饱和问题。从图1d 和图2d 可看出，经本 文算法处理后的图像亮度和对比度有明显提升，可 视范围变大，对暗调和高光区域均有较好的增强效 果，这些区域的细节信息被凸显出来，而且没有产生 过增强和颜色失真的问题，整体视觉效果最佳。 3. 2 客观评价 采用无参考质量评价No -r ef er enc e Qual it y As s es s ment o f JPEG Imag es , NJQA指标评价 图像噪声水平，其值越大，表示图像噪声越少。采用 基于自回归的图像锐度评价AR-bas ed Imag e Sh ar pnes s Met r ic , ARISM指标评价图像锐度， 其值越大，表示图像细节对比度越高。将Br enner 函数,Vo l l at h函数、方差和平均梯度的平均值作为 清晰度评价指标，其值越大，表示图像清晰度越高。 将以上3种评价指标的平均值作为总体评价指标。 以图1和图2中图像为例，客观评价结果见表1 表3。 从表1和表2可看出，经过3种算法处理后的 图像锐度和清晰度均高于原始图像，而噪声水平均 高于原始图像.这是由于在图像增强过程中会产生 一些噪声。本文算法在噪声抑制方面稍差，但在图 表1图像1客观评价结果 Tabl e 1 Objec t ive uat io n r es ul t s o f imag e 1 图像NJQA ARISM清晰度 总体评价 原始图像 97.91759.10231.69862. 906 MSRCR算法处理后图像70.58692.06273.92679. 858 MSRCP算法处理后图像86.50171.56364.84274.302 本文算法处理后图像87.560 94.15680.41387.376 表2图像2客观评价结果 Tabl e 2 Objec t ive uat io n r es ul t s o f imag e 2 图像NJQA ARISM 清晰度总体评价 原始图像95.354 5 31425.74059.803 MSRCR算法处理后图像85.75561. 90833.24160.302 MSRCP算法处理后图像83.19760.15366.12269.824 本文算法处理后图像 77. 98284.8367 21180.343 表3 不同算法运行时间对比 Tabl e 3Co mpar is o n o f r unning t ime o f d if f er ent al g o r it h msS 算法 图像1图像2 MSRCR9. 3649. 501 MSRCP3. 2343. 157 本文算法 0. 3230.339 像锐度、清晰度及总体评价方面均大幅领先 MSRCR算法和MSRCP算法。 从表3可看出,MSRCR算法和MSRCP算法 处理图像的时间过长，本文算法处理速度具有明显 优势，为MSRCP算法的10倍左右。 4结语 基于光照校正的快速MSR算法通过暗调/高 光区域判定函数判断图像每个像素点所属区域，并 2019年第11期王洪栋等一种煤矿井下低照度图像增强算法 85 根据每个像素点的暗调/高光调整系数对图像进行 光照校正，从而降低高光区域的亮度，保证不过分曝 光，同时提升较暗区域的亮度，凸显更多细节信息； 采用三次快速均值滤波代替高斯滤波对光照强度进 行估计，有效提高算法运行效率。实验结果表明，该 算法能有效提高图像的亮度和对比度，凸显暗调/高 光区域的细节信息，并且具有较快的处理速度。 参考文献Referenc es [1 ]张谢华，张申，方帅，等.煤矿智能视频监控中雾尘图 像的清晰化研究[J]・煤炭学报，2014, 39 1 198-204. ZHANG Xieh ua,ZHANG Sh en, FANG Sh uai, et al . Cl ear ing r es ear c h o n f o g and d us t imag es in c o al mine int el l ig ent vid eo s ur veil l anc e]J]. Jo ur nal o f Ch ina Co al So c iet y,2014,391 198-204. [2] 赵谦.煤矿井下动态目标视频监测图像处理研究 [D].西安西安科技大学，2014. ZHAO Qian. St ud y o n vid eo mo nit o r ing and imag e pr o c es s ing o f c o al mine d ynamic t ar g et s [D]. Xian Xian Univer s it y o f Sc ienc e and Tec h no l o g y,2014. [3] 何畏.基于改进直方图的低照度图像增强算法[J] 计 算机科学,2015,42增刊 1241-242. HE Wei. Lo w-l ig h t imag e enh anc ement bas ed o n impr o ve h is t o g r am [J]. Co mput er Sc ienc e, 2015, 42 SI241-242. [4] ZUO Ch ao , CHEN Qian* SUI Xiubao . Rang e l imit ed bi-h is t o g r am eq ual izat io n f o r imag e c o nt r as t enh anc ement [ J ]. Opt ik -Int er nat io nal Jo ur nal f o r Lig h t and El ec t r o n Opt ic s ,2013,1245 425-431. [5] 韩丽娜，熊杰，耿国华，等.利用HSV空间的双通道同 态滤波真彩图像增强[J].计算机工程与应用，2009, 452718-20. HAN Lina,XIONG Jie,GENG Guo h ua, et al . Us ing HSV s pac e r eal -c o l o r imag e enh anc ed by h o mo mo r ph ic f il t er in t wo c h annel s C J ] Co mput er Eng ineer ing and Appl ic at io ns, 2009,45 27 18-20. [6] 王星，白尚旺，潘理虎，等一种矿井图像增强算法 EJ1 工矿自动化,2017,43348-52. WANG Xing , BAI Sh ang wang , PAN Lih u, et al . A mine imag e enh anc ement al g o r it h m [J]. Ind us t r y and Mine Aut o mat io n,2017,433 48-52. [7] 程德强，郑珍，姜海龙.一种煤矿井下图像增强算法 EJ1 工矿自动化,2015,411231-34. CHENG Deq iang ,ZHENG Zh en,JIANG Hail o ng . An imag e enh anc ement al g o r it h m f o r c o al mine und er g r o und L J ] Ind us t r y and Mine Aut o mat io n, 2015,411231-34. [8] RAHMAN Z U, WOODELL G A. A mul t is c al e Ret inex f o r br id g ing t h e g ap bet ween c o l o r imag es and t h e h uman o bs er vat io n o f s c enes [J]. IEEE Tr ans ac t io ns o n Imag e Pr o c es s ing , 2002♦ 67 965-976. [9 ] PETRO A B, SBERT C, MOREL J M. Mul t is c al e Ret inex [J]. Imag e Pr o c es s ing o n Line,2014,4 71-88. [10] ZHANG Sh u, WANG Ting , DONG Junyu, et al . Und er wat er imag e enh anc ement via ex t end ed mul t i s c al e Ret inex [J]. Neur o c o mput ing ,2017,245 1-9. [11] LI Jia. Appl ic at io n o f imag e enh anc ement met h o d f o r d ig it al imag es bas ed o n Ret inex t h eo r y [ J ]. Opt ik - Int er nat io nal Jo ur nal f o r Lig h t and El ec t r o n Opt ic s , 2013,124235986-5988. [12] 王科俊，熊新炎，任桢.高效均值滤波算法[J].计算机 应用研究,2010,272434-438. WANG Kejun, XIONG Xinyan, REN Zh en. Hig h l y ef f ic ient mean f il t er ing al g o r it h m C J ] Appl ic at io n Res ear c h o f Co mput er s ,2010,272 434-43 [13] GOLESTANEH S A, CHANDLER D M. No r ef er enc e q ual it y as s es s ment o f JPEG imag es via a q ual it y r el evanc e map [J]. IEEE Sig nal Pr o c es s ing Let t er s ,2014,212155-158. [14] GU Ke, ZHAI Guang t ao , LIN Weis i, et al . No r ef er enc e imag e s h ar pnes s as s es s ment in aut o r eg r es s ive par amet er s pac e [ J ]. IEEE Tr ans ac t io ns o n Imag e Pr o c es s ing , 2015, 24 10 3218-3231.