低照度环境下采煤机摇臂角度测量方法.pdf

第 4 4卷 第 5 期 2018年 5 月 工矿自动化 Industry and Mine Automation Vol. 44 No. 5 May 2018 文章编号671-251X 201805-0047-05 DOI 10. 13272/j. issn. 1671-251x. 2017120062 诋 照 度 环 境 下I煤 机 摇 臂 角 度 测 量 方 法 郭卫， 李红卫， 王渊， 丁志兵 西安科技大学机械工程学院，陝 西 西 安 710054 摘要 针对采煤机摇臂角度接触式测量方法在矿井复杂环境下应用存在磨损严重、 故障率高等问题， 提 出一种低照度环境下采煤机摇臂角度测量方法， 该方法将图像增强算法与单目视觉相结合， 对采煤机摇臂角 度进行非接触式测量。采用基于导向滤波的多尺度Retinex图像增强算法得到增强图像， 对增强图像进行 RO I提取、 边緣检测、 累计概率霍夫变换， 求解出摄像机空间角度， 由已标定的CCD摄像机进行坐标转换后 输出真实角度。实验结果表明， 该采煤机摇臂角度测量方法速度快， 在对比度提升、 嗓声消除、 细节增强方面 表现较好， 且测量准确， 误差小于0. 1。 关键词 采煤机； 低照度摇臂角度测量非接触式测量图像增强单目视觉多尺度Retinex; 导 向滤波 中图分类号TD421 文献标志码 A 网络出版地址Ettp //kns. cnki. net/kcms/detail/32. 1627. TP. 20180416. 0917. 010. html Rocker angle measurement of shearer under low illumination environment School of Mechanical Engineering, Xian University of Science and Technology, Xian 710054，China Abstract In view of problems of serious wear and high failure rate in application of contact of rocker angle measurement of shearer in complex mine environment， an rocker angle measurement of shearer under low illumination environment was proposed， which combines image enhancement algorithm and monocular vision for non-contact measurement of rocker angle of shearer. Multi-scale Retinex image enhancement algorithm based on guided filtering is used to obtain enhanced images. ROI extraction， edge detection and progressive probabilistic trans are pered on the enhanced image to get rocker angle in camera space， and calibrated CCD camera is used for coordinate conversion， and actual angle is output. The experimental results show that the rocker angle measurement of shearer is fast and accurate， the error is less than 0.1， and it has good perance in contrast enhancement， noise cancellation， detail enhancement. Key words shearer; low illumination； rocker; angle measurement; non-contact measurement; image enhancement; monocular vision； multi-scale Retinex; guided filter 采煤机滚筒调高控制是采煤机自动化、 远程控 筒定位大多基于位移传感器检测技术， 采用采煤机 收稿日期 2017-12-21;修回日期 2018-03-08;责任编辑 胡娴。 基金项目 国家重点研发计划子课题资助项目（ 2017YFC0804310。 作者筒介 郭卫（ 1955 男 ， 陕西黄陵人， 教授， 博士研究生导师， 研究方向为煤矿机械及其自动化、 煤矿机械数字化产品设计、 矿山机械设备 测试与控制， E-mail10699041qq. com。通信作者 李红卫（ 1991 一 男 ， 河南开封人， 硕士研究生， 研究方向为数字图像处理、 机 器 视 觉 ， E-mail 91043411 l qq. com。 引用格式 郭 卫 ， 李 红 卫 ， 王 渊 ， 等 .低 照 度 环 境 下 采 煤 机 摇 臂 角 度 测 量 方 法 工 矿 自 动 化 ， 2018， 445 47-51. GUO WeiLI HongweiWANG Yuanet al. Rocker angle measurement of shearer under low illumination environ. men. t[J]. Industry and Mine Automation,2018445 47-51. GUO Wei， LIHongwei，WANG Yuan， DING Zhibing 〇 引言 制和在线监测监控关键技术之一， 采煤机摇臂角度 是实现滚筒调高的重要参数。现阶段国内采煤机滚 48 工 矿 自 动 化2 0 1 8 年 第 4 4 卷 摇臂角度位移传感器或调高油缸行程位移传感器进 行检测[1]。这种接触式测量方法在矿井复杂环境下 应用存在磨损严重、 故障率高的问题， 且部分测试方 案的测量结果容易受机身前后倾斜等因素的影响。 针对以上问题， 本文提出了一种低照度环境下采煤 机摇臂角度测量方法， 将图像增强算法与单目视觉 相结合， 对采煤机摇臂角度进行非接触式测量。 现有矿井低照度视频图像增强算法主要有直方 图均衡化、 基于人体视觉的多尺度RetinexMulti- ScaleRetinex，MSR算法、双边滤波和导向滤波算 法[2]。直方图均衡化方法在提升对比度的同时容易 放大噪声， 使图像失真[3]。多 尺 度 Retinex算法易 在明暗对比强烈处产生光晕， 造成梯度突变区域的 照度估计失真， 使得边缘保持性较差[4]。双边滤波 可以很好地去除低频噪声， 但在高频噪声中容易丢 失图像细节， 不利于边缘特征提取[57]。经过对比分 析多种图像增强算法， 本文采用一种基于导向滤波 的 M SR 图像增强算法， 该算法利用导向滤波对入 射分量进行照度估计， 并与原图像进行差运算得到 反射分量， 使用非线性变换进行边缘细节增强， 最后 经过反对数变换得到增强图像。这样可以很大程度 上消除煤矿井下低照度、 低对比度等因素的影响， 增 强图像边缘特征， 提高角度测量的准确性。在此基 础上， 利用单目视觉角度测量方法得到采煤机摇臂 角度， 进而确定采煤机滚筒高度。 1采煤机摇臂角度测量原理 采煤机摇臂角度测量原理如图1 所示。使用已 标定好的CCD摄像机对采煤机摇臂进行视频采集， 将采集的视频帧传入Raspberrypi 3，进行视频帧图 像增强处理和角度实时测量； 将测量的角度转换为 输出信号进行反馈， 通过反馈信号计算滚筒调节高 度 ； 控制器作用在调高油缸活塞上带动小摇臂， 小摇 臂带动大摇臂， 实现滚筒调高。采煤机滚筒高度H 与采煤机摇臂角度0 的关系为 H Zsin 1 式 中 H为摇臂长度。 1 一滚筒一滚筒；2 摇臂；摇臂；3小摇臂；小摇臂；4一调高油缸一调高油缸 图图1采煤机摇臂角度测量原理采煤机摇臂角度测量原理 Fig. 1 Principle of angle measuremenl of shearer rocker 采用张正友标定法[]在线性摄像机模型下对单 目CCD摄 像 机 进 行 标 定 ， 获 取 摄 像 机 内 外 参 数 。 CCD摄像机标定后可确立世界坐标、 摄像机坐标、 图像物理坐标、 图像像素坐标之间的相互关系。以 CCD摄像机的光心点与其垂直投影到世界坐标系 中地面上点的连线为Z 轴 ， 地面上相互垂直的2 个 向量分别为世界坐标系的X 轴 、 Y 轴 ， X ， Y ，Z 三个 坐标轴的交点为世界坐标系的原点。本文以地面为 水平基准面， 刮板输送机运输方向为X 轴 ， 水平面 上 与 X 轴垂直的方向为Y 轴 。在标定好的场景中， 点 P 的世界坐标[Xw Yw ZW]T 与其摄像机坐标 [Xc K厶 ]对 应 的 关 系 为 Xc- Yc *[Xw Yw Zw] T 2 Ec_ 式 中 * T 分别为摄像机的外部参数旋转矩阵和平 移向量。 2图像增强算法 根 据 M S R 算法理论， 给定的一幅图像S x ， 可以分解为2 幅不同的图像 入射光图像L x ， 3〇和 反射物体图像R x ， 3〇， 分解公式为 Sx， . Rx，yLx， . 3 采 用 M SR 算法时， 在明暗对比强烈处会产生 光晕， 边缘保持性较差。为了保持良好的边缘特征， 增强图像细节和图像层次感， 使用导向滤波[]作为 中心环绕函数对图像进行照度估计[10]， 再进行非线 性变换对数变换[11]。基于导向滤波的M SR 图像 增强算法[1213]表达式为 Rx，y 3 底数Q默认为e。 经过照度估计后的图像边缘细节不突出、 亮度 不足， 因此， 使用非线性变换进行局部对比度增强， 同时补偿照度， 增强暗部细节、 图像边缘特征和图像 层次感。非线性变换公式为 i clogQ1 5 式中I 为变换后图像的灰度分量 为输入图像的灰度分量， 5 0 。 遍历图像， 计算每个像素点的非线性变换， 再进 行归一化处理。 3采煤机摇臂角度测量方法 用图像增强算法对低照度原图处理后得到识别 2 0 1 8 年 第 5 期郭 卫 等 低 照 度 环 境 下 采 煤 机 摇 臂 角 度 测 量 方 法 49 度较高的图像， 通 过 NumPy数组的索引访问原始 像素， 设置 感兴趣区域（ Regionof Interest， ROD， 然 后 对 ROI 图像 测 量 。通过对 ROI 缘检测[14]、 二值化（ ， 获取采煤 机摇臂边缘直线的斜 计算。 缘检测的目的是识别图像中 化剧烈的 像素点的集合， 一般分为以 微分、 二阶微分 合 、 二阶微分为基础的三类[15]。Canny算子是 以二阶微分为基础的边缘检测， 检测性能好， 应用范 围广， 符合最 缘检测的标准， 运行时间 ， 因 此本文采用Canny算 缘检测。 是 技术， 不受图形旋转 的 影 响 [16]。 累 计 概 率 霍 夫 变 换 （ Progressive Probabilistic Hough Trans，PPHT是标准霍 的 ， 它在 范围内 ， 计算 个线段的方向及范围， 可减少计算量， 缩短计算时 间。O penCV 中 提 供 的 P P H T 函 数 为 cv2. HoughLinesPO。本 文 采 用 P P H T 检测一条直线 的 线向量， 计算每条线向量的斜率， 再用反 丨 数 ， 得出每个线向量的 ， 最后对 多个 求 值 ， 以保证检测 的准确性。 4实验结果及分析 4. 1 图像增强算法效果对比 实验设备Raspberry Pi 3， 型号为 MV- EM2〇 0 的工 C C D 摄 像 机 ，三 脚 架 。 运 行 环 境 Anaconda3 Python OpenCV。在实验室条件下， 将工业CCD摄像机安装在采 摄像机 标定， 采集采 臂图像。分 别 在 2 采 集 2 组视频， 然 后 取 2 组视 中采煤机摇 臂相同位置的2 帧图像， 调 整 像 素 为 640 X 480。 图 2 分别为正常 采集的2 组图像。 O . b 正常正常 图图2正常正常 的采的采 臂图像臂图像 Fig. 2 Images of shearer rocker under normal illumination and iow illumination 可知％ 采 臂图像存在 ； 噪声多的特点。分别利用直方图均 衡化、 导向滤波、 基于双 波 的 M SR 算法、 基于 导向滤波的M SR 算 图像 ， 并 从主观视 客 观 评 价 指 数 2 个方 。相关参数设置如下 3,权 重 的 均 值 为 1/3, c1. 2,滤波窗口半径r 10,正则化参数e 1 0 -5， r ，e 为引导滤波调节器滤波效果的重要参数； as 20， 心 5心 与 代 表 空 间 相 似 度 及 颜 色 范 围 相 似 度的 。实验 如 图 3 所示， 其中图3〇 图3〇分别为图3a图 3e的 ROI 。 4 种算 的直方图如图4 所示。 O 低照度原图 低照度原图 （（b 直方图均衡化算法直方图均衡化算法 O 导向滤波算法导向滤波算法 （（d 基于双基于双 波的波的 O 基于导向滤波的基于导向滤波的 MSR算算 MSR算法算法 图图3不同图像不同图像 算算 Fig. 3 Comparison of effect of different image enhancement s 由图3 可知， 虽 然 4 种算法都对图像的暗区域 ， 但通过主观感觉可以看出各种算法的 图像 的差异。图 3g提高 ， 但图 像噪声 ， 严重， 视 不好； 图 3h ， 噪声去除 明显， 但图像整 ， 效 果一般； 图 3i在亮度、 去噪方面有所改善， 但仍存 在 、 图像边缘细节 现象； 图 3j层次感 明显， 边缘具有 、 锐化性， 且细节 缘信息 完整， 视 。 从直方图分 ， 图4a的灰度值主要集中 2 0 1 8 年 第 5 期郭 卫 等 低 照 度 环 境 下 采 煤 机 摇 臂 角 度 测 量 方 法 51 信噪比，突出了图像的细节和边缘信息， 提高了运算 效率。 3 基于单目视觉的采煤机摇臂角度测量是非 接触式直接测量， 避免了接触式测量方法的误差随 着滚筒高度的增加而增大的问题。实验证明， 所提 方法角度测量误差小于0.1， 满足应用要求。 参 考 文 献 （参 考 文 献 （References 1 *孙月华， 曹贺孙月华， 曹贺.采煤机记忆截割滚筒高度的检测模型采煤机记忆截割滚筒高度的检测模型 [J ].黑龙江科技大学学报，黑龙江科技大学学报，2017,27214-117. SUN Yuehua, CAO He. Height detection model of shearer memory cutting drum [ J ]. Journal of Heilongjiang University of Science and Technology，， 2017,272114-117. [2 ]刘晓阳， 乔 通 ， 乔智刘晓阳， 乔 通 ， 乔智.基 于 双 边 滤 波 和基 于 双 边 滤 波 和Retinex算法的算法的 矿 井 图 像 增 强 方 法矿 井 图 像 增 强 方 法[ J ] .工 矿 自 动 化 ，工 矿 自 动 化 ，2017,43 2 49-54. LIU Xiaoyang，， QIAO Tong，， QIAO Zhi. Image enhancement of mine based on bilateral filtering and Retinex algorithm[J]. Industry and Mine Automation,2017,432 49-54. [3 ] KHAN M F,KHAN E,ABBASI Z A. I mage contrast enhancement using normalized histogram equalization [ J ] . Optik-International Journal for Light and Electron Optics,2015,12624 4868-4875. [ 4]姬伟 ， 吕兴琴， 赵德安 ， 等姬伟 ， 吕兴琴， 赵德安 ， 等.苹果采摘机器人夜间图像苹果采摘机器人夜间图像 边 缘 保 持 的边 缘 保 持 的Retimxc增 强 算 法增 强 算 法[ J ] .农 业 工 程 学 报 ，农 业 工 程 学 报 ， 2016,326189-196. JI Wti, LYU Xingqin, ZHAO Dean, et al. Edge preserving Retinex enhancement algorithm of night vision image for apple harvesting robot [ J ]. Transactions of the Chinese Society of Agricultural Engineering,2016,326 189-196. [5 ]田小平， 姜薇， 吴成茂田小平， 姜薇， 吴成茂.基于双边滤波的低亮度图像增基于双边滤波的低亮度图像增 强算法强算法[J ].西安邮电大学学报，西安邮电大学学报，2016，，214 43-47. TIAN Xiaoping， JIANG W ei,W U Chengmao. Low luminance image enhancement based on bilateral filtering[J]. Journal of Xian University of Posts and Telecommunications,2016,214 43-47. [6 ] ZHANG Y, WANG X, PENG L. Text based bilateral filter for color image edge preserving [C ]//IE E E International Conference on Broadband Network g Multimedia Technology , 2014 49-52. [7 ] YIN J， LI H ， DU J， et al. Low illumination image Retinex enhancement algorithm based on guided filtering [ C ] / / IEEE International Conference on Cloud Computing and Intelligence Systems , 2015639- 644. [8 ] CHAPERON T DROULEZ J THBAULT G. Reliable camera pose and calibration from a small set of point and line correspondences a probabilistic approach [ J ]. Computer Vision g Image Understanding , 2011,1155 576-585. [9 ] HE K M , SUN J , TANG X O. Guided image filtering [J ]. IEEE Transactions on Pattern Analysis and Machine Intelligence，，2013，，356 1397-1409. [ 0]程德强， 郑 珍 ， 姜海龙程德强， 郑 珍 ， 姜海龙.一种煤矿井下图像增强算法一种煤矿井下图像增强算法 [J ].工矿自动化工矿自动化，2015，4112 31-34. CHENG Deqiang，ZHENG Zhen，JIANG Hailong. An image enhancement algorithm for coal mine underground [ J ]. Industry and Mine Automation，， 2015,4112 31-34. [ 1 1 ]朱伟朱伟. OpenCV图像处理编程实例图像处理编程实例[M ].北 京 电子工北 京 电子工 业出版社，业出版社，2016. [ 2] 智 宁， 毛善君， 李梅智 宁， 毛善君， 李梅.基于照度调整的矿井非均勻照度基于照度调整的矿井非均勻照度 视 频 图 像 增 强 算 法视 频 图 像 增 强 算 法[ J ] .煤 炭 学 报 ，煤 炭 学 报 ，2017, 42 8 2190-2197 ZHI Ning，， MAO Shanjun，， LI Mei. Enhancement algorithm based on illumination adjustment for non uni illuminance video images in coal mine [ J]. Journal of China Coal Society，， 2017，42 8 2190-21978 [ 3] 方 帅， 杨 静 荣 ， 曹 洋 ， 等方 帅， 杨 静 荣 ， 曹 洋 ， 等.图像引导滤波的局部多尺度图像引导滤波的局部多尺度 Retinex算 法算 法[ J ] .中 国 图 象 图 形 学 报 ，中 国 图 象 图 形 学 报 ，2012， 17 7 11-188 FANG Shuai， YANG Jingrong， CAO Yang， et al. Local multi-scale Retinex algorithm based on guided image filtering [J]. Journal of Image and Graphics，， 2012，，17711-18. [ 4] 赵 谦， 王奕婷， 曾召华， 等赵 谦， 王奕婷， 曾召华， 等.一种矿井巷道图像边缘检一种矿井巷道图像边缘检 测算法测算法[J ].工矿自动化，工矿自动化，2013，，39271-75. ZHAO Qian , WANG Yiting , ZENG Zhaohua , et al. An edge detection algorithm for mine roadway image [J]. Industry and Mine Automation，，2013， 39 2 71-758 [ 5] 吴 翔， 于微波， 马艳辉， 等吴 翔， 于微波， 马艳辉， 等.一 种 新 的 改 进一 种 新 的 改 进Canny图像图像 边缘检测算法边缘检测算法[J ].影像科学与光化学，影像科学与光化学，2016,341 116-1218 WU Xiang， YU Weibo , MA Yanhui , et al. A new improved Canny image edge detection algorithm[J]. Photographic Science and Photochemistry，， 2016, 341116-121. [ 6] 刘菁欣， 白云， 王俊刘菁欣， 白云， 王俊.改进霍夫变换的枢纽立交桥检测改进霍夫变换的枢纽立交桥检测 方法方法[J ].测绘科学，测绘科学，2016，，4110136-141. LIU Jingxin， BAI Yun， WANG Jun. Research on hinge flyovers detection based on Hough transation [ J ]. Science of Surveying and Mapping, 2016,4110 136-141.