基于双目视觉的振动筛运行状态在线检测方法.pdf

第 44卷 第 “ 期 2018年 6 月 工矿自动化 Industry and Mine Automation Vol. 44 No. 6 Jun. 2018 文章编号671-251X201806-0090-06 DOI 10. 13272/j. issn. 1671-251x. 2018020036 基 于 目 视 觉 的 振 动 筛 运 行 状 态 在 线 检 测 方 法 杨硕1， 佟建楠3 1.煤炭科学研究总院唐山研究院， 河 北 唐 山 063012 3.唐山学院土木工程学院， 河 北 唐 山 063000 摘要 针对现有振动筛运行状态检测方法仅能对振动筛局部运行状态进行检测， 且存在精度低、 时效性 差等问题， 提出了一种基于双目视觉的振动筛运行状态在线检测方法。首先通过双目视觉检测装置对振动 筛的运动图像进行采集； 然后对图像进行灰度化处理， 利用多尺度H aris角点检测算法获取图像的特征点， 引入图像金字塔理论改进Lucas-Kanade光流估计算法， 提高图像特征点运动轨迹的在线追碟性能； 最后设 计 BP神经网终分类器， 完成对特征点运动轨迹的分析与辨识， 实现对振动筛整体运行状态的检测。试验结 果表明， 该检测方法准确性高、 时效性好， 可对振动筛运动轨迹进行全方位、 多角度的追踪和辨识， 实现了振 动筛整体运行状态的在线检测和分析。振动筛在停止、 正常、 疑似故障和故障4 种状态下， 该方法的准确率 分别达到了 97. 9 1 7 、 90. 6 6 7 、 96. 431L 和 93. 181L 。 关键词 选煤％振动筛％运动图像采集％双目视觉％多尺度角点检测％光流估计％ BP神经网络分类器 中图分类号 TD948 文献标志码A 网络出版地址 Nttp //kns. cnki. net/kcms/detail/32. 1627. TP. 20180518. 1616. 003. html On-line detection of operating state of vibrating screen based on binocular vision YANG Shuo1， 2， TONG Jiannan3 1.Tangshan Research Institute, China Coal Research Institute， Tangshan 063012, China; 2. School of Electrical and Ination Engineering， Tianjin University， Tianjin 300072, China; 3. School of Civil Engineering, Tangshan University, Tangshan 063000, China Abstract In view of problems that existing detection s of operating state of vibrating screen can only detect local operating state of vibrating screen, and has shortcomings such as low precision and poor timeliness, an on-line detection of whole operating state of vibrating screen based on binocular vision technology was put forward. Firstly, the uses binocular vision detection device to capture movement images of the vibrating screen. Then it makes graying processing for the images, uses multi scale Harris corner detection algorithm to obtain the feature points of the images, and introducing image pyramid theory to improve Lucas-Kanade optical flow estimation algorithm, so as to enhance on-line tracking ability of motion track for feature points. Finally, BP neural network classifier is designed to complete analysis and identification of motion trajectory of the feature points, so as to realize detection of whole running condition of vibrating screen. Test results show that the detection has high accuracy and good timeliness, which can realize on-line detection and analysis of whole running state of vibrating 收稿日期 2018-02-21;修回日期 2018-04-26;责任编辑 张强。 基金项目 煤炭科学研究总院科技创新基金项目（ 2016ZYMS017。 作者筒介 杨硕“986 男 ， 河北唐山人， 工程师， 主要研究方向为人工智能与机器视觉， E-mailyangshuo568 126. com。 引用格式 杨硕， 佟建楠. 基于双目视觉的振动筛运行状态在线检测方法工矿自动化， 2018， 4460-95. YANG Shuo， TONG Jiannan. On-line detection of operating state of vibrating screen based on binocular vision.[J]. Industry and Mine Automation, 2018446 90-95. 2 0 1 8 年 第 6 期杨 硕 等 基 于 双 目 视 觉 的 振 动 筛 运 行 状 态 在 线 检 测 方 法 91 screen with omni-directional and multi-angle tracking and identification for the trajectory of vibrating screen. Accuracy of the respectively reached 97. 917, 90.667, 96.431 and 93.181 when vibrating screen was in four kinds of states of stopping, normality and suspected fautt and fautt. Key words coal preparation; vibrating screen; movement image acquisition; binocular vision; multi scale corner detection; optical flow estimation; BP neural network classifier 〇 引言 振动筛是一种广泛应用于煤炭、 冶金、 化工等行 业的振动机械， 可用于脱介、 脱水、 物料分级等作业， 它的运行情况直接关系并影响工业原料的利用率和 生产绩效[1]。对振动筛运行状态的检测是设备稳定 高效运转的保证， 目前， 我国工矿企业对振动筛运行 状态的检测以人工巡检和定期预防检修为主， 检测 强度大， 速度慢， 存在极高的安全隐患且不易察觉设 备的细小故障， 无法满足对振动筛的检测要求。近 年来， 基于电磁、 振动、 温度、 力学、 声波等多种信号 处理技术的传感器检测方法被应用于振动筛运行状 态的检测[2]， 但受限于振动筛的机械结构， 各种传感 器只能针对振动筛的局部运行状态进行检测， 如弹 簧 、 横梁、 筛体、 筛网、 激振器等， 且工矿现场电磁干 扰严重， 传感器的测量精度和工作耐久性将受到严 峻考验， 无法保证检测方法的精度。应用低频涡流 技术可以完成对振动筛大梁的检测， 但该方法对仪 器本身有较高要求， 且缺乏对低频涡流频率特性的 深入研究， 难以针对不同检测环境的变化确定最适 宜的检测频率[3]。应用能量算子可以有效提取振动 筛的故障频率， 以反映设备运行特征， 但易受信号中 背景噪声的影响， 且通过大量模型分析和计算机仿 真 无 法 满 足 对 振 动 筛 运 行 状 态 分 析 的 时 效 性 要 []。 针对现有方法仅能对振动筛局部运行状态进行 检测， 且存在精度低、 时效性差等问题， 本文提出了 一种基于双目视觉的振动筛运行状态在线检测方 法 。 方法 振 动 筛 计 工 强 的 影 响 ， 应用极线几何理论[56]恢复二维场景中检测目标 的相对位姿和几何特性， 对待测特征点的空间坐标 进行定位。为精确捕捉高频振动筛各局部特征点的 运动信息， 在 方 法 中 改 进 了 H a ris角点检 测算 法[ 7 8]和 Lucas-Kanade光流估计算法[]， 完成对特 征点运动轨迹的追踪和辨识工作。借 助 Matlab神 经网络工具箱， 通过对大量数据的离线学习， 建立基 于 B P 神经网络[10]的振动筛运动轨迹分类器， 完成 对振动筛整体运行状态的检测。 1检测方法原理 检测方法应用一种具有主动运行和定点观测功 能的双目视觉检测装置完成对振动筛运动轨迹高速 视频流的采集， 并通过工业计算机完成对设备整体 运行状态的算法分析。 双目视觉检测装置是由2 台高速相机、 补光源、 控制器、 中控旋转平台和行走底座构成的轨道式行 走装置， 硬件结构如图1 所示。高速相机是双目视 觉系统的核心， 负责图像数据的采集。控制器和中 控旋转平台设置于行走底座中， 按照工矿现场的实 际检测需要， 可完成双目视觉检测装置的主动运行 和定点观测功能， 通过对振动筛各部位局部特征点 的采集实现对整体运行状态的检测。 图1双目视觉检测装置硬件结构 Fig. 1 Hardware structure of binocular vision detection device 检测方法的精度依赖于双目相机本身的标定精 度 ， 设计中米用张正友标定法[11]来标定精度， 以棋 盘格标定板为平面靶标， 在不考虑相机畸变参数的 条件下， 建立线性相机模型， 通过提取不同位姿靶标 图像的特征点， 依据旋转矩阵正交性的约束条件， 求 取单应矩阵、 相机内参数、 外参数和深度系数， 利用 Levenberg-Marquardt算法[12]求解相机的非线性畸 变参数， 通过非线性畸变参数与线性参数的重复计 算 ， 提 相 机的 数 。 运 线 几 何 原 异值分解法求取基本矩阵， 完 成 2 个像平面间的坐 标关联。通 过 H aris角点检测算法获取图像中的 特征点， 完成基于特征匹配算法[1314]的立体匹配， 实现对振动筛各局部特征点空间坐标的定位。检测 过程中被测对象空间坐标P 与像平面坐标P 1， P 的关系 图 2 。 92 工 矿 自 动 化2 0 1 8 年 第 4 4 卷 图2检测过程中被测对象空间坐标与像平面坐标关系 Fig. 2 Relation between spatial coordinates of measured object and image plane coordinates in detection process 2检测方法实现 检测方法检测流程如图3 所示。 图3检测方法检测流程 Fig. 3 Detection process of detection 2.1 图像预处理 图像分析算法的有效性和检测方法的精度取决 于 图像的质量。由于工矿 的 ％ 采集的图 在 法辨识的 [15]。为 最大程 图像原始信息， 减少运算量， 提高图像 的 ， 对图 行 化处理， 通过直方图均 化增强图像的 ， 器 图像 中的噪声。在图 强过程中采 提 原理 的 化算子式（ 1， 在 系数 本文中 为 2. 5后 ， 将原图像与锐化后的图像 行复合， 在增强 的同时 原图像中 平 的 信息。图 图 4 所 。 图 有 提 图 的 度 ， 突出主 的特征， 适 运动轨迹 分析的图像数据， 提 振动筛特征点运动轨迹追 踪的准确性。 A 为 系数， A 越大， 原 图 大 ， 锐化 。 原始图像b 灰度化处理后的图像 （）直方图均衡化处理后的图像 d 的图像 图4 e 化 的图 图 Fig. 4 Result of image preprocessing 2.2 图像特征点提取 角点是图像中最直观的局部特征点， 信息量丰 富 ， 稳定性好， 对位置变化敏感， 合理提取图像中的 角点， 可提高对振动筛运动轨迹追踪的准确性。作 为主动视觉检测方法， 为提高角点检测的精度， 引入 尺 度 空 间 理 论 改 进 H a ris 角 点 检 测 算 法 ， 如 式（ 2式（ 5所示， 引入高斯核卷积函数建立多尺 度空间， 构造自相关矩阵， 通过矩阵的2 个特征值实 图像特征点的提取。为 角点的 性和提取的 ， 设定角点 数 Cx ， 的阈 值本文中 为 0. 01，若 Cx，大于 ， 则为 角点 最强特征点， 角点检测 图 5 。 . ， , ， ） ， , ， ） / ， , ） （ 3 2 0 1 8 年 第 6 期杨 硕 等 基 于 双 目 视 觉 的 振 动 筛 运 行 状 态 在 线 检 测 方 法 93 M , J Gx , X 「Id I J y “ ⑷ Lily D I、 ） C y detM 一 k X traceCMC d 2 5 式中 G， y ， ） 为 高斯核卷积函数 F ， y ， ） 为 多 尺 度 空 间 图 像 ； I， y为原图像; M ，y 为自相关矩阵， i 为尺度参数， d为 微分 数 。 图5多 尺 度H aris角点检测结果 Fig. 5 Result of multi-scale Harris corner detection 2. 3 局部特征点的运动轨迹检测 选取振动筛的局部特征角点作为追踪目标， 应 用 Lucas-Kanade LK光流估计算法完成特征点运 动轨迹的追踪。由于振动筛特征点的振动 过 ， 且相机捕捉的 为大 的运动， 违背了 L K 光流估计算法 的 （ 16， L K 光流估计算法 期跟踪 。为此， 本 文采用 L K 光流估计算法与图像金 分层（ 图 6 相 的策略来检测 特征点的运动轨迹。通过 由粗至细的分 略 ， 缩小原始图像中对大位移量 的特征跟踪， 提尚有 踪距离， 使每层的光 | 量 够小， 将检测 的大幅振动缩减为 光 I 的 的运动， 通过自上 的迭代运 算 ， 从最 开始计算光流， 的光 为下 一层的起点， 直至最 ， 从而实 振动筛特征点 运动轨迹的追踪。金 L K 光流估计算法检测结 果 如 图 7 所示。 Fig. 6 Layered image pyramid 2. 4 稳健估计 在对振动筛特征点进行运动轨迹采样时， 釆样 轨迹中会含有 点 ， 干扰点的存在将给轨迹追踪 带来误差。研究使用RANSAC算法17去除直 图7金 字 塔LK光流估计算法检测结果 Fig. 7 Detection result of pyramid LK optical flow estimation algorithm 线运动方向上的干扰点， 提 运动轨迹追踪的 。 2.5 分类器设计 本文 BP神经网络分类器完成对振动筛运 行状态的识别与分类。分类器是振动筛运行模式识 别的关键， 建立并训练特征点运动轨迹与振动筛运 行模式的映射模型， 使其具有对大量图像数据正确 分类的能力。首 先 构 建 B P 神经网络 ， 以特征 点运动轨迹信息的检测数据作为网络输入， 选取振 动筛 特征点在一个振动周期内的5 个点的世界 坐 标 振动筛运行模式是待识别 ， 作为网络输 出，定 义 节 点 数 为 4停 止、正常、疑似 、 故 障 。 由试凑法得， 当隐含 点 数 为 1 0 时 ， 网络性能最 好 ， 网络结构如图8 所示W 为权值， 为阈值） 。然 输入数据进行归一化 ， 采用数据 方式 将输入数据的8 0 作为训练数据， 1 0 作为测试数 据 ， 1 0 作为验证数据， 以防止过拟 的发生。 BP神经网络的隐含 递函数为tansig， 输出 层的传递函数为purelin， 网络训练函数为trainlm， 择均方误差函数mse作为性能函数。最后对大 历史数据进行离线网络训练， 得 到 B P 神经网络 分类器模型， 保存训练中性能最好的神经元模型， 当 输入新的特征点运动轨迹时直接调用模型并判断运 行状态。网络性能曲线如图9 。由图9 分析可 知 ， 当网络训练到5 5 次时， 测试数据集的均方误差 为最小值0.003 553 9,当训练次数为6 1 次时停止 训练， 有效验证次数为6 次 。 94 工 矿 自 动 化2 0 1 8 年 第 4 4 卷 图8 BP神经网络结构 Fig. 8 Structure of BP neural network 图9性能曲线 Verifying perance curvesFig. 9 3试验分析 以某公司选煤装备产业制造基地的在调振动筛 为测试对象， 检验该方法对振动筛运行状态的检测 是否达标。测试中振动筛振动 为 1 2 次/， 人为调整振动筛的运行状态， 分别米集振动筛在I 止 、 正常、 疑似 4 种运行状态下的特征点 运动轨迹在1 m in内的图像数据， 并 设 定 4 种运动 状态的优先级依次增加。在恒光 ， 应用 H am s算法检测到的运动特征点具有较强 的 。统计每帧图像数据中 特征点的总 数 ， 通过运动轨迹分类器对每个特征点在一个振动 周期内的运行状态进行分类， 计算各状态轨迹百分 ， 依据百分 判据分析单周期振动筛运行 状态， 结 果 见 表 1。通 过 表 1 的判断标 振动筛 运行状态进行输出分析， 振动筛在停止、 正常、 疑似 状态下检测的准确率分别为97.917， 90. 6 6 7 ， 96. 431 和 93. 181L 。试验结果表明， 在一个振动周期内， 单个待测特征点 10帧 图像的采集， 提高了轨迹拟合的时 ； 通过图像分 析方法， 可有效追踪并识别每个周期内特征点的运 动轨迹， 具有 的检测重复率； 由评价标 确率 指标可知， 该方法具有较高的准确性。 表1振动筛运行状态分析结果 Table 1 Analysis results of running state of vibrating screen 特征点 运动状态 特征点状态 百分比下限值/ 振动筛 运行状态 采集 帧数 识别 帧数 确 率/ 停止 90 停止 7 2007 050 97.917 正常90正常7 2006 52890.667 疑似故障U故障20疑似7 2006 94396.431 故障15故障7 2006 70993.181 4结论 penetration screen [ J ] 8 in sieving process on a International Journal of linear vibration Coal Science g 1基于双目视觉的振动筛运行状态在线检测 方法通过 H aris角点检测、 基于图像金字塔 的 Lucas-Kanade光流估计算法、 B P 神经网络分类 器 ， 并借助双目视觉检测装置的主动运行与定点观 测功能， 实现了对振动筛整体运行状态的在线检测， 具有准确 、 抗 能力强、 时 、 重复 f 优点， 可实时检测振动筛运动轨迹的 变化并 做 出 判 [， 对预估振动筛性能起到了关键作用。 “ 该方法在特征点检测过程中， 角点 f因 数的 依赖人工经验， 容易丢失关键的特征 点信息％ 择阈值是今后研究的方向。 Technology，2015，2 4 299-305. [ 2]晋亚松， 郭德伟， 张文斌.故障诊断技术在煤矿机械设 备中的应用[J].工矿自动化，2015,41436-39. JIN Yasong， GUO Dewei， ZHANG Wenbin. Application of fault diagnosis technologies in coal mine machinery [J]. Industry and Mine Automation， 2015,414 36-39. [3 ]付 胜 ， 许晓东， 陈涛， 等.基于低频涡流技术的振动筛 梁裂纹检测方法[ J ]煤 炭 学 报 ，2015，40 “ 0 2490 2495 FUSheng，XU Xiaodong，CHEN Tao，et al. Detection for the crack of shaker beam based on low- frequency eddy current [J ]. Journal of China Coal 参 考 文 献 （ References [1 ] LI Zhanfu， TONG Xin. A study of particles Society，2015,4010 2490-2495. [4 ]徐元博， 蔡宗琰.频率加权能量算子在振动筛故障诊 断中的应用[ J ]煤炭学报，2017,429 2475-2482. 2 0 1 8 年 第 6 期杨 硕 等 基 于 双 目 视 觉 的 振 动 筛 运 行 状 态 在 线 检 测 方 法 95 XU Yuanbo， CAI Zongyan. A frequency-weighted energy operator for bearing fault detection of vibrating screen [J]. Journal of China Coal Society， 2017,4292475-2482. [5 ]马 颂 德 ， 张正友.计 算 机 视 觉 计算 理 论与 算法 基 础 [M ].北京 科学出版社，1998. [ 6 ] BURT P，JULESZ. A disparity gradient limit for binocular fusion[J]. Science, 1980,2084 615-617. [7 ] HARRIS C, STEPHENS M. A combined corner and edge detector [ C ]//Proceedings of Fourth Alvey Vision Conference,1988 147-151. [ 8] 陈白帆， 蔡自兴.基于尺度空间理论的H a ts角点检测 [J ].中南大学学报（ 自然科学版） ，2005,365 37-40. CHEN Baifan, CAI Zixing. Harris corner detection based on theory of scale space[J]. Journal of Central South University Science and Technology, 2005, 36537-40. [ 9 ] LUCAS B，KANADE T. An iterative image registration technique with an application to stereo vision[C]//Proceedings of the 1981 DARPA Imaging Understanding Workshop,1981 121-130. [ 0]袁曾任.神经网络原理及其应用[M ].北 京 清华大学 出 版 1999. [11] ZHANG Z. A flexible new technique for camera calibration [ J ]. IEEE Transactions on Pattern Analysis g Machine Intelligence，2000， 22 1 1 1330-1334. [12] UEDA K， YAMASITA N. On a global complexity bound of the levenberg-marquardt [J]. Journal of Optimization Theory g Applications，2010, 1473 443-453. [13] TANG B, AIT-BOUDAOUD D, MATUSZEWSKI B J， et al. An efficient feature based matching algorithm for stereo images[C]//GMAP 06 Proceedings of the Conference on Geometric Modeling and ImagingNew Trends, Washington,DC,2006 195-202. [14] SADEGHI H， MOALLEM P， MONADJEMI S A. Feature based dense stereo matching using dynamic programming and color [J]. International Journal of Computational Intelligence , 20073 179-186. [ 5]刘洁.基于光流法的运动目标检测和跟踪算法研究 [D ].徐 州 中国矿业大学，2015 1-61. [ 1 6 ] 肖军， 朱世鹏， 黄 杭 ， 等.基于光流法的运动目标检测 与跟踪算法[ J ] .东北大学学报（ 自然科学版） ，2016, 376770-774. XIAO Jun， ZHU Shipeng， HUANG Hang， et al. Object detecting and tracking algorithm based on optical flow [J]. Journal of Northeastern University Natural Science , 2016,376770-774. [ 17] FISCHLER M A BOLLES R C8Random sample consensus a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM, 1981， 246726-740. [ 8]徐 德， 谭 民 ， 李原.机器人视觉测量与控制[M ].北 京 国防工业出版社，2011.