基于机器视觉的输送带纵向撕裂检测系统研究.pdf

2021 届硕士专业学位研究生学位论文学号2019320620 基于机器视觉的输送带纵向撕裂检测基于机器视觉的输送带纵向撕裂检测 系统研究系统研究 论 文 作 者 论 文 作 者 崔敏崔敏 指 导 教 师 指 导 教 师 张立华张立华 副教授副教授 培 养 单 位 培 养 单 位 曲阜师范大学曲阜师范大学 专业学位类别专业学位类别全日制工程硕士全日制工程硕士 专业学位领域专业学位领域电气工程电气工程 20212021 年年 6 6 月月 1 10 0 日日 万方数据 学位论文原创性声明学位论文原创性声明 本人郑重声明 所提交的学位论文是本人在曲阜师范大学攻读硕士专业 学位期间， 在导师指导下进行的研究工作和取得的研究成果。 除文中已经注 明引用的内容外，本论文不包含其他个人（或集体）已经发表或撰写过的研 究成果。 其他个人和集体对本研究所做的贡献均已在论文中作了声明并表示 了谢意。 作者签名 日期 学位论文使用授权声明学位论文使用授权声明 研究生在校攻读学位期间论文工作的知识产权单位属曲阜师范大学。 学 校有权保存本学位论文的电子和纸质文档， 可以借阅或上网公布本学位论文 的部分或全部内容，可以采用影印、复印等手段保存、汇编本学位论文。学 校可以向国家有关机关或机构送交论文的电子和纸质文档， 允许论文被查阅 和借阅。（保密论文在解密后遵守此规定） 保密论文注释本学位论文属于保密论文，保密期限为年。 导师签名作者签名 日期日期 万方数据 摘要 I 摘摘要要 输送带纵向撕裂故障严重威胁着带式输送机的安全运行，目前主要通过人工巡检的方 式进行排查，但是人工巡检的检测效率低下，检测周期长，诊断率低，存在生产安全隐患。 近年来，基于机器视觉技术的输送带纵向撕裂故障检测方法不断发展，但在复杂的工况环 境下仍然存在识别率和可靠性较差的问题。针对这一问题，文章以实验室输送带装置为研 究对象，对基于机器视觉的输送带撕裂故障检测方法展开研究，主要研究内容如下 （1）由于输送带运行速度较快，捕获的输送带图像会出现运动模糊现象，影响后续 的图像识别。针对这一问题提出了适用于输送带图像的加权引导滤波自适应图像复原算法。 该方法将 Lucy-Richardson 滤波后的图像作为引导图像，在引导滤波模型中引入加权因子， 根据 Sobel 梯度算子的边缘检测结果自适应地改变模型参数大小，并借助引导图像实现图 像复原。实验结果表明，该方法既能根据图像中的撕裂区域进行自适应复原，也能够有效 避免复原过程中非撕裂区域的振铃效应，为后续撕裂图像特征的准确提取奠定了基础。 （2）提出基于人工提取图像特征的输送带纵向撕裂检测方法。首先，对传统的脉冲 耦合神经网络（Pulse Coupled Neural Network，PCNN）方法进行了改进，运用赫布学习规 则更新 PCNN 的权值矩阵， 加强了相近像素间的联系， 实现了图像中撕裂区域的完整分割， 为后续裂缝形状特征的精确提取提供保障；其次，提取输送带撕裂图像的纹理特征和分割 后裂缝的形状特征，利用基于混合特征的支持向量机（Support Vector Machine ，SVM）分 类器实现了输送带撕裂图像的分类识别。 （3）提出基于深度学习的输送带纵向撕裂检测方法，利用掩膜区域神经网络（Mask Region Convolutional Neural Network，Mask RCNN）实现对撕裂图像的特征自动提取与识 别。通过对 Mask RCNN 网络模型参数的分析，根据实际数据集的大小和输送带撕裂图像 特点，对 Mask RCNN 的特征提取网络进行选择，并对候选区域生成网络中的锚框尺度与 比例进行改进。实验结果表明，相比于未改进的 Mask RCNN，参数优选和改进后的 Mask RCNN 在裂缝目标识别的召回率、精确率和识别速度方面都得到有效提升，且对输送带撕 裂图像的识别效果优于基于混合特征的 SVM 分类器的识别效果。 （4）基于文章所提方法，开发了基于树莓派的嵌入式输送带纵向撕裂实时检测系统， 该系统包括图像采集模块、图像处理模块和执行模块。测试结果表明该系统能够实现对纵 向撕裂故障的实时检测和撕裂区域的定位，且识别率高、实时性强，具有很强的实用价值， 对提高输送带运行的安全性有重要意义。 关键词关键词机器视觉；输送带纵向撕裂；图像处理；故障检测 万方数据 Abstract II Abstract The longitudinal tearing failure of the conveyor belt seriously threatens the safe operation of the belt conveyor, which is mainly checked by manual inspection at present. However, manual inspections have low detection efficiency, long detection cycles, low diagnosis rates and potential production safety hazards. In recent years, the detection s for longitudinal tearing of conveyor belts based on machine vision technology have been continuously developed, but still have problems of poor recognition rate and stability under complex working conditions. To solve this problem, this article takes the conveyor belt device in laboratory as the research object, and conducts research about the machine-vision-based conveyor belt longitudinal tear fault detection . The main research contents of this paper are as follows 1 Due to the fast running speed of the conveyor belt, motion blur will occur in the captured conveyor belt image, which will affect the subsequent image recognition. To solve this problem, a weighted guided filter adaptive image restoration algorithm suitable for conveyor belt images is proposed. This uses the Lucy-Richardson filtered image as the guide image, introduces a weighting factor into the guide filter model and adaptively change the model parameters relationship to the edge detection result of the Sobel gradient operator, and realizes image restoration with the help of the guide image. The results show that this can not only per adaptive restoration according to the tearing area in the image, but also effectively avoid the ringing effect of the non-tearing area during the restoration process, which lays the foundation for the subsequent accurate extraction of tearing image features. 2 A of longitudinal tear detection for the conveyor belt based on artificially extracted image features is proposed. Firstly, the traditional pulse coupled neural network PCNN is improved. By using Hebb learning rules to update the weight matrix of PCNN, the connection between similar pixels is strengthened, which realizing the complete segmentation of the torn area in the image, and guaranteeing the accuracy for the extraction of the crack shape feature. Secondly, extracting the texture feature of the conveyor belt tearing image and the shape feature of the crack after segmentation, the classification and recognition of the conveyor belt tearing image is realized by using a support vector machine SVM classifier based on mixed features. 3 A deep-learning-based conveyor belt longitudinal tear detection is proposed, and which uses the mask region convolutional neural network Mask RCNN to automatically extract and recognize the features of the tear image. By the analysis of Mask RCNN network model 万方数据 Abstract III parameters, according to the size of the actual data set and the characteristics of the conveyor belt tearing image, the feature extraction network of Mask RCNN is selected, and the anchor frame scale and proportion in the candidate region generation network are improved. The results show that, compared with the unimproved Mask RCNN, the optimized and improved Mask RCNN has effectively improved the recall rate, accuracy and recognition speed of crack target recognition. And the recognition effect of the conveyor belt tearing image is better than that of the SVM classifier based on mixed features. 4 Based on the proposed in this paper, a real-time detection system for longitudinal tearing of an embedded conveyor belt based on Raspberry Pi is developed, which includes image acquisition module, image processing module and cution module. The experiments result shows that the system can realize the real-time detection of longitudinal tearing faults and the location of the tearing area. With high recognition rate and strong real-time perance, it has strong practical value and is of great significance for improving the safety of conveyor belt operation. Key words Machine vision; Conveyor belt longitudinal tear; Image processing; Fault detection 万方数据 目录 IV 目目录录 摘要..............................................................................................................................................I Abstract...........................................................................................................................................II 第 1 章 绪论...................................................................................................................................1 1.1 课题的来源及意义.............................................................................................................1 1.2 国内外研究现状.................................................................................................................3 1.2.1 输送带纵向撕裂检测研究现状...............................................................................3 1.2.2 图像识别技术研究现状...........................................................................................6 1.3 课题的主要难点与章节安排.............................................................................................7 1.3.1 课题主要难点...........................................................................................................7 1.3.2 章节安排...................................................................................................................8 第 2 章 输送带撕裂图像的预处理...............................................................................................9 2.1 输送带图像的运动模糊复原.............................................................................................9 2.1.1 图像复原理论基础...................................................................................................9 2.1.2 图像复原算法分析.................................................................................................11 2.1.3 基于梯度信息的 L-R 引导滤波自适应融合图像复原........................................ 12 2.1.4 基于梯度信息的加权引导滤波自适应图像复原.................................................15 2.1.5 输送带纵向撕裂图像的去模糊实验与分析.........................................................17 2.2 输送带图像去噪...............................................................................................................23 2.3 输送带图像增强...............................................................................................................24 2.3.1 直方图均衡化.........................................................................................................24 2.3.2 侧抑制增强.............................................................................................................25 2.4 本章小结...........................................................................................................................27 第 3 章 基于混合特征和 SVM 的输送带纵向撕裂故障检测...................................................28 3.1 输送带撕裂区域分割算法分析与优化...........................................................................28 3.1.1 OTSU 裂缝分割..................................................................................................... 28 3.1.2 优化 PCNN 裂缝分割............................................................................................29 3.1.3 输送带撕裂图像分割实验与分析.........................................................................31 3.2 输送带撕裂图像特征提取...............................................................................................34 3.2.1 形状特征提取.........................................................................................................34 3.2.2 纹理特征提取.........................................................................................................35 3.3 SVM 分类模型.................................................................................................................38 万方数据 目录 V 3.4 基于混合特征的 SVM 训练与实验评估........................................................................40 3.4.1 训练样本准备.........................................................................................................41 3.4.2 实验环境配置与实验评估.....................................................................................41 3.5 本章小结...........................................................................................................................43 第 4 章 基于 Mask RCNN 的输送带纵向撕裂故障检测..........................................................44 4.1 Mask RCNN 网络结构.....................................................................................................44 4.2 Mask RCNN 参数优选与改进.........................................................................................47 4.3 训练环境的搭建与数据集的制作...................................................................................49 4.3.1 训练环境的搭建.....................................................................................................49 4.3.2 数据集的制作与转换.............................................................................................50 4.4 Mask RCNN 训练与实验评估.........................................................................................52 4.5 本章小结...........................................................................................................................55 第 5 章 输送带纵向撕裂检测系统设计与实现.........................................................................56 5.1 输送带纵向撕裂检测系统整体方案...............................................................................56 5.1.1 检测系统的设计要求.............................................................................................56 5.1.2 系统整体结构设计.................................................................................................56 5.2 硬件框架设计...................................................................................................................58 5.2.1 主控模块.................................................................................................................58 5.2.2 图像采集模块.........................................................................................................59 5.2.3 光源辅助模块.........................................................................................................62 5.2.4 执行模块.................................................................................................................63 5.3 嵌入式系统软件设计.......................................................................................................63 5.3.1 软件开发环境.........................................................................................................63 5.3.2 人机交互界面设计.................................................................................................64 5.4 嵌入式输送带纵向撕裂检测系统实现...........................................................................66 5.4.1 树莓派软件配置与算法移植.................................................................................66 5.4.2 输送带纵向撕裂图像识别测试.............................................................................69 5.5 本章小结...........................................................................................................................72 第 6 章 总结与展望.....................................................................................................................73 6.1 工作总结...........................................................................................................................73 6.2 工作展望...........................................................................................................................73 参考文献.......................................................................................................................................75 在读期间发表的学术论文及研究成果.......................................................................................79 致谢...........................................................................................................................................80 万方数据 第 1 章 绪论 1 第第 1 章章 绪论绪论 1.1 课题的来源及意义课题的来源及意义 自 1868 年带式输送机出现以来，受到现代工业技术发展的影响，输送带运输系统不 断完善升级，已经由简单的运输设备发展成为企业之间的大规模、多功能、现代化的运输 载体。带式输送机运输容量大、输送速度可控、机架结构简单、投入少、效率高、安全可 靠且对承载物破坏作用小、通用性强， 相比于其他运输设备具有显著优势[1]，已被广泛应 用于块状、散状物体的运输，是煤炭、冶金、交通、水电、化工等部门的常见又关键的设 备，社会市场的需求空间很大。面对一些易燃易爆物品，借助输送带运输更能保障人们的 安全性。对于现代新兴的物流行业，输送带和条形码也成为每个订单的标配，这能帮助企 业更快地分拣货物，更快地完成订单。随着国内煤炭矿石开采能力的提升，海港物料运输 订单业务量的增多，粮食产业以及再加工产业的不断发展、电厂发电水平的不断提高，国 内带式输送机的市场将更加广泛而深入。未来，输送带运输系统将向着自动化、智能化的 方向发展。工业生产线上的输送带运输系统如图 1.1 所示。 a 港口煤矿运输 b 工业物料运输 万方数据 第 1 章 绪论 2 c 京东物流运输中心 图 1.1 工业生产线输送带运输系统 “十四五”期间，我国的安全生产工作将会面临新形势、新目标、新任务[2]。“安全”是 社会和企业发展的重中之重，是为我国工业发展提供良好发展环境的必经之路。作为工业 生产的重要设备，带式输送机的稳定运行直接影响企业的经济效益和工作人员的安全。输 送带的纵向撕裂是生产过程中的频发故障，且由于输送带的特殊结构和较快的运行速度， 当输送带出现局部性纵向撕裂时，会造成整条输送带在短时间之内撕裂报废，如图 1.2 所 示，维修工人正在修补撕裂的输送带。2010 年 7 月 10 日，兴业矿山分厂的带式输送机尾 轮处卡有一根一米长钢管，巡检人员并按照流程进行检查并执行开机操作，导致输送带撕 裂约 470 米，给企业造成了重大经济损失。2018 年 5 月 8 日，阳煤一矿岗位工在巡检皮带 时，发现皮带发出异响但未及时停止设备，致使 200 米左右皮带全部撕裂，造成生产中断。 输送带撕裂故障不仅会导致停工停产，消耗大量的人力资源和修复费用，给企业带来经济 损失，还会对威胁生产工作人员的生命安全，严重的输送带撕裂故障甚至会引发火灾，造 成严重的生产事故[3-4]。因此，实现对输送带纵向撕裂故障及时的智能化检测，对于工业生 产线的安全运行有重大意义。 图 1.2 维修工人正在修补纵向撕裂输送带 万方数据 第 1 章 绪论 3 针对输送带纵向撕裂检测这一问题， 本文在考虑实际工况的基础上， 从机器视觉出发， 结合图像处理和模式识别技术实现对输送带纵向撕裂故障的智能化检测。充分发挥机器视 觉检测的高精度、高速度、强适应性、智能化、无损检测等优势，避免人工巡检工作量大 和危险性等弊端，对保障生产安全、提高检修效率、实现工业运输经济化和重载化有重要 的现实意义。 1.2 国内外研究现状国内外研究现状 1.2.1 输送带纵向撕裂检测研究现状输送带纵向撕裂检测研究现状 输送带纵向撕裂检测一直是国内外众多学者的重点研究课题之一，提出了很多研究方 法，大致可分为非接触式和接触式两种检测方式。早期的研究大多以机械接触式检测装置 为主，其特点是结构简单、安装方便、价格便宜，但在复杂恶劣的工