用于输送带纵向撕裂检测的新型视觉传感器.pdf

第 4 3卷 第 2期 2 0 1 7年 2月 工矿 自 动 化 I ndu s t r y a nd M i n e Aut o ma t i o n Vo 1 ． 4 3 NO ． 2 Fe b ． 2 0 1 7 文章编 号 1 6 7 1 2 5 1 X 2 0 1 7 0 2 0 0 4 0 0 4 DO I 1 0 ． 1 3 2 7 2 ／ j ． i s s n ． 1 6 7 1 2 5 1 x ． 2 0 1 7 ． 0 2 ． 0 0 9 陈路路 ， 庞宇松． 用于输送带纵 向撕裂检测的新型视觉传感器[ J ] ． 工矿 自动化 ， 2 0 1 7 ， 4 3 2 4 0 4 3 ． 用于输送带纵向撕裂检测的新型视觉传感器 陈路路 ， 庞 宇松 太原理工大学 山西省测控技术与新型传感器工程技术研究中心 ，山西 太原0 3 0 0 2 4 摘要 针对现有输送带纵向撕裂视 觉检测存在采集图像不清晰的问题 ， 提 出了一种基于红外与可见光图 像 融合 的新 型视 觉传感 器 。该视 觉传 感 器采 用 分 光棱 镜 将 从 同一镜 头入 射 的 同轴 光 分 别投 射 至 红 外 C C D 和 可见 光 C C D， 红外 C C D和 可见光 C C D 同时 采 集 目标 同一 点 的红 外 图像 和 可 见 光 图像 ， 利 用 像 素 级 融合 方法获得融合 图像 。实验结果表明， 该视觉传感器所采集的融合图像具有清晰的撕 裂信息和详 细的背景信 息 ， 满足 输送 带 图像 高质量 采 集的要 求 。 关键词 输送带；纵向撕裂； 视 觉传感器；红外图像 ；可见光图像 ；图像 融合 中图分类 号 T D 6 3 4 文献标 志码 A 网络 出版时 间 2 0 1 7 - 0 1 2 2 1 0 3 1 网络 出版地址 h t t p ／ ／ www ． c n k i ． n e t ／ k c ms ／ d e t a i l ／ 3 2 ． 1 6 2 7 ． TP ． 2 0 1 7 O 1 2 2 ． 1 O 3 1 - 0 0 9 ． h t ml A no v e l v i s i o n s e ns o r f or l o n g i t u d i n a l t e a r d e t e c t i o n o f c o n v e y o r be l t CH EN Lul u，PANG Yu s o ng En g i n e e r i n g Re s e a r c h Ce n t e r f o r Me a s u r i n g a n d Co n t r o l l i n g Te c h n o l o g y a n d Ad v a n c e d Tr a n s d u c e r s o f S h a n x i P r o v i n c e ，Ta i y u a n Un i v e r s i t y o f Te c h n o l o g y ，Ta i y u a n 0 3 0 0 2 4 ，Ch i n a Ab s t r a c t I n v i e w of pr o bl e m o f un c l e a r i m a ge of e xi s t i n g l o ng i t u di n a l t e a r d e t e c t i o n o f c on ve yo r be l t ，a n o ve l v i s i on s e ns or b as e d o n i n f r a r e d a nd vi s i b l e i ma g e f u s i o n wa s p r op os e d． I n t h e pr o po s e d s e ns o r， c o a x i a l l i g h t f r o m t h e s a me l e n s i s p r o j e c t e d t o i n f r a r e d C CD a n d v i s i b l e CCD r e s p e c t i v e l y b y u s e o f b e a m s p l i t t e r p r i s m ．Th e n ，i n f r a r e d i ma g e a n d v i s i b l e i ma g e a r e c o l l e c t e d b y t h e i n f r a r e d CC D a n d t h e v i s i b l e CCD r e s pe c t i v e l y a t t he s a m e t i m e．Fi n a l l y，f us i o n i m a ge i s o bt a i ne d b y us e o f pi x e l l e ve l f u s i o n m e t ho d． The e x pe r i me n t a l r e s ul t s s h o w t ha t t he f us i o n i m a g e c ol l e c t e d b y t he p r op os e d s e ns o r c a n m e e t r e q ui r e m e n t o f h i g h q u a l i t y c o l l e c t i o n o f c o n v e y o r b e l t i ma g e wi t h c l e a r t e a r i n f o r ma t i o n a n d d e t a i l e d b a c k g r o u n d i n f o r m a t i o n． Ke y wo r d s c on v e yo r be l t ；l on gi t u d i na l t e a r；vi s i o n s e n s o r；i nf r a r e d i m a g e；v i s i bl e i mag e；i ma g e f u s i on 收稿 日期 2 0 1 6 1 0 1 5 ； 修回 日期 2 0 1 6 1 2 2 l ； 责任编辑 盛男。 基金项 目 山西省 自然科 学基金资助项 目 2 0 1 6 0 1 D0 1 1 0 5 9 。 作者简介 陈路路 1 9 9 3 一 ， 女， 河南周 口人 ， 硕 士研究生 ， 主要研究方 向为 图像处理 、 机器视觉检测 ， E ma i l c h e n l u l u 0 7 2 6 1 6 3 ． t o m。 [8] [ 9] [ 1 O ] [ 1 1 ] 张敬春 ， 谷爱昱 ， 莫慧芳 ． 基于小波能量谱分析 的电机 故 障诊 断 [ J ] ．电 力 系 统 及 其 自动 化 学 报 ， 2 0 0 6 ， l 8 3 5 5 5 8 ． 于志伟 ， 苏宝库 ， 曾鸣． 小波包分析技术在大 型电机转 子 故障诊断 系 统 中的应 用 [ J ] ． 中国 电机 工 程学 报 ， 20 05， 2 5 22 15 8 1 6 2． 李 川 ， 肖蕙蕙． 小波 包算法在 异步 电机故 障检 测 中的 应用 [ J ] ． 重 庆 工 学 院 学 报 自然 科 学 版 ， 2 0 0 7 ， 2 1 7 1 0 7 1 1 0 ． 侯 嫒彬． 基 于粗 糙集 理论 的运 输 机故 障诊 断 与分 类 [ J ] ． 长 安 大 学 学 报 自然 科 学 版 ， 2 0 0 4 ， 2 4 1 [ 1 2 ] [ 1 3 ] [ 1 4 ] [ 1 5 ] 1 04 一 l 0 7 ． 臧宏 志， 俞晓冬． 基 于租 糙集与 支持向量机 的 变压 器 故 障诊 断E J ] ． 变压器 ， 2 0 0 8 ， 4 5 8 6 1 - 6 5 ． 王旭红 ， 何怡 刚． 基 于小波包 分析 和支持 向量 机 的异 步电机 转 子 断 条 故 障 诊 断 [ J ] ． 微 特 电 机 ， 2 0 1 0 ， 3 8 5 3 4 - 3 6 ． 张柯 ， 陆剑． 小波包 分析 和最小二 乘支持 向量 机 的电 机故障诊断[ J ] ． 微型 电脑应用 ， 2 0 1 5 ， 3 1 6 6 - 8 ． 林 茂 ， 李孝全 ， 张兴． 小波包分解 法与粗糙集神 经网络 在电机故障诊断中的应用[ J ] ． 大电机技 术 ， 2 0 1 2 5 3 】 一 3 4． 2 0 1 7年第 2期 陈路路等 用于输送带纵向撕裂检测的新型视觉传感器 4 1 0 引 言 输送带是煤 炭开采 的重要运输工具 ， 其纵 向撕 裂会造成巨大经济损失 ， 因此 ， 采取合理可行的预防 措施尤为重要 。近年来 ， 机器视觉被广泛应用于工 业 、 农业检测等领域口 ] 。由于机器视觉技术能提高 检测 的准确 性 ， 其 成 为输 送 带 纵 向撕 裂 在 线 检 测 的 重要方 向。祁隽燕等 ] 将 L a b VI E w 和机器视觉相 结合 ， 提 出了基于 L a b VI E W 的输送带撕裂视 觉检 测方 法 ， 该 方法 采用 面 阵数 字相 机采 集输 送带 图像 ， 并 利用 图形 化 编程 工具 L a b VI E W 对 撕 裂 图像 进 行 处 理 和识 别 ； 杨 彦 利 等 [ 5 提 出 了基 于机 器 视 觉 的 输 送 带在 线检 测 方 法 ， 该 方 法 采 用 多 个 C C D C h a r g e C o u p l e d De v i c e ， 电荷耦合元件 相机采集输送带图 像 。上述输送带 纵 向撕裂 视觉检测 大多采用 可见 光 ， 可见光图像虽然能提供详 细的 目标信息和清晰 的纹 理特 征 ， 但 煤 矿 井 下 环 境 恶 劣 ， 煤 尘 较 多 ， 光 线 较暗， 可见光相机很难采集到清晰的图像 。红外成 像在线检测技术是近年来非接触无损检测研究的热 点 _ 6 ] 。红外 辐射 能穿 透灰 尘 和烟雾 ， 红 外相 机 通 过 目标 的热辐射成像 ， 解决 了可见光相机在微光或弱 光条件下 成像 不理 想 的 问题 。鉴 此 ， 本文 提 出 了 一 种基于红外 与可见光 图像 融合 的新 型视觉传感 器 ， 可实现高质量输送带 图像 的采集 。 1新 型视 觉传 感 器工 作原 理 新型视觉传感器 主要 由图像采集模块 、 红外图 像处理模块 、 可见光图像处理模块、 图像融合模块和 通信模块组成 ， 如 图 I所示。图像采集模块采集红 外图像和可见光图像 ； 红外 图像处理模块和可见光 图像处理模块分别对采集的红外图像、 可见光图像 进行去噪 、 增强处理 ， 使红外 图像 中 目标更突出、 可 见光图像更清晰 ； 图像 融合模块采用像素级融合方 法r 】 o ] 对处理后的红外 图像和可见光图像进行融合 ， 图 1 新型视觉传感器 组成 得到红外与可见光融合 图像 ； 通信模块将红外与可 见光融合图像传输至计算机 ， 为后续输送带纵 向撕 裂检测做准备。图像采集模块和图像融合模块是该 新型视觉 传感器 的重要 模块 ， 下面对 其进 行详 细 介 绍 。 1 ． 1 图像 采 集模 块 图像采集模块 包括镜头、 分光棱镜 、 红外 C C D 和可见光 C C D， 如图 2所示 。红外光和可见光通过 镜 头聚 焦进 入 分 光 棱 镜 ， 当光 线 经 过 a面时 ， 由于 a面镀有波长分光膜 ， 使得红外光反射 ， 可见光通过 并 被可 见光 C C D接 收 。b面 也镀 有 波 长分 光 膜 ， 红 外 光经 a面反 射后 经 b面再次 反射 ， 被 红外 C C D接 收。通过光 电效应 ， 红外 C C D和可见光 C C D分别 接收的红外光和可见光被转换为电信号 ， 电信号经 放大、 滤波处理后 ， 再通过 A／ D转换器转换为数字 信 号 ， 即可 分别 获得 红外 图像 和可 见光 图像 。 ／ _ 、 々 可 ＼ J I 八 - l二 I ／ ＼ I ／／ ＼ ． 镜 头 、 b_／ ＼ ＼ ／ ／ 可见光图像 红外 图像 图 2 红外 图像 和可见 光图像采集原理 1 ． 2 图像 融合 模块 红外 图像 和可见光图像融合过程如图 3所示 ， 具体步骤 1 由于非 下 采 样 轮 廓 波 变 换口 No n s u b s a mp l e d C o n t o u r l e t Tr a n s f o r m， NS C T 可 准 确 表征图像的边缘信号和纹理 特征， 首先对 红外 图像 和可见光图像进行 NS C T， 分别得到红外 图像和可 见光图像的低频子带信号和高频子带信号 。 2 在很大程度上， 低频子带信号代表 图像 的 轮廓信息 ， 占据了图像 的主要信息 ， 图像质量受低频 子带信号影响很大 。红外 图像 中撕裂部分与背景部 分有很明显的不 同， 目标信息较突出 ； 可见光 图像 中 背景区域较清晰。因此 ， 低频子带信号的选择应主 要来 自红外 图像 。由于最 大 熵阈值 分 割法 [ 】 。 可很 好地保 留图像 的细节信息， 本文采用最大熵 阈值分 割法对红外图像和可见光 图像 的低频子带信号进行 融合 。 4 2 工 矿 自动化 2 0 1 7年 第 4 3卷 3 高频子 带 信号 主要包 括 图 像 的边缘 和细 节 信 息 ， 相 对 于红 外 图像 ， 可 见 光图像 一般 提供 更 多的 场景信息和细节信息 ， 因此 ， 高频子带信号的选择主 要 来源 于 可 见光 图像 。本 文 采 用 加 权 平 均 法 【 对 红外罔像 和可见光图像的高频子带信号进行融合 。 4 对 融 合 处 理后 得 到 的 低频 、 高 频 子 带 信 号 进行 反 NS C T， 得 到融合 图像 。 3 红外 图像 和r 叮见光 图像 融合过程 2实验 结果及 分 析 为测 试基 于红 外 与可 见光 图像 融 合 的视觉 传感 器所采 集 图像质 量 ， 搭建 输送 带 图像 采 集实 验平 台 ， 如 图 4所示 。带 式 输送 机 的长 度 和宽 度 分 别 为 1 2 ， 0 ． 8 m， 运 行速 度 为 6 m／ s 。视觉 传感 器使 用 S ONY I C X一 2 2 5 波 长 范 围 3 8 0～ 7 8 0 n r l 1 和 F L I R Ta u 3 3 6 波 长 范 围 7 ． 5 ～ 1 3 ． 5 m 分 别 作 为 可 见 光 C C D和红 外 C C D， 并 安装 在 输 送 带 下 方 的 机 架 上 ， 朝 向输 送带 的下 表 面 。 图 4输送带 图像采集 实验平 台 分 别采用 P o i n t Gr e y C MI N一 1 3 S 2 M 型 可 见 光 相机 、 F I I R Ta u 2 3 2 0型红 外相 机 和 本文 提 出的 视 觉传感 器采集 输送 带纵 向撕 裂 的可 见 光 图像 、 红 外 图像 和融 合 图像 ， 如 图 5 所 示 。从 图 中可看 出 ， 红 外 图像 中输 送带 撕 裂 的轮 廓 信 息 更 清 晰 ， 但 图 像 缺 乏 细节信 息 ； 可见光 图像 背景 信息 更丰 富 ， 但 图像 不清 晰 ； 融合 图像 综合 了红 外 图像 和可 见光 图像 的优点 ， 具有清晰的撕裂 目标信息和详细的背景信息 ， 并且 成像较为 自然， 适合人眼观看。 b 可见光 图像 一 c 融 合 图 像 图 5 输 送带纵向撕裂 网像 为 了 更 客 观 地 对 融 合 结 果 进 行 评 价 ， 利 用 Ma t l a b编程 语 言对 图像 从 信 息 熵 、 平 均 梯 度 、 均 方 根 3 个 方 面进行 定量 评价 。 1 信息 熵 。信 息 熵 代 表 图 像 信 息 丰 富 程 度 ， 其 反 映图像 中包 含 的平均 信 息的数 量 ， 熵 值越 大 ， 表 示图像信息越丰富。根据香农 的信息 沦原理 ， 信息 熵 E定 义 为 f 一 1 E 一 一 I n 户 1 i一 。0 式 中 L为 图像 的灰度 级数 ； 为灰度 级 强度 为 i的 像 素数 与 图像 总像 素数 之 比。 2 平 均梯 度 。平均 梯度 表 示 图像 的相 对 清 晰 度 ， 其反 映图像 对细 节对 比的表 达能 力 ， 平 均 梯度 越 大 ， 表示 图像 的清 晰度越好 。平均梯度 ； 计算公 式为 G 一 { 2 式 中 M ， N 分 别 为 图像 的 行数 和列 数 ； -／ ， ” 为 图 像 中像 素点 ， ” 的灰 度值 。 3 均 方 根 。均 方 根 是 图像 灰 度 的平 均 值 ， 其 反 映图像 的亮 度 ， 均方 根越 大 ， 表示 图像越 亮 。均方 根 R 计算 公式 为 R 3 2 0 1 7年 第 2期 陈路 路 等 用 于输 送 带纵 向撕 裂检 测的 新型视 觉传感 器 4 3 式 中 ． 厂 ， 为像素值为 的灰度值 。 图像 定量评 价 结 果 见 表 1 ， 可 看 出采 用 本 文 提 出的视觉传感器采集 的融合 图像 的平均梯度最大 ， 信息熵高于可见光图像而略低于红外图像 ， 均方根 高于红外图像而略低 于可见光 图像 ， 表 明该融合 图 像综合 了可见光图像 和红外 图像 的特点 ， 具有详细 的 目标信息和较高的亮度信息 。 表 1 图像定量评价结果 3 结 语 为满足输送带纵向撕裂视觉检测过程中高质量 图像采集的要求 ， 提 出了一种基于红外与可见光 图 像融合 的视觉传感器 ， 并搭建 了输送带 图像采集实 验平台。实验结果表 明， 该视觉传感器采集 的融合 图像能够取得较好的视觉效果和较多的撕裂 目标信 息， 相 比输送带红外 图像和可见光图像具有更高 的 质量 。 参考文献 [1 ] [ 2] [3] [4] [5] BAUDET N， M AI RE J L， PI LL ET M．Th e v i s u a l i n s p e c t i o n o f p r o d u c t s u r f a c e s [ J ] ． F o o d Qu a l i t y a n d Pr e f e r e n c e ， 2 0 1 3， 2 7 2 1 5 3 1 6 O ． 李 小昱 ， 陶海龙 ， 高海 龙 ， 等 ． 马铃 薯 缺陷透 射 和反射 机 器视觉检测方 法分 析 [ J ] ． 农 业 机械 学报 ， 2 0 1 4 ， 4 5 5 1 91 1 9 6． 儿A B Z， L I U R， Z HU M ． Re a l t i me o b s t a c l e d e t e c t i o n wi t h mo t i o n f e a t u r e s u s i n g mo n o c u l a r v i s i o n [ - J ] ． Th e Vi s u a l C o mp u t e r ， 2 0 1 5， 3 1 3 2 8 1 2 9 3 ． 祁 隽燕 ， 闫海 峰 ， 谭 超 ， 等． 基 于 L a b VI E w 的胶 带撕 裂机器 视 觉 检 测 系 统 研 究 [ J ] ． 煤 炭 工 程 ， 2 0 0 9 ， 4 1 9 1 2 3 一 I 2 5 ． YANG Y L，MI A0 C Y，LI X G，e t a 1 ．C I n - l i n e [ 6] [7 ] [ 8] [ 9] [ 1 O ] [ 1 1 ] [ 1 2 ] [ 1 3 3 [ 1 4 ] [ 1 5 ] [ 1 6 ] c o n v e y o r b e l t s i n s p e c t i o n b a s e d o n ma c h i n e v i s i o n [ J ] ． Op t i k I n t e r n a t i o n a l J o u r n a l f o r L i g h t a n d El e c t r o n Op t i c s ， 2 0 1 4， 1 2 5 I 9 5 8 0 3 5 8 0 7 ． G1 0VANNOZZI A M ，PENNECCH I F，M ULLER P， e t a 1 ．An i n f r a r e d s p e c t r o s c o p y me t h o d t o d e t e c t a mm o n i a i n g a s t r i c j u i c e [ j] ． An a l y t i c a l a n d B i o a n a l y t i c a l Ch e mi s t r y， 2 0 1 5 ， 4 0 7 2 8 8 4 2 3 8 4 3 1 ． COPPO P．Si mul a t i o n o f f i r e d e t e c t i on by i n f r a r e d i ma g e r s f r o m g e o s t a t i o n a r y s a t e l l i t e s[ J ] ．Re mo t e S e n s i n g o f En v i r o n me n t ， 2 0 1 5 ， 1 6 2 8 4 9 8 ． LEE Y S， CHAN Y M ， FU L C， e t a 1 ．Ne a r - i nf r a r e d - b a s e d n i g h t t i me p e d e s t r i a n d e t e c t i o n u s i n g g r o u p e d p a r t mo d e l s [ J ] ． I E E E T r a n s a c t i o n s o n I n t e l l i g e n t Tr a n s p o r t a t i o n S y s t e ms ， 2 0 1 5， 1 6 4 1 1 2 ． 赵 弼龙 ， 乔铁 柱． 基 于支持 向量机 红外 图像分 割 的输 送 带纵 向撕 裂 检 测 方 法 [ J ] ． 工矿 自动化 ， 2 0 1 4 ， 4 0 5 3 0 33． 刘 羽． 像素级多源 图像 融合 方法研 究[ D ] ． 合 肥 中国 科 学技术大学 ， 2 0 1 6 ． ZHANG Q，MALDAGUE X．An a d a p t i v e f u s i o n a p p r o a c h f o r i n f r a r e d a n d v i s i b l e i ma g e s b a s e d o n N S C T a n d c o mp r e s s e d s e n s i n g [ J ] ． I n f r a r e d P h y s i c s ＆ Te c h n o l o g y ， 2 0 1 6， 7 4 1 1 - 2 0 ． ADU J ， GAN J ， W ANG Y， e t a 1 ． I ma g e f u s i o n b a s e d on no ns u bs a mp l e d c o nt o ur l e t t r a ns f or m f o r i n f r a r e d a n d v i s i b l e l i g h t i m a g e[ J ] ．I n f r a r e d P h y s i c s Te c h nol o gy， 2 01 3， 61 9 4 1 00 ． 周靖鸿 ， 周璀 ， 朱建 军 ， 等． 基 于非 下采样 轮廓 波变换 遥感影 像 超 分 辨 重 建 方 法 [ J ] ． 光 学 学报 ， 2 0 1 5 ， 3 5 1 9 8 1 0 6 ． 李锋 ， 阚建 霞． 基于 S o b e l 算 子 的 图像 快 速二 维最 大 熵 阈值分 割算 法 [ J ] ． 计算 机科学 ， 2 0 1 5 ， 4 2 增刊 1 20 9 21 O ． 王倩． 基于边界梯度控制 的最大熵 阈值分 割方 法[ J ] ． 计算机应用 ， 2 0 1 1 ， 3 1 4 1 0 3 0 1 0 3 2 ． 权亚楠 ， 卜丽静 ， 武文 波． 改进 的 阈值加 权平均 HS V 与小波变换 图像 融合 口] ． 辽宁工程技术 大学学报 自 然科学 版 ， 2 0 1 6 1 6 5 6 9 ．