矿用输送带双目视觉检测自适应标定方法.pdf

第 4 1卷 第 6期 2 0 1 5年 6月 工矿 自 动化 I nd us t r y a nd M i n e Aut o ma t i o n VoI _ 4l NO ． 6 J u n ．2 01 5 文章 编号 1 6 7 1 2 5 1 X 2 O 1 5 0 6 0 0 6 1 0 5 DOI 1 0 ． 1 3 2 7 2 ／ j ． i s s n ． 1 6 7 1 ～ 2 5 1 X ． 2 0 1 5 ． 0 6 ． O 1 5 刘改叶， 武喜艳． 矿用输送带双 目视觉检测 自适应标定方法E J ] ． 工矿 自动化 ， 2 0 1 5 ， 4 1 6 6 1 6 5 ． 矿用输送带双目视觉检测自适应标定方法 刘 改叶 ， 武喜艳 1 ． 大 同煤矿 集 团有 限责任 公 司 ，山西 大 同0 3 7 0 0 3 ； 2 ． 太 原理 工大 学 新 型传感 器 与智 能控 制教 育部 重点 实验 室 ，山西 太原0 3 0 0 2 4 摘 要 针 对煤 矿 输送 带纵 向撕 裂视 觉检 测 中， 传 统 的摄 像 机标 定 方法 复杂 、 精 度低 等 问题 ， 提 出了一种 高 效的双 目视觉检测 自适应标定方法。分析 了摄像机数学模型与双 目视 觉基本原理 ， 在 线性模 型的基础上引 入非线性畸变参数， 将输送带图像与 7 7矩阵模 型融合提取 出的关键特征 角点坐标值代入矩 阵约束方程 ， 求解出摄像机 内外参数及结构参数 、 畸 变参数 ， 并对其进行非线性优化 ， 得到精确值 ， 最后采用贝叶斯误差估 计方法对计算 出的参数与 F a u g e r a s自标定方法所得结果进行对比分析 。实验结果表明该方法精度 高， 可靠 性 好 。 关 键词 矿 用输 送 带 ；纵 向撕 裂 ；自适 应标 定 ；双 目视 觉 ；角 点提 取 中图分 类号 TD 6 3 4 文献标 志码 A 网络 出版 时 间 2 0 1 5 0 5 2 9 1 4 3 2 网络 出版地 址 h t t p ／ ／ www． c n k i ． n e t ／ k c ms ／ d e t a i l ／ 3 2 ． 1 6 2 7 ． TP ． 2 O 1 5 0 5 2 9 ． 1 4 3 2 ． 0 1 5 ． h t ml A s e l f a da pt i v e c a l i br a t i o n me t ho d f o r mi ne us e d be l t d e t e c t i o n wi t h b i no c u l a r v i s i o n LI U Ga i y e ． W U Xi ya n 1． Da t o ng Co a l M i ne Gr o up Co．Lt d． ，Da t on g 03 7 0 03，Chi na；2． Ke y La b or a t or y o f A d v a nc e d Tr a ns d uc e r s a n d I nt e l l i ge n t Con t r o l Sy s t e m ，M i n i s t r y o f Ed uc a t i o n， Ta i y u a n Un i v e r s i t y o f Te c h n o l o g y ，Ta i y u a n 0 3 0 0 2 4，Ch i n a Ab s t r a c t For t r a d i t i o na l c ompl e x c a me r a c a l i br a t i o n me t h od s wi t h l o w pr e c i s i o n u s e d f o r mi ne u s e d be l t l o ng i t ud i na l t e a r de t e c t i o n，a n e f f i c i e nt s e l f a d a p t i v e c a l i b r a t i o n m e t ho d wa s p r op os e d f or bi n oc ul a r v i s i o n d e t e c t i on． A m a t he ma t i c a l m o de l of c a m e r a a nd f und a me n t a l pr i nc i pl e o f bi no c ul a r v i s i o n we r e a n a l y z e d ，a n d n o n l i n e a r d i s t o r t i o n p a r a me t e r s we r e i n t r o d u c e d i n t o t h e l i n e a r mo d e 1 ．Th e c o o r d i n a t e v a l ue s of f e a t ur e c or ne r p oi n t s e x t r a c t e d f r om f us e d i m a g e c o m b i n i ng be l t i m a ge wi t h a 7 7 ma t r i x mod e l a r e s u b s t i t u t e d i n t o t h e ma t r i x c o n s t r a i n t e q u a t i o n ． Fu r t h e r mo r e ， i n t e r n a l a n d e x t e r n a l p a r a me t e r s ， s t r u c t u r e pa r a m e t e r s a nd d i s t o r t i on pa r a m e t e r s d e c o m po s e d of t he e qu a t i on a r e no n l i ne a r l y o p t i mi z e d t o be mor e a c c ur a t e ． Fi na l l y， o ve r a l l c a l c u l a t e d p a r a m e t e r s a r e c o mpa r e d wi t h t he o ne s ob t a i ne d by Fa ug e r a s s e l f c a l i br a t i on me t h od us i ng Ba y e s i a n e s t i ma t i on e r r o r ． The e x pe r i me n t a l r e s u l t s s h ow t ha t t he me t ho d ha s hi gh a c c u r a c y a n d r e l i a b i l i t y． Ke y wor d s m i n e u s e d be l t ；l on gi t u di na l t e a r；s e l f a d a p t i v e c a l i b r a t i o n；bi no c ul a r v i s i on；c o r n e r p oi nt e xt r a c t i on 0 引言 煤 矿 带 式运 输 过 程 中 ， 输 送带 纵 向撕 裂 可 能导 致 重大生 产 安 全事 故 。现 有 的 输 送 带 防撕 裂 检 测装 置包 括接 触式 及非 接触 式检 测 系统 。机器 视觉 检测 。 是 目前应 用最 广泛 的一 种非 接触 式无 损 检测 收稿 日期 2 0 1 4 1 2 - 0 8 ； 修 回 日期 2 O 1 5 0 4 1 1 ； 责任 编辑 李明。 基金项 目 山西省特色学科基金资助项 目 8 0 0 1 0 3 0 2 0 1 0 0 5 3 。 作者简介 刘改叶 1 9 6 9 ～ ， 女 ， 山西大同人 ， 工程师 ， 现主要从事机电设备管理工作 ， E ma i l mj g s l g y 1 6 3 ． C O 1T I 。 6 2 工矿 自动化 2 0 1 5年 第 4 1巷 方法 ， 摄像机标定是实现该方法的前提 ， 其精度直接 影响检测的准确性_ 4 ] 。摄像机标定方法主要包括传 统标定和 自标定[ 引。传统标定方法需要的标定块成 本 高 ， 标定 过 程 复 杂 ， 难 以 在 恶 劣 的煤 矿 环 境 下 实 现 ； 自标定方法通过摄像机运动所获取的图像序列 来标定内外参数 ， 不需要标定参照物体的几何参数 ， 但精 度 较 低 ， 鲁 棒 性 不 强 ] 。乔 铁 柱 等l 7 结 合 F a u g e r a s自标定方法与卫星定位原理， 提出了煤仓 煤位 自适应标定法 ， 但其主要针对煤位高度检测 ， 不 适用 于输送 带视 觉检 测 中摄 像 机 的标 定 。张 正友 E ] 提出的棋盘标定法是一种介于传统标定和 自标定之 间的方法 ， 避免了传统标定设备要求高、 操作难等缺 点 ， 但标定过程 中提取棋盘角点时稳定性差。角点 的快 速提取 是摄 像 机标 定 必 不 可 少 的 步骤 之 一 ， 是 实 现 实时标 定 的关键 ， 也 是 整个 摄 像 机 标定 过 程 耗 时最 多 的环 节 _ 9 ] 。角 点提取 的速 度与精 度直 接影 响 摄 像 机标定 的速 度 。本文 针对 输送带 纵 向撕裂 视觉 检测 ， 提 出 了一 种高 效 的双 目视 觉 自适应 标定 方法 ， 通过 对输送 带 图像 与 7 7矩 阵模 型的融 合 ， 实 现特 征角点的快速提取 ， 再 由角点坐标计算相关参数， 完 成摄 像机标 定 。 1 输 送 带视 觉检测 的摄像 机模 型 输送带视觉检测的摄像机模型采用线性模型 ， 即针 孔成像 模 型 。为 了更 好地 描述摄 像 机光学 成像 过程 ， 建立 了摄像 机通用模 型， 如 图 1所示 。x 一 y 一 z 为摄 像 机坐 标 系 ，U 一 为像 素坐 标 系 。空 问 点 P X ， Y ， Z 在 图像平面的投影点 户 ， 为 摄像机光心 R与 P点的连线 t 与图像平面的交点 ， ．厂为 摄 像 机 焦 距 。 图 像 物 理 坐 标 系 如 图2 所 示 ， 其 图 1 摄像机通用模型 O U o ， v 0 图 2图像物理坐标系 原 点 为 o u 。 ， 。 图 1中 ， 点 P X ， Y ， Z 到点 P ， 的转换 过 程 如下 。 1 三维世界坐标系 x 一 y 一Z 到摄像机 坐 标 系 X。 一 y 一 Z 的转 换 [ X c y c Z 一 一 R r [ X Z w 1 1 式 中 R 为3 3 正 交 旋 转 矩 阵 ，R 一 厂 r n n z n s ] I l ； 1 为三维 空 19平移 向量 。 。 。 J 2 摄像机坐标系 x 一 y 一 z 到图像物理坐标 系 z Y的转换 厂 z ] 厂 _厂 X ／ Z ] l l ／ z J 2 该 转换 过程 中很 多镜 头存 在 明显 的畸变 。径 向 畸变 和切 向畸 变 是 引起 畸 变 的 主要 原 因 ] 。发 生 畸变 后 图 像 物 理 坐 标 系 中 点 P z，．y 扩 展 为 P zd， d [ x a l 1 k lr 2 k 2 r4 [ ] 『 2 p l x y p ／ 2 x 2 L 2 p z xy P 2 y] ㈦ 1 r J 式 中 k ， 走 为径 向 畸变 系 数 ； r为 图像 物 理 坐 标 系 中 的点与其 原 点 的距 离 ， r 。 一 -z 。 Y 。 ； P ， P 为 切 向 畸变 系数 。 3 图像物理坐标系 Y到像素坐标系 “ 一7J 的转换 一『 -， a 。 ] L vJ L d J 4 式 中 ， ， 分 别 为 ,2 2 ， Y方 向上 的焦距 ， 以像 素 为 单 位； 。 ， 为图像像素坐标系的中心点。 综合 式 1 一式 4 ， 可 得 三 维 空 间 点 P X ， y ， Z 与其 像素 坐标 系 中的投影 点 “ ， 的齐 次 方程 M E R／ T ] X y Z 1 X u ， y Z 1 5 1 _ 1 R O r L ‰ 0 一 _ _ 】_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ __ _ _ _ J U S 2 0 1 5年 第 6期 刘 改叶 等 矿 用输 送 带双 目视 觉检 测 自适应 标 定方 法 6 3 式 中 s为 转换 比例 因子 ； 为 图像 物理 坐 标 系 的坐 学关 系为 标轴 偏斜 度参 数 ； M 为摄 像机 内参数 矩 阵 。 2双 目视 觉 自适应 标定 方 法 2 ． 1 标 定模 型 根 据煤 矿输 送带 形状 、 位 置特 点 ， 双 目视觉 自适 应标定模型采用汇聚式立体视觉模 型n ， 如图 3所 示 。2个 摄 像 机 呈 一 定 角 度 放 置 ， o。 ， 0 r 分 别 为 与 2个 摄像 机 光 心 共 线 的 投 影 中 心 ， 丌 。 ， 丌 ， 为 相 应 的 2个 投影 平 面 ， 极 点 e 为 投影 中心 的连 线 与 2个 投 影 面 的交点 ， q 1 z ， ， q z ， Y z 分 别 为 三 维 空 间点 P在 左 、 右投 影平 面上 的投 影 点 ， 直线 q q 为极 线 ， P 与 投 影 中 心 0。和 o 所 确 定 的 面 为 极 面 。 P 图 3双 目视 觉 自适 应 标 定 模 型 2 ． 2 标 定 方 法 双 目视 觉 自适 应标 定 方法 步 骤 ① 设输 送 带某 一 点坐标为 a ， b ， c ， 将其代 人本文 的矩 阵约束方 程 5 ， 求 解 得到 摄像 机 内参 数初 始 值 ； ② 利 用求 得 的摄 像 机 内参数 初 始值求 解 畸变 参 数 ； ③ 对 所 有参 数 进行 非线 性优 化 。 2 ． 3参数 计 算及优 化 2 ． 3 ． 1 内外参 数 由双 目视 觉 标 定 系 统 获 得 的 来 自同一 场 景 的 2幅 图像 之 间存 在 一 定 的约 束 关 系 ， 即对 极 几 何 关 系。其特点是极线与 图像扫描线平行 ， 2条极线 接 近共线 ， 一 幅 图像 上 的 特征 点 在 另 一 幅 图像 上 的 匹 配点 一定 在极 线上 ， 数 学关 系 为 f P F p 一 0 ⋯ L b J l F一 --I M F 式 中 - ， P 为空间点 P在 2个摄像机坐标系下的 坐标 ； M。 ， M 分别 为左右摄 像机 内参数矩 阵； H 为 平 移矩 阵 ； F为基 础矩 阵 ， 包 含 了摄像 机 的 内部 和 外 部参 数 ， 反 映任意 2个 视 图间 的双线 性关 系 。 2 ． 3 ． 2 结构 参数 结构 参 数反 映 了 2台摄像 机之 间 的相对 位 置关 系 ， 包 括 左 、 右 摄 像 机 的 正 交 旋 转 矩 阵 R。 ， R ， 平 移 向量 ， 。设 为 P 点 的 坐标 ， 则 P 。 ， P ， p 的数 f l RI p Ti P 一 R Tr l P l R p T ， 7 由此解得 2台摄像机之间的相对几何关系为 { ， ‘ ， 8 l 1 一 1 R 1 ’ 1 式 中 R ， T ， 分别 为将 右摄 像机 坐标 系 转换 到左 摄 像 机 的旋 转矩 阵 和平移 向量 。 由于 存 在 图像 噪 声 和 舍人 误 差 ， 计 算 结果 会 出 现微小差别 。选用 R ， T ， 的中值作 为真实结果的初 始 近 似 值 ， 再 运 行 稳 健 的 L e v e n b e r g Ma r q u a r d t 迭 代算法E 查找出角点在 2个摄像机视 图上 的最小 投 影误 差 ， 并返 回 R ， T ， 结 果 。 2 ． 3 ． 3 畸 变参 数 根 据 摄像 机 内外参 数 ， 由式 3 可 得 f z 一 厂 r ll a -- r 12 b - l- r la c - l- t 一 z d E l k ID z 尼 lD a t 1 r 31 r 32 6 r 33 c ⋯ l 。 3 x j 5 2 p 2 d Y d ] l f r 2 a a - 1- r 22 b - [- r 23 c ，- [- t y d [ 1 尼 l0 忌 2 10 4 l 一 7 31 n T 2 口 T 3 c T 一 L l 十 患 l0 十 息 。 10 十 l 2 3 x 5 十 - t- 2 p 1 9 2 d d ] 9 式中 p 一 千 ； 户 ， 分别为径 向畸变和切 向 畸变 参数 。 将提取的 个特征角点的三维坐标及图像坐标 代人 式 9 即可得 出摄 像机 畸 变参数 。 2 ． 3 ． 4 参数 优化 为 获取 精 确 的摄像 机参 数 值 ， 采 用 非 线性 优 化 算法 对所 有参 数进 行 优化 ， 优 化模 型为 l z m in 一∑ ∑ lI m 一m k ， k 。 ， ， P ， F ， R ， T i ， m l l 1 O 式 中 m 为 第 i幅 图 像 中 第 J个 点 的 图像 坐 标 ； m ， 为第 i幅 图像 中第 个 点 的世 界 坐标 ； R 为 第 i幅图像的正交旋转矩阵 ； 为第 i幅图像 的平 移 向量 ； z 为第 i幅图像中点 的个数 。 3实验与 结果 分析 3 ． 1 实验 方 案 实验 步骤 ① 搭 建双 目视觉 标定 系统 ， 左 、 右摄 像 机 同时对 获 取 的 图像 进 行 角 点 提 取 与 图像 匹配 ； ② 标定摄像机， 将提取 的特征角点坐标代入 自适应 标定公式 式 5 一式 9 ， 求解双 目视觉的内外参 2 0 1 5年 第 6期 刘 改叶等 矿 用输 送 带双 目视 觉检 测 自适 应标 定 方法 6 5 4 结语 懈 殛 山 ∽ 左图 b 右图 图 7 F a u g e r a s角点 匹配结果 噪声标准偏差／ 像素 图 8 MS E误差对 比结 果 针对 矿 用 输 送 带 纵 向撕 裂 视 觉 检 测 ， 提 出 了 一 种 高效 的双 目视 觉 自适应 标 定方 法 。 由于煤矿 输 送带所处环境照明条件有 限， 为了快速提取标定所 需 的特征 角点 ， 对 输送 带 图像 与 7 7矩 阵模 型进 行 了融合 ， 进而快速提取特征角点 ， 并计算了摄像机 内 外 参数 及 畸变 参数 ， 实 现 了煤 矿 输 送 带 撕 裂 双 目视 觉标定。实验结果表明， 该方法具有标定精度高 、 运 算速度快 、 可靠性好等优点 ， 适用于煤矿输送带纵 向 撕裂 检测 系 统 。 参考文献 [1 ] [ 2] [3 ] [ 4] 赵弼龙 ， 乔铁 柱． 基于支 持 向量机红 外图像 分割 的输 送带 纵 向 撕 裂 检 测 方 法[ J ] ． 工 矿 自动 化 ， 2 0 1 4 ， 4 0 5 3 0 ～ 3 3 ． 徐欢 ， 李 振璧 ， 姜媛媛 ， 等． 基 于 Op e n C V 的输送 带跑 偏 自动检测算法研究 E J ] ． 工 矿 自动 化 ， 2 0 1 4 ， 4 0 9 4 8 5 2． 张 广 军．机 器 视 觉 [ M] ． 北 京 科 学 出版 社 ， 2 0 0 8 8 4 8 5． 乔铁柱 ， 陈昕 ， 王峰 ， 等． 基于视 频动 态人 物 自适 应标 定技术[ J ] ． 仪器仪表学报 ， 2 0 1 4 ， 3 5 5 1 0 8 6 1 0 8 7 ． [5 ] 陈爱华 ， 高诚 辉 ， 何炳蔚． 基于正交消失点对 的摄像机 标定方法 [ J ] ． 仪 器仪 表学报 ， 2 0 1 2 ， 3 3 1 1 6 1 1 6 2 ． [6 ] 杨博文 ， 张丽艳 ， 叶南 ， 等． 面 向大视 场视觉 测量 的摄 像机标定技术 [ J ] ． 光 学学 报 ， 2 0 1 2 ， 3 2 9 1 5 9 1 6 7 ． [7 ] 乔铁柱 ， 陈昕 ， 申瑞屏． 煤仓煤位双 目视觉检测 自适应 标定技术研究[ J ] ． 仪 器仪 表学报 ， 2 0 1 3 ， 3 4 7 1 5 1 2 15 16 ． [8 ] Z HANG Z h e n g y o u ． A f l e x i b l e n e w t e c h n i q u e f o r c a me r a c a l i b r a t i o n E J ] ．I E E E Tr a n s a c t io n s o n P a t t e r n An al ys i s a nd M a c hi ne I n t e l l i g e nc e， 2 00 0， 2 21 1 13 3 O一 1 3 3 4． [9 ] 何娟． 摄像 机标 定 中角点 快速 提取算 法研 究 E D] ． 长 沙 国防科学技术大学 ， 2 0 1 1 1 - 2 ． [ 1 O ] TS A I R Y ．A v e r s a t i l e c a me r a c a l i b r a t i o n t e c h n i q u e f or h i g h- a c c u r a c y 3D ma c hi ne vi s o n me t r ol og y us i n g o f f - t h e - s h e l f TV c a n e r a s a n d l e n s e s [ J ] ． I E E E J o u r n a l o f Ro b o t i c s a n d Au t o ma t i o n ， 1 9 8 7，3 4 323 3 44 ． [ 1 1 ] 朱水娟 ． 双 目系统摄像机 自标定 技术研究[ D ] ．苏州 苏州 大学 ， 2 0 1 3 1 3 - 1 4 ． [ 1 2 ] B R AD S KI G， KAC HL E R A ． L e a r n i n g Op e n C V [ M ] ．S e b a s t o p o l O R e i l l y Me d i a ，I n c ． 2 0 0 8 45 6 45 8 ． [ 1 3 ] P R E S S W H，F L ANNE RY B P，T E UKOL S KY S A ， e t a1 ． Nu me r i c a l r e c i p e s t he a r t o f s c i e n t i f i c c o mp u t i n g [ J ] ． Ame r i c a n J o u r n a l o f P h y s i c s ， 1 9 8 6 ， 5 5 1 9 0 - 9 1 ． [ 1 4 ] 曲学军 ， 张璐． 基于 双 目视觉 的三维 测量 方法 [ J ] ． 计 算 机仿 真 ， 2 0 1 1 ， 2 8 2 3 7 3 3 7 7 ． [ 1 5 ] F AUG E R AS O D， L UON G Q T，MAY B AN K S J ． C a me r a s e l f - c a l i b r a t i o n t h e o r y a n d e x p e r i m e n t s [ c] ／ ／ Pr oc e e di ngs of t h e 2 nd Eur ope a n Co nf e r e nc e on Co mp u t e r Vi s i o n， S a n t a M a r g h e r i t a l Li g u r e ， 1 9 9 2 321 3 44 ． [ 1 6 ] MAY B ANK S J ，P AUGE R AS 0 D ． A t h e o r y o f s e l f - c a l r a t i o n o f a mo v i n g c a me r a [ J ] ． I n t e r n a t i o n a l J o u r n a l o f Co mp u t e r Vi s i o n， 1 9 9 2 ， 8 2 1 2 3 1 5 1 ． J I I IⅢ