煤矿鱼眼畸变图像校正.pdf

第 4 2卷 第 7期 2 Ol 6年 7月 工矿 自 动 化 I n du s t r y a nd M i ne Au t oma t i o n V0 L 42 NO ． 7 J u 1 ．2 0 l 6 文章 编 号 1 6 7 卜 2 5 1 X 2 O 1 6 0 7 0 0 5 4 0 5 D OI 1 0 ． 1 3 2 7 2 ／ j ． i s s n ． 1 6 7 1 - 2 5 1 X ． 2 0 1 6 ． 0 7 ． 0 1 3 王永 ， 赵 凯 ， 程 德 强 ， 等 ． 煤 矿鱼 眼畸 变 图像校 正 E J 2 ． 工 矿 自动化 ， 2 0 1 6 ， 4 2 7 5 4 5 8 ． 煤矿鱼眼畸变图像校正 王永 ， 赵 凯。 ， 程德 强 ， 寇 旗旗 1 ． 华 晋焦 煤有 限责任公 司 ，山西 吕梁0 3 3 0 0 0 ； 2 ． 中 国矿业 大学 信 息 与 电气 工程 学 院 ，江苏 徐州 2 2 1 1 1 6 摘要 针对煤矿井下视频监控 系统 中鱼眼图像 的畸变问题 ， 根据理想球面透视投影模型的保线性约束条 件 ， 提 出一种面向内容的校 正参数 自动获取方法， 即通过对鱼眼畸变图像进行数学形态学和随机霍夫变换预 处理得 到 所需 的 图像 边缘 特征 直 线 ， 然后统 计 水平和 垂 直 线段在 总线段 中的 比例 ， 分析 统 计 结 果 ， 获取 最佳 校 正参数 。为 了减 少 图像 信 息过 多对校 正参 数 获取过 程 的影 响 ， 对 理想球 面透视投 影模 型进 行 了改进 ， 提 出 一 种改进的鱼眼畸变图像校正方法， 实现 了对图像 中心的转移和部分 区域的放 大。实验验证 了该方 法对鱼 眼 畸 变图像 的校 正 效果较 好 。 关键 词 煤矿 监控 图像 ；鱼 眼 图像 ；畸 变 图像 校 正 ； 球 面透 视投 影模 型 ； 校 正参数 自动获取 中图分类 号 T D6 7 文献 标 志码 A 网络 出版 时间 2 0 1 6 0 7 0 5 1 5 0 1 网络 出版 地址 h t t p ／ ／ www． c n k i ． n e t ／ k c ms ／ d e t a i l ／ 3 2 ． 1 6 2 7 ． TP ． 2 0 1 6 0 7 0 5 ． 1 5 0 1 ． 0 1 3 ． h t ml Ad j u s t me n t o f f i s h e y e d i s t o r t i o n i ma g e s o f c o a l mi n e W ANG Yo n g ， ZHAO Ka i 。 ， CHENG De q i a n g ， KOU Qi q i 1 ． Hu a j i n Co k i n g Co a l C o． ，I t d． ，Ly u l i a n g 0 3 3 0 0 0，Ch i n a ；2 ． S c h o o l o f I n f o r ma t i o n a n d E l e c t r i c a l Eng i ne e r i ng，Chi n a Uni v e r s i t y of M i ni n g a nd Te c hno l o gy，Xu z ho u 22 1 1 16，Chi na Ab s t r a c t For d i s t o r t i on p r ob l e m o f f i s he y e i ma g e s c ol l e c t e d b y v i d e o mo ni t o r i n g s ys t e m of c oa l m i n e， a n a u t o ma t i c o b t a i n i n g me t h o d o f a d j u s t me n t p a r a me t e r s wa s p u t f o r wa r d b a s e d o n i ma g e c o n t e n t a c c o r d i n g t o l i n e c o n s t r a i n o f i d e a l s p h e r i c a l p e r s p e c t i v e p r o j e c t i o n mo d e 1 ． Th e me t h o d d e t e c t s i ma g e e d g e c ha r a c t e r i s t i c l i ne s b y pr e p r oc e s s i n g t he f i s h e y e d i s t o r t i o n i ma ge u s i n g ma t h mor ph ol og i c a n d r a nd om Ho u g h t r a n s f o r m，t h e n g e t s t h e o p t i ma l a d j u s t me n t p a r a me t e r s t h r o u g h t h e s t a t i s t i c o f h o r i z o n t a l a n d v e r t i c a l l i n e s p r o p o r t i o n ．I n o r d e r t o d e c r e a s e e f f e c t o f l a r g e i ma g e i n f o r ma t i o n o n a d j u s t me n t p a r a me t e r o b t a i n i n g，t h e i d e a l s p h e r i c a l p e r s p e c t i v e p r o j e c t i o n mo d e l wa s i mp r o v e d a n d a n i mp r o v e d a d j u s t me n t me t h od o f f i s he ye d i s t or t i on i ma g e s wa s p r op os e d，whi c h r e a l i z e d c e n t e r t r a ns f e r of t he f i s he ye di s t o r t i o n i m a g e a nd m a gni f y i ng of pa r t r e gi ons ． The e xp e r i me n t a l r e s u l t s s ho w t h e me t h od c a n g e t a be t t e r a d j u s t me n t e f f e c t o f f i s h e y e d i s t o r t i o n i ma g e ． Ke y wo r d s mo n i t o r i n g i ma g e o f c o a l mi n e ；f i s h e y e i ma g e；d i s t o r t i o n i ma g e a d j u s t me n t ；s p h e r i c a l p e r s p e c t i v e p r o j e c t i o n mo d e l ；a u t o ma t i c o b t a i n i n g o f a d j u s t me n t p a r a me t e r 0 引言 随 着矿 井 工 业 以 太 网和 电 子 、 信 息处 理 技 术 的 发 展 ， 数 字视 频远 程 可 视 化 实 时监 控 技 术 在 井 下得 到 了大量 应用 。 目前综 采工 作 面监控 系统 采用 的 固 定摄像机视场范围有限， 无法覆盖整个区域 ， 从而无 法在 远端 调度 室监 测 整 个 工 作 面 的实 时 工 况 ， 不 利 于生 产监 控 和现场 故 障发生 后 的远程 辅助 决策 。与 收稿 日期 2 O 1 6 O 3 l 5 ； 修回 日期 2 0 l 6 O 5 3 0 ； 责任编辑 李明。 基金项 目 囝家 自然科学 基金资助项 目 U1 2 6 1 1 0 5 ； 徐 州市科技计划项 目 KC 1 4 S M0 9 9 。 作者简介 王永 1 9 6 2 男 ， 山西大同人， 高级T程 师， 硕士 ， 主要从事煤矿机电技术研发和管理工作 ， E ma i l 3 7 5 2 1 9 5 3 5 q q ． c o i n 。 2 0 1 6年 第 7期 王永 等 煤矿 鱼眼 畸 变图像校 正 5 5 普通 摄像 机镜 头 相 比， 鱼 眼镜 头 视 角接 近 甚 至 超 过 1 8 0 。 ， 广泛用 于 全景 安全 监控 、 地 铁 走廊 监 控 等 长距 离 、 大场 地空 间监 控领 域 。但 是 鱼 眼镜 头 拍 摄 的 图 像 存 在非 常严 重 的 几何 畸变 ， 影 响 了远 程 视 频 呈 现 质量 。 在鱼 眼 畸变 图像 矫 正 研 究 方 面 ， 冯 为嘉 等[ 1 使 用鱼 眼镜 头 标 定 平 台 对 鱼 眼镜 头 内 外 参 数 进 行 标 定 ， 利用 标定 得 到 的鱼眼镜 头参 数 ， 采用 等距 投 影与 支持 向量机训练方法进行鱼 眼畸变 图像校正 ， 得到 较理想的校正图像 ， 但该方法对鱼眼镜头标定 的过 程操作复杂 ， 且需要特定平 台； 英 向华等_ 2 基于球面 透视 投影 约束 的鱼 眼 镜头 校 正 方 法 ， 实 现 了较 好 的 鱼眼畸变图像校正 ， 但需要人为选取若干空 间物体 直线 投 影 在 鱼 眼 畸 变 图像 中 的 曲 线 来 估 计 校 正 参 数 ； R C a r r o l l 等 提 出了一种基 于 内容 的映射方 法 ， 通过 优化 算法 保 证 用 户 自定 义 曲线 在 线 性 约 束 条件下的失真最小化， 使得校正后 的广角畸变 图像 更加 自然 ， 但 校正 参数 的获 取也 需要 人 为参 与 。 本文根据理想球面透视投影模型的保线性约束 条件 ， 提 出一种面向内容 的鱼眼畸变图像校 正参数 自动获 取方 法 。该方 法可 在鱼 眼镜 头 内外参 数 均未 知的情况下 ， 根据拍摄 图像 中的物体边缘直线特征 来 获取 最佳 校正 参数 ， 使得 校 正后 的 图像 更 加 自然 。 为 了减 少 图像 信 息 过 多 对 校 正 参 数 获 取 过 程 的影 响 ， 对理 想球 面透 视 投影模 型进 行 了修 正 ， 提 出了一 种改进的鱼眼畸变图像校正方法 ， 实现了图像 中心 的转移和部分区域 的放大 。仿 真结果表 明， 采用 面 向 内容 的校 正参 数 自动获 取方 法 和改 进 的鱼 眼畸变 图像校正方法 ， 能够得到较满意的校正图像 ， 且整个 参 数提 取 与 图像 校 正 的实 现过 程迅 速 ， 满 足 现场 实 时 监控 需求 。 1 基 于球 面透 视投 影模 型 的鱼 眼畸 变 图像 校 正 1 ． 1 理 想球 面透视 投影 模 型 理 想球 面透 视 投影模 型 如 图 1 所示 。空 间 中一 点 P 与投影 中心 0 的连 线 O P 交 球 面 于 点 ， 球 面 点 非线 性 映射 到 x0y成 像 平 面得 到 x， y ， 即为鱼眼畸变图像 点。球面点 m 与鱼眼畸变 图像 点m 保持一一映射关 系， 可 由 m 一T m 表示 ， 反 之可通 过 一T 得 到球 面点 。依据 球 面 透 视投影模型理论和球面投影约束条件 ， 空间中的一 条 直线 在球 面 上表 现 为 一 个 大 圆 ， 再 转 化 到 平 面投 影 图像 后 依然 是 一 条 直 线_ 4 ] 。因此 ， 在得 到所 有 鱼 眼畸变 图像 点对 应 的球 面 点后 ， 由于 球 面 点 对应 唯 一一 条 过 投影 中心 的 射线 嘲 ， 所 以将 所 有球 面 点映 射为 过投 影 中心 的射 线 ， 然 后 将 这 些 过 投 影 中 心 的 射线透 视 投影 到一 个 平 面 上 ， 得 到 一 个 平 面 投影 图 像 ， 即为鱼眼校正图像。 图 1理 想 球 面透 视 投 影 模 型 图 1中假 设 投 影 平 面 为 过 半球 球 面 顶 点 0 与 平 面 XO Y 平行 的平 面 U O V， 射 线 OP 与投 影 平 面 相交于点 f U， V ， 即为校正 图像点。理想情 况下 ， 球面 点 到 鱼 眼 畸 变 图 像 点 的 投 影 方 式 为 向 平 面 x0 y垂直投影 ， 则校正 图像点 c与鱼 眼畸变 图像点 m 的对应 关 系为 [ U ] 一 I X y] D 1 式 中 D 一 斋’ r 为 球 面 透 视 投 影 模 型 的 球 面半径 ， 与 鱼 眼畸 变 图像 圆形 区域 半 径相 等 。 1 ． 2 鱼 眼 畸 变图像校 正 算法 实 际 应 用 中， 鱼 眼 畸 变 图 像 的 校 正 算 法 如下 一 。 1 为 了 防止校 正后 的图像 出现无 对应 映射 像 素的区域 ， 需要从平面投影图像 映射 回鱼 眼畸变图 像 ] 。首先将平面投影图像 的原点线性映射到 图像 中心 ， 实现将 z坐标系下图像 中心 0。平移到 XY Z坐标系的Z轴上， 实现鱼眼畸变图像与校正模 型的匹配。校正模 型坐标转换如图 2 所示l 9 ] 。 l z 图 2 图像 校正模型坐标转换 校正 模 型坐标 转换 公式 为 5 6 工矿 自动化 2 0 1 6年 第 4 2卷 E x y] [ x 。 y 。 ] 一 [ w H] 2 式 中 w ， H 分别 为展 开 图像 的宽 度 和 高度 ， 可 由用 户 自定 义 。 2 通 过球 面透 视投 影模 型将 空间点 P非 线性 映 射到 投影 平面 。对 式 1 进行 调整 ， 因 为每一 个鱼 眼 畸变 图像 点唯 一 地 对应 一 个 球 面 点 ， 则 每 一个 球 面 点也将 唯 一地 对应 于投影 点 ， 投影 变换 公式 为 rr n 1 [ u V ] 一 l 0 C 2 ] F X y ] D 3 式 中 C ， C 分 别 为 垂 直 方 向形 变 系数 和水 平 方 向 形 变 系数 。 3 得 到鱼 眼校 正 图像 坐 标 后 ， 将 其 线 性 映射 到 图像 的左 上角 ， 与 步骤 1 相 对 应 ， 向图 2相 反 的 方 向变 换 ， 实现 图像 中心 的逆 转移 ， 坐标 变换公 式 为 [ 【 ， ] 一 [ u ] 妻[ w H] 4 式 中 U ， V 为 展开 图像 点坐标 。 4 展 开 图像 点 与 鱼 眼 畸变 图像 点一 一 映 射 ， 将鱼眼畸变图像点的 R GB颜色值 映射为展开图像 的 R GB颜 色值 。经 过 球 面 透视 投 影 模 型 校 正 后 的 坐标点不一定为整数值， 须采用插值算法根据邻近 像 素点信 息 计算得 到 该非 整数 点坐标 。综合考 虑计 算复杂度、 实时性要求等 ， 选择效率最佳的双线性插 值 算法 口 。最 后 输 出展开 图像 ， 即鱼 眼校 正 图像 。 2改 进的 鱼 眼畸变 图像 校正 2 ． 1 面 向 内容 的校 正参 数 自动 获取 方法 传 统 的鱼 眼畸变 图像 校正 中需 要获 取校 正参 数 C ， C 。对 图像 校 正 效 果 进 行 评 价 ， 通 过 迭 代 得 到 一 对使 图像 校正 效果 最好 的校 正参 数组 合 C ， C 。 在 图像 获取 中 ， 基于 人 眼视觉 的特 点 ， 图像 中垂 直 于地 平线 的物 体 保 持 竖 直状 态 ， 即拍 摄 的竖 直 物 体 的竖 直线 条 与照 片 的纵 向边 缘平 行 。如果 图像 中 出现楼 房 、 桌椅 等含 有 大量横 纵线 条 的物体 ， 根据 球 面透视 投影 模 型 的保 线 性约 束 条 件 ， 在 鱼 眼校 正 图像 中大量 的直线线 段 会 出现在 横纵 方 向 。本 文对 图像 内容进 行分 析 ， 选 取 图像 中横 纵 方 向 的线 段 占 所有线段 的比例最大时的校正参数 C ， C 为最佳 校 正参 数 。 采用 随机 霍夫 变换 对鱼 眼校 正 图像 中的线 段进 行 检 测 ， 分 别用 角度 一 O 。 5 。 ， 一 9 0 。 5 。 表 示 线 段 横纵方 向 ， 统计 当前 鱼 眼 校 正 图像 中检 测 到 的 角度 一 9 0 。 5 。 和 0 。 5 。 在 所 有 线 段 中 的 比例 。一∑E o 一 9 0 。 5 。 ] ∑E o 一 0 。 5 。 ] 0 一 5 式中 ∑ E o 一 9 0 。 5 。 ] 为0 一 9 0 。 -- 5 。 的线段 总数； ∑ E o 一 o 。 5 。 ] 为0 一 o 。 5 。 的线段总 数； ∑0 为所有线段总数。 通过 寻找 P 最 大 值 确 定 最 佳 校 正 参 数 。随 机 霍夫 变换 检测 到 的线段 角度 0 可通 过式 6 求 得 0 一a r c t a n f 二 } 6 l y 已 x l 式 中 s ， 即 和 e ， e 为 随 机 霍 夫 变 换 检 测 到 的 线段的 2个端点坐标。 校正 参 数 自动 获 取 流 程 如 图 3所 示 。 当第 i 一1 ， 2 ， ⋯， 4 0 次 c 取值 C 固定时， 循环对 c 取值 ， 记 为 C ， J 一1 ， 2 ， ⋯ ， 4 0 ， 统计 由当前C ， C 。 得到 的鱼 眼校 正 图像 的 P值 P ， J 。将 本 次 C 循环 中的 P最 大 值 赋值 给 P ， 并 记 录对 应 的 C ， C 。重复 以上步骤 ， 直到 C 循环结 束 。将循 环得 到 的 P i 最 大 值赋 值 给 P最 大 值 并 记 录对应 的 C ， C 。 值 ， 此时 的 C ， C 即 为最 佳校 正参 数 。 C 2 ／ ∈[ O ． 8 O ， 1 ， 2 0 】 基于闭操作的图像重建 随机霍夫变换直线检测 ⋯ 1 筛选尸 f ， ， 9 5 ％的JD f ， 选择筛选出的尸 0 最大值 求得最佳校正参数 图 3 校正参数 自动获取 流程 通 过 大 量 测 试 ， C 、 C 最 佳 值 为 0 ． 8 5 ～ 1 ． 2 O ， 本 文取 0 ． 8 ～1 ． 2 ， 步进 为 0 ． 0 2 ， 分 别迭 代计 算 ， 使 得