综采工作面虚拟现实监控系统设计.pdf

第 4 2卷 第 4期 2 O 1 6年 4月 工矿 自 动化 I nd us t r y a n d M i n e Aut o ma t i on Vo 1 ． 4 2 NO ． 4 Apr ． 2 0 1 6 文章 编号 1 6 7 1 2 5 1 X 2 0 1 6 0 4 0 0 1 5 0 4 D OI 1 0 ． 1 3 2 7 2 ／ j ． i s s n ． 1 6 7 1 2 5 1 x ． 2 0 1 6 ． 0 4 ． 0 0 4 李吴 ， 陈凯 ， 张唏， 等． 综采工作面虚拟现实监控系统设计F - J ] ． 工矿 自动化 ， 2 0 1 6 ， 4 2 4 1 5 1 8 ． 综采工作面虚拟现实监控系统设计 李昊 ， 陈凯 ， 张唏。 ， 钱建生。 1 ． 中国矿业大学 北京机 电与信息工程学院， 北京 1 0 0 0 8 3 ； 2 ． 北京天地玛珂 电液控制系统有限公司，北京 1 0 0 0 1 3 ； 3 ． 中国矿业大学 信息与电气工程学院 ， 江苏 徐州 2 2 1 0 0 8 摘要 针对 目前 综采 工作 面 自动 化 生产过 程 中视 频 监控 图像 效果 差 监控 系统 ， 详 细介 绍 了 系统功 能设计 、 结构组 成及 系统 实现 的关键 技 术 。 高仿 真度 的虚 拟矿 井作 业场景 ， 实现 了综采 工作 面生产 设备 实时状 态信 控 制等功 能 ， 满足 了综采 工作 面 自动 化 生产监 控 的需 求 。 的 问题 ， 设 计 了综采 工作 面虚 拟现 实 该 系统采 用虚 拟现 实技 术构 建 出了 息的采 集 、 传 输 、 显 示 、 预 警 以及 反 向 关键 词 综采 工作 面 ； 三 维虚 拟现 实 ；生产 监控 ；自动化 中图分类号 T D6 7 2 文献 标志 码 A 网络 出版 时 间 2 0 1 6 - 0 4 ～ 0 5 0 8 5 7 网络 出版地 址 h t t p ／ ／ www ． c n k i ． n e t ／ k c ms ／ d e t a i l ／ 3 2 ． 1 6 2 7 ． T P ． 2 0 1 6 0 4 0 5 ． 0 8 5 7 ． 0 0 4 ． h t ml De s i g n o f mo ni t o r i n g a n d c o nt r o l s y s t e m b a s e d o n v i r t u a l r e a l i t y t e c hn o l o gy o n f ul l y - me c h a n i z e d c o a l mi ni n g f a c e LI Ha o 一， CHEN Ka i ， Z HANG Xi ， QI AN J i a n s h e n g 。 1 ． S c h o o l o f Me c h a n i c a l El e c t r o n i c a n d I n f o r ma t i o n E n g i n e e r i n g，Ch i n a Un i v e r s i t y o f Mi n i n g a n d Te c h n o l o g y Be i j i n g ，Be i j i n g 1 0 0 0 8 3 ， C h i n a；2 ． Be i j i n g Ti a n d i Ma r c o El e c t r o Hy d r a u l i c C o n t r o l S y s t e m C o mp a n y Lt d． ，B e i j i n g 1 0 0 0 1 3，Ch i n a ；3 ． S c h o o l o f I n f o r ma t i o n a n d El e c t r i c a l En g i n e e r i n g，Ch i n a Un i v e r s i t y o f Mi n i n g a n d Te c h n o l o g y ， Xu z h o u 2 2 1 0 0 8 ， Ch i n a Abs t r a c t I n v i e w o f p r ob l e ms o f ba d i ma ge e f f e c t o f v i de o mon i t o r i ng a n d c on t r o1 i n pr o c e s s o f a u t oma t i on p r od uc t i o n o n f ul l y - me c ha n i z e d c oa l mi ni n g f a c e， a m o n i t o r i ng a nd c on t r o l s y s t e m b a s e d on v i r t u a l r e a l i t y t e c h no l o gy wa s d e s i gn e d，a nd f un c t i o n de s i gn，s t r uc t ur e c o mpo s i t i o n a n d k e y t e c hno l o gi e s o f t he s y s t e m we r e i nt r od uc e d．Th e s y s t e m us e s vi r t u a l r e al i t y t e c hn ol o gy t o bu i l d u p a hi g h f i d e l i t y v i r t u a l mi n e o p e r a t i o n s c e n e ， a n d r e a l i z e s f u n c t i o n s o f c o l l e c t i o n，t r a n s mi s s i o n，d i s p l a y ，wa r n i n g a n d r e v e r s e c o n t r o l o f r e a l t i me s t a t e i n f o r ma t i o n o f p r o d u c t i o n e q u i p me n t o n f u l l y me c h a n i z e d c o a l mi n i n g f a c e ．Th e s ys t e m me e t s ne e ds of a u t o ma t i c p r od uc t i on a n d m o ni t o r i ng o n f ul l y me c ha n i z e d c oa l m i ni n g f a c e． Ke y wo r ds f u l l y - me c h a ni z e d c o a l m i ni n g f a c e；3 D v i r t u a l r e a l i t y；pr o du c t i on m o ni t or i n g；a ut o ma t i o n 0 引言 在矿井生产系统中， 综采工作 面是现代化矿井 最基本的生产单元， 也是事故高发地和能见度低的 地方。随着无人化工作面概念的提 出， 综采工作面 各生产设备的 自动化、 智能化 以及远程监控等课题 ， 已成为 综采 自动 化领 域 的研发 重点 口 ] 。 当前 主流 的综采 工作 面 自动化 生产 远程 监控 系 统都是采用设备 自动生产 、 操作人员远程干预的模 式 ， 即采煤机工作在记忆截割模式 ， 液压支架 自动跟 机 ， 生产操作人员在工作面巷道监控 中心通过计算 机画面进行远程辅助调节 ] 。由于井下 环境 复杂 ， 收稿 日期 2 O 1 5 ～ 1 2 - 2 4 ； 修 回日期 2 0 1 6 - 0 2 ～ 0 5 ； 责任 编辑 张强 。 基金项 目 国家高技术研究发展计划 8 6 3计划 资助项 目 2 0 1 3 AA0 6 A4 1 O 。 作者简介 李昊 1 9 8 3 一 ， 男 ， 北京人 ， 助理研究员 ， 硕士 ， 主要从事煤矿无人化开采及智能控制方面的研究工作 ， E - ma i l l i h a o t d ma r c o ． c o rn。 1 6 工矿 自动 化 2 0 1 6年 第 4 2卷 设备 的自动生产还不够智能 ， 也不够稳定 ， 所以操作 人员远程干预是非常重要的。研究如何让远离生产 作业 面 的操作 人 员 更好 地 观 察 工 作 面 的 实 时情 况 ， 对于综采工作 面生产监 控系统来说是很 重要 的课 题 。 目前 国内外普 遍采 用 的方式 是通 过在 工作 面部 署各类摄像仪 液压支架视频系统 、 采煤机机载视频 系统 获取实时视频信息 ， 同时 ， 结合在生产 作业设 备上部署各类传感器采集诸如温度、 电流 、 电压等状 态信息 ， 并通过通信单元传输到工作面巷道 以及地 面的数据监控中心计算机 ， 以供远程生产操作人员 进行分析决策 。虽然数据信息与视频信息二者相辅 相成取得 了不错的应用效果 ， 但还是存在一定 的问 题 。在实际应用中， 数据信息多是利用组态软件等 以二维图形结合文字、 数字的方式呈现出来 ； 视频数 据则是将摄像仪采集的图像直接显示在屏幕上 。然 而， 视频信息受井下工作 面环境恶劣 、 光线条件差、 煤尘多、 视觉死角、 传输延迟大等不利 因素影响 ， 摄 像仪不能很好地发挥 其作用 ] ， 且二维的数据信息 虽然受 环境 影 响小 ， 但呈 现方 式不 够直 观 。 针 对 上 述 问题 ， 笔者 设 计 了综 采 工 作 面 虚拟 现 实 监控 系统 ， 利用 虚 拟现 实技 术 ， 将 综采 工作 面实 时 生产数据与各传感器采集 的实时数据、 GI S数据等 结合起来 ， 构建出综采工作 面实时生产作业场景E 。 1系统设 计 1 ． 1 系统 功 能 设 计 综采工作面虚拟现实监控系统采用虚拟现实技 术构建出高仿真度的虚拟矿井作业场景 ， 利用 C AD 结构 图将采煤 机 、 液 压 支 架 和 刮板 输 送 机 等 煤 矿 生 产设备进行仿真建模 ， 并根据三机配套图、 巷道布置 图等资 料 ， 按 照实 际位 置摆 放 至虚拟 场景 中 ， 然后 通 过 软件 系统 的数 据 接 口， 将 相 关 联 的监 测 系 统 提供 的设 备 实时数 据 读取 出来 ， 同 步驱 动 虚 拟 设 备 执行 同样的动作及位移 ， 实现数据的三维可视化 。 为满足操作人员的监控需求 ， 综采工作面虚拟 现实监控系统 的主要功能设计如下。 1 综采工作面全设备实时监控功能。为使操 作人 员 可 以全 方位 监视 综采 工作 面全 设备 的实 时状 态 ， 系统应提供多种视角 ， 比如 自主控制视 角， 即操 作人 员 可 以通 过 鼠标 和键 盘 ， 自主地 移 动 镜 头并 浏 览场景中的任一设备、 任意位置 ； 系统应具有 自动控 制的智能视角 ， 即解放操作人员的双手， 当设备状态 发生变化时 ， 镜头智能地 自动定位至该设备前 ， 使操 作人员可以将更 多的精力放在对现场 情况 的处理 上 ， 而不是操作软件。当然 ， 该功能应针对不同角色 的操作者 采煤机操作工或支架操作工 有不同的设 定。此外 ， 在关注某一设备时 ， 应通过“ 实时信息框” 的方式显示该设备 的当前状态信息。 2 设备反向控制功能。即通过操作虚拟设备 来控制实际设备 ， 比如对虚拟采煤机进行 降摇臂高 度操作， 实际采煤机 的摇臂高度 可以同步变化 。当 然 ， 该功能的使用需要一些安全机制的保护和限制 ， 避免误操作造成安全隐患。 3 预警及故障报警功能 。提供碰撞预警及设 备故障报警功能， 如液压支架和采煤机的预碰撞检 测功 能 ， 采 煤机 在采 煤过 程 中 ， 程序 根 据其前 进 方 向 和速度 ， 实时计算 出其下一刻的位置， 同时判断其前 进方 向 的支架护 帮 板 有 没有 收 回 ， 并在 虚 拟 场 景 中 对可能发生的碰撞 支架进行变色警示。另外 ， 当采 煤机或乳化液泵等设备发生故 障时， 系统会将该设 备或该设备 的某部件在虚拟场景中变色警示 。 4 数据 回放功能 。数 据保存在数据 库中， 系 统应支持历史数据 的读取和回放功能 ， 为生产情况 分 析 、 事 故 追踪 提供 帮助 。 1 ． 2 系统 结构 设计 综采工作面虚拟现实监控系统主要 由数据采集 模块、 数据传输及存储模块 、 数据显示模块组成， 系 统 网络结构如图 1所示 。其 中， 三维虚拟现实主机 和三维主机是用来显示虚拟工作面场景的， 分别部 署在井下工作面巷道和地面调度 中心。 地面 ⋯ ⋯ i 三维虚拟现实主机 地面服务器 井 F l 像头1 H综合接入器l 像头2 H综合接入器2 信号转换器 控制器1 l I 控制器2 l ⋯ I 控制器n 接 图 1 综采工作面虚拟现实监控 系统 网络结构 1 数据采集模块。综采工作面 的设备众多 ， 如采煤机 、 液压支架 、 转载机、 破碎机 、 刮板输送机 等。通过在设备上部署各类传感器， 可以获得设备 的实时状态信息。以液压支架为例， 通过立柱上 的 压力传感器可以获取立柱的实时压力 ， 通 过底部油 缸里 的行程传感器可以获取支架的推溜行程等。 2 数据传输及存储模块 。采集到的各设备信 匿 p 2 0 1 6年 第 4期 李昊等 综 采工作 面虚 拟现 实监控 系统设 计 1 7 息通过 C AN总线以及工业 以太网传输至数据处理 计算机 图 1中的井下服务器 。该计算机通过部署 在其中的数据处理软件完成数据 的解析、 分发以及 存储等功能。 3 数据显示模块 。在三维主机中部署虚拟现 实软件用以实现数据可视化。三维主机本身不负责 数据的存储 ， 甚至不会主动请求数据 ， 它只是通过以 太 网与 数 据 处 理 计 算 机 建 立 并 维 持 连 接 T C P ／ I P 协 议 ， 同时订 阅数 据 当数据 发生 变化 时 ， 数据 处理 计算机会通知三维主机 ， 并且处理数据以及整个场 景中各模型、 镜头等 内容的逻辑关系。 2 系统实现 的关键 技术 2 ． 1 生产过程 实时数据 处理技 术 出于对计算 机性能以及数据安全的考虑 ， 不能 够只用 1台计算机完成整个数据的处理工作 ， 而需 要根据系统功能要求 ， 由几 台计算机组成协同系统 来完成数据处理工作 ， 即 1台数据计算机负责数据 的收集 、 分发 ； 1台服务器计算机负责数据 的存储及 上传 ； 1台三维计算机用于运行三维虚拟现实监控 软 件 ； 同时 ， 另 有 3台计算 机 以二维 画面方 式显 示数 据 以及 工 作 面 视 频 画 面 。整 个 软 件 系统 采 用 c ／ s 架构， 即服务端／ 客户端模式 ， 将服务端软件部署在 数据处理计算机上 ， 其他计算机上部署客户端软件。 这样做不但可以降低对计算机性能的要求 ， 同时还 能在某台计算机出现故障时保证数据安全 。 此外 ， 服务端与客户端计算机通过以太网连接 ， 客户端软件只负责保持 与服务 端的连接 T C P ／ I P 协议 ， 同时在服务端“ 订阅” 数据 ， 即不主动请求数 据 ， 而是等待服务器推送变化的数据信息 。当然， 在 启动时或者重启后 ， 客户端会主动向服务器请求全 部数据 ， 而在此后 ， 客户端仅处理 自身的逻辑即可。 2 ． 2可视元 素 开发 可视 元 素 集 中 在 上 位 机 软 件 中 ， 是 在 微 软 ．NE T平 台下使用 C语言进行开发 的。三维虚拟 现实场景使 用引 擎 Un i t y 3 D开发 ， 在运 行 时作为 Ac t i v e X控件集成在软件系统的客户端软件里 。可 视元素开发关键点在于仿真模型的制作以及逻辑程 序 的开 发 。 2 ． 2 ． 1 虚拟设备仿真模型制作 仿真模型的开发流程如图 2所示 。 1 仿真模型的构 建 仿真模 型必须按照实际 设备的 C AD尺寸 图进行制作 ， 虚拟模 型的尺寸 比 例与实际一致 ， 以保证设备模型之间交互时， 达到与 设备外观图片 l l井下实地照片 I I 设备外观c A D图 卜 堡 鱼 堡 堡 _ ． 1 型 垦 竺 堡 广_ 』一 l F B X 格式输出1 ． ， J 根据井下实际情况I l 进行场景糇体灯光渲染I 图 2仿 真 模 型 开发 流程 实 际一致 的虚 拟现 实效 果 。 2 仿真模 型的模块化制作 设备建模不能像 普通的三维动画一样直接整体建模 ， 而要根据设备 的机械原理， 将设备模型分解成部件子模型。以采 煤机为例 ， 由于采煤机的滚筒旋转 、 摇臂升降以及连 接摇臂的油缸伸缩等动作要求 ， 所 以， 采煤机的模型 将分为机身、 左右滚筒、 左右摇臂 、 各部分 油缸等子 部件模型 ， 以满足程序的计算和控制 。在实际开发 中 ， 单 是采 煤机 模 型 就需 分 别 制 作 3 O个 子 模 型 ， 以 保证部件动作的灵活、 逼真 。 2 ． 2 ． 2 程 序 组态化 架 构 对于仿真软件而言 ， 虚拟场景是对真实环境 的 还原 。所 以 ， 相 比于底层 的数 据 开发 ， 界面 开发 最大 的难度在于其复用性 ， 即要模块化甚至组态化地开 发以适应不同的工作面 。不同的煤矿 工作面 由于 地质条件 、 煤层结构不尽相同， 工作面使用的设备也 不同。基于这一点考虑 ， 为了减少二次开发的工作 量， 提高程序的复用性， 在软件的设计 阶段 ， 对软件 架构进行了模块化设计 ， 如图 3 所示 ， 以设备为模块 进行划分 ， 每个设备都拥有独立于项 目以外 的专属 脚本 ， 以保证其独立性 以及通用性 ； 同时， 在总控逻 辑模块内处理各个设备之 间的关系。这样 ， 每个模 块相对独立， 针对不 同的项 目， 根据需要对相应模块 进行修改即可使用 。 基 丝 查I t 模块 J ’ I 脚本 ▲ 喷雾泵脚本 ●●●-一●--------_- j 园圆 L ． ． ． ． ． ． ． ． ． 一 一 ． ． ． 图 3 设 备模块化设计 2 ． 3 LOD 图形优 化技 术 为了使综采工作面三维虚拟现实软件能够流畅 地在井下隔爆主机上运行 ， 除 了采用 优化模 型面数 以及动态 加 载 模 型 等 常 规 方 式 外 ， 还 利 用 L OD ～一～一～一一一～