综采工作面安全生产虚拟现实系统关键技术研究.pdf

I 分类号分类号 TD821 密级密级 博士学位论文博士学位论文 综采工作面安全生产虚拟现实系统关键技术研究 Research on the Key Technology of Fully Mechanized Coal Face Safety Production of Virtual Reality System 申请人姓名 赵国梁 指 导 教 师 余学义 专 业 名 称 矿业工程 研 究 方 向 矿山虚拟现实技术 西安科技大西安科技大学学 二二 O O 一二年四月一二年四月 II Research on the Key Technology of Virtual Reality System in Fully Mechanized Coal Face Safety Production Dissertation ted to Xi’an University of Science and Technology In partial fulfillment of the requirement For the degree of Doctor of Engineering By Zhang Pei College of Energy Engineering Dissertation Directed by Professor Huang Qingxiang April,2012 III 学 位 论 文 独 创 性 说 明 本人郑重声明 所呈交的学位论文是我个人在导师指导下进行的研究工作及其取得 研究成果。尽我所知，除了文中加以标注和致谢的地方外，论文中不包含其他人或集体 已经公开发表或撰写过的研究成果， 也不包含为获得西安科技大学或其他教育机构的学 位或证书所使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中 做了明确的说明并表示了谢意。 学位论文作者签名 日期 学 位 论 文 知 识 产 权 声 明 书 本人完全了解学校有关保护知识产权的规定， 即 研究生在校攻读学位期间论文工 作的知识产权单位属于西安科技大学。 学校有权保留并向国家有关部门或机构送交论文 的复印件和电子版。本人允许论文被查阅和借阅。 学校可以将本学位论文的全部或部分 内容编入有关数据库进行检索， 可以采用阴影、缩印或扫描等复制手段保存和汇编本学 位论文。 同时本人保证，毕业后结合学位论文研究课题再撰写的文章一律注明作者单位 为西安科技大学。 保密论文待解密后适用本声明。 学位论文作者签名 指导教师签名 年 月 日 IV 论文题目综采工作面安全生产虚拟现实系统关键技术研究 专 业矿业工程 博 士 生 赵国梁 （签名） 指导教师 余学义 （签名） 摘 要 煤矿生产系统是一个的复杂时变系统， 将虚拟现实技术应用于煤矿安全生产和管理 中，具有重要的科学意义和应用价值。针对煤矿综采工作面的特殊复杂性，从安全生产 角度出发，对综采工作面安全生产虚拟现实系统的关键理论和技术进行了深入的研究， 同时开发了综采工作面安全生产虚拟现实应用系统。 主要研究结论如下 （1）综采工作面真三维视觉沉浸技术 沉浸感是虚拟现实重要特征之一，研究了立体视觉沉浸显示技术的两种方法实现方 法 桌面式立体显示系统和多通道立体显示系统。 利用计算机视觉中的双目立体视觉原 理， 采用双中心投影算法实现了红蓝立体显示系统。针对多通道立体投影系统是需要解 决非线性失真、画面的数字图像边缘融合与拼接、 数据同步和通道间的色彩与亮度平衡 四大问题，提出一种基于极坐标系的从二维平面到三维空间的基于纹理贴图的校正方 法， 解决了各种投影面几何失真的情况； 通过相邻显示区域小部分重叠的拼缝消除技术 实现了画面的数字图像边缘融合与拼接； 通过帧缓存同步和数据多通道视景控制技术实 现了同步控制；通过相邻投影通道 gamma 曲线匹配法来进行多通道画面的通道间的色 彩与亮度平衡。 （2）综采工作面生产系统仿真 井下三维场景的建立是整个虚拟现实仿真系统的基础。 提出了利用loft 放样方法创 建三维巷道模型，利用多边形体元结构创建地下岩层，二者进行布尔运算，然后形成真 实感地下巷道。 综采工作面机械设备结构复杂， 提出采用OpenGL和3Dmax软件相结合方法 实现复杂机械建模，首先在3Dmax中进行建模，以VC作为开发工具，OpenGL 作为模型显 示和控制平台，将由3Dmax中制作模型生成导出为3DS格式文件，经过一系列模型简化和 显示处理读取到OpenGL环境中，从而实现综采工作面复杂机械机构建模。 综采设备大部分属于多刚体系统， 基于多刚体理论提出一套运动模拟方法，该方法 以多体树描述系统的拓扑结构， 以体间相对角速度分量和相对位移导数为广义速率， 以 V 欧拉角为体间相对方位坐标，用 N-E 方程推导出动力学方程，实现综采设备的动力学 和运动学规律模拟。 （3）交互式煤矿安全培训技术 煤矿安全技术培训是提高煤矿员工岗位安全技术操作水平和理论素质，确保矿井安 全生产的有效途径和重要安全措施之一。传统的煤矿安全培训方法采用多媒体、课堂讲 座、试卷考试的形式，内容枯燥，往往效果不佳。首次将网络游戏思想和方法引入到煤 矿安全培训领域，借鉴角色扮演类RPG网络游戏的设计思想，将学习、教育、娱乐有机的 结合为一体，建立一种新型的交互式煤矿安全培训模式。 首先设计了系统模块总体架构，从安全培训的情景设计、环境设计、角色设计、 关卡和人物设计四个方面阐述主要设计方法。设计的思想是该角色设定为一名刚走上 工作岗位的学生，从最基层矿工做起，经过各个工种的学习和实践工作，层层闯关，然 后成长为煤矿高级领导干部的人生经历。 随后又对所涉及的关键技术进行详细阐述，这些关键技术包括碰撞检测、虚拟 矿工建模和行为控制、虚拟矿工人工智能。 （4）基于 HLA 的分布式煤矿安全应急救援演练技术 高层次体系结构 HLA 作为美国国防部军事战场战术演练和演习技术结构，在军事 和航空航天仿真中得到广泛应用，但是在煤矿三维仿真领域还没有得到应用， 首次将高 层次体系结构（HLA）作为分布式交互仿真的系统构架引入煤矿灾害应急救援演练中， 重点研究基于 HLA 的煤矿联邦成员的开发设计流程和方法，说明煤矿联邦成员的信息 管理，信息交互方法以及信息的发布、订购原理，对矿工联邦成员的 FOM 映射方法和 数据的编码、解码，编程实现进行说明；然后说明联邦间实现同步的方法和仿真进程控 制的实现。最后给出矿井各联邦成员的 HLA 线程的仿真流程图。 最后以黄陵一号矿607工作面为例，以VC作为高级语言开发平台，OpenGL为三维图 形开发库， 开发了综采工作面安全生产虚拟现实应用系统， 包括煤矿安全生产系统仿真、 安全技术培训、安全事故应急救援演练、安全监控三维可视化和移动监控模块，实现了 井上下三维漫游、安全知识考核、安全避灾训练、灾害模拟和应急救援、安全远程监控 三维可视化等功能，对煤矿安全生产起到有力推动作用，具有广泛的应用价值和推广价 值。 关键词综采工作面；虚拟现实；生产系统仿真；交互式安全培训；分布式救援演练 研究类型应用研究 VI Subject Research on the Key Technology of Virtual Reality System in Fully Mechanized Coal Face Safety Production Specialty Mining Engineering Name Zhao guoliang Signature Instructor Yu xueyi Signature ABSTRACT Mine is a multi-hazard complex system, virtual reality technology in coal mine safety production and management, has important scientific significance and application value. In this paper, coal mining face of the special complexity of the mining face virtual reality system safety critical theory and technology for a more in-depth research, and development of safe production mining face virtual reality system. These key technology have been researched 1Fully mechanized coal face real three dimension immesion technology The immersion is one of the basic characteristics of virtual reality, immersive stereoscopic vision display technology as a vital supporting technology of virtual reality. The paper studies the desktop stereoscopic display system and multi-channel stereo display system. Binocular stereo vision principle in computer vision, two-center projection algorithm to achieve the red and blue three-dimensional display system. Need to solve the three-dimensional projection system for multi-channel nonlinear distortion, a digital image of the screen edge blending and stitching, four issues of data synchronization and the channel between the color and brightness balance. The paper presents a calibration based on polar coordinates from the two-dimensional plane to three-dimensional space based on texture mapping, to solve a variety of projection plane geometric distortion; adjacent display region partially overlapping patchwork cancellation technology to achieve screen the edge of the digital image fusion splicing; frame buffer synchronization and data multi-channel visual control technology to achieve the synchronization control; adjacent projection channel gamma curve matching to carry out multi-channel screen channel between color and brightness balance. 2 Fully mechanized coal face production system simulation VII Underground three-dimensional scene to establish the basis of the entire virtual reality simulation system. Using loft to create three-dimensional model of roadway, the use of the polygons body structure to create underground rock, the two Boolean operations, and then a realistic underground tunnel. Complex structure of fully mechanized coal face machinery and equipment, simple to use OpenGL function geometric modeling is extremely difficult, the paper uses the OpenGL and 3Dmax Software, combining complex mechanical modeling, first of all be modeled in 3Dmax, and then as a development tool VC OpenGL as a model to display and control plat, the production model will be 3Dmax generate export to 3DS at files, read the OpenGL environment after a series of model simplification and display processing, in order to achieve the modeling of complex mechanical structure of the fully mechanized coal face. Most of the mining equipment belongs to multi-rigid-body systems, motion control of equipment to use the theory of classical mechanics vector mechanics and analytical mechanics have significant limitations. The paper proposed a theory of multi-rigid body motion simulation . The to many-body tree describes the topology of the system, relative angular velocity between the body weight and relative displacement derivative of the generalized rate, the Euler angles for the relative position coordinates in the body, N-E equation is derived kinetic equation, mining equipment simulate the dynamics and kinematics of the law. 3 The coal mine safety training system The coal mine safety and technical training to improve the operating level and the theoretical quality of coal mine employees job security technology to ensure that an effective way to mine safety production and one of the important safety measures. Coal mine safety training s using multimedia, classroom lectures, papers exam , content, boring, and it is often ineffective. Network game ideas and s introduced into the field of coal mine safety training, drawing on the design idea of playing RPG online games, you will learn, education, entertainment, a combination of organic as a whole, the establishment of a new type of coal mine safety training mode. The papers involved in the key technology to elaborate on these key technologies, including collision detection, virtual the miners modeling and behavior control, virtual miners artificial intelligence. 4 HLA-based distributed coal mine safety emergency rescue drill Papers establish the mine emergency rescue drill system based on HLA Framework Agreement focus on coal federate in the HLA-based development and design processes and VIII s, focusing on members of the coal federal ination management, ination exchange s, and the release of ination, ordering principle, federal members of the FOM mapping s and data encoding, decoding, programming; federal inter-synchronization s and simulation process control to achieve. Finally, given the HLA simulation flow chart of the threads in the Federal members of the mine. Finally Huangling No.1 mine 607 face, for example, to the VC as a high-level language development plat, OpenGL 3D graphics development libraries, the development of fully mechanized coal face production safety of virtual reality applications, including coal mine production safety system simulation, security technical training, safety emergency rescue drills, security monitoring, 3D visualization and mobile monitoring module to achieve the 3D roaming Inoue under the assessment of safety knowledge, safety and disaster prevention in training, disaster simulation and emergency rescue, security 3D visualization function, value and promotion of value. Key words Mechanized Mining Face; Virtual Reality; Interactive Safety Training; Distributed Emergency Rescue Thesis Application Research 目录 I 目 录 1 绪论 ............................................................................. 1 1.1 选题的背景及研究的意义 ................................................... 1 1.1.1 选题背景 ............................................................. 1 1.1.2 研究意义 ............................................................. 2 1.2 课题研究领域的国内外现状和动态 .......................................... 3 1.2.1 虚拟现实技术研究现状与动态 ......................................... 3 1.2.2 虚拟现实技术在矿业工程中的研究 .................................... 7 1.2.3 本领域需要进一步研究的问题 ........................................ 10 1.3 本论文研究内容和研究方法 ................................................ 12 2 综采工作面安全生产 VR 系统分析 ................................................ 16 2.1 综采工作面生产系统基本特征 ............................................. 16 2.2 安全生产虚拟现实系统关键技术分析 ...................................... 19 2.3 虚拟现实系统开发平台和开发流程 ......................................... 22 2.4 小结 ...................................................................... 27 3 综采工作面真三维视觉沉浸技术 .................................................. 28 3.1 红绿立体显示系统 ......................................................... 28 3.2 多通道立体显示系统 ....................................................... 32 3.2.1 非线性失真矫正技术的实现 .......................................... 32 3.2.2 通道拼接和光栅对齐 ................................................. 36 3.3 通道数字图像边缘融合与无缝拼接的实现 .................................. 37 3.4 数据同步 .................................................................. 38 3.4.1 多通道视景同步控制技术 ............................................ 39 3.4.2 帧缓存交换同步 ..................................................... 39 3.5 多通道间的色彩与亮度平衡的实现 ......................................... 41 3.6 本章小结 .................................................................. 42 4 综采工作面生产系统仿真技术 ................................................... 43 4.1 地下巷道 Loft 建模 ........................................................ 43 4.1.1 Loft 放样创建巷道模型 ............................................. 44 4.1.2 巷道和岩层地质体布尔运算 ......................................... 46 4.2 综采设备建模 .............................................................. 48 4.2.1 采煤机 3Dmax 建模 .................................................. 49 目录 II 4.2.2 采煤机 3DS 数据读取和显示 ......................................... 52 4.2.3 模型细节层次处理技术 .............................................. 55 4.3 综采工作面生产工艺仿真 .................................................. 61 4.3.1 综采设备运动仿真 .................................................. 61 4.3.2 煤流粒子运动仿真 ................................................... 67 4.4 小结 ...................................................................... 70 5 综采工作面交互式矿工安全生产培训技术 ........................................ 71 5.1 交互式矿工安全培训概述 .................................................. 71 5.2 交互式安全培训设计 ...................................................... 73 5.2.1 情景设计 ............................................................ 73 5.2.2 模块环境设计 ....................................................... 75 5.2.3 角色设计 ............................................................ 77 5.2.4 关卡和任务设计 ..................................................... 79 5.3 交互式安全培训系统关键技术 .............................................. 80 5.3.1 碰撞检测 ........................................................... 80 5.3.2 虚拟矿工建模和行为控制............................................ 84 5.3.3 虚拟矿工人工智能 .................................................. 92 5.4 本章小结 .................................................................. 97 6 综采工作面分布式安全事故应急救援演练技术 .................................... 98 6.1 应急救援高层体系结构HLA技术研究 ...................................... 98 6.1.1 应急救援演练 HLA 概述 .............................................. 98 6.1.2 救援演练 HLA 规则 ................................................. 101 6.2 矿工联邦成员程序结构 .................................................... 109 6.2.1 应急救援 HLA 线程设计流程 ........................................ 110 6.3 煤矿 FOM 映射开发........................................................ 115 6.3.1 矿工动作类设计 .................................................... 116 6.3.2 应急救援数据的编码、解码 ......................................... 117 6.4 应急救援仿真同步与暂停控制 ............................................. 117 6.4.l 救援同步控制 ...................................................... 117 6.5 本章小结 ................................................................. 121 7 综采工作面安全生产虚拟现实应用系统开发 ..................................... 122 7.1 应用系统结构和组成 ..................................................... 122 7.2 立体显示系统实现方法 ................................................... 123 7.3 软件系统模块实现方法 ................................................... 125 目录 III 7.3.1 综采工作面生产系统三维建模和仿真 ............................... 126 7.3.2 交互式安全培训模块 ................................................ 133 7.3.3 基于 HLA 的分布式应急救援演练模块 ................................ 136 7.3.4 基于移动互联网的安全移动监控三维可视化 ........................ 138 7.4 本章小结 ................................................................. 145 8 结 论 .......................................................................... 146 8.1 主要结论 ................................................................. 146 8.2 创新点 ................................................................... 147 8.3 展望 ...................................................................... 148 致 谢 ........................................................................... 149 参考文献 ......................................................................... 150 附 录 ........................................................................... 159 Ⅰ攻读博士学位期间主持或参与完成的科研项目 ............................... 159 Ⅱ攻读博士学位期间发表的学术论文. ....