综采工作面虚拟现实系统应用研究.pdf

Y 7 8 1 3 7 7 磊纠犬孚 硕士专业学位论文 2 0 0 5 届 综采工作面虚拟现实系统应用研究 A p p l i c a t i o nR e s e a r c h O i lV i r t u a lR e a l i t yS y s t e mo f F u l l yM e c h a n i z e dC o a l f a c e 研究生姓名 指导教师姓名 专业名称 研究方向 刘洪字 龚声蓉 教授 软件二【程 ；媒体技术 论文提交日期 旦 综采工作戚盎拟现实系统应甩研究 中艾提要 综采工作面虚拟现实系统应用研究 中文提要 虚拟现实技术是以创建模拟环境的方式为参与者创造一个实时反映实体对象变 化与相互作用的三维图形世界，在视、听、触、嗅等感知行为的逼真体验中，使参与 者仿佛置身于一个虚拟的世界中。本论文首先采用虚拟现实技术对综采工作面工艺过 程进行仿真研究，然后利用面向对象的方法分析综采工作面的工艺过程；使用 M u l t i G e nV e g a 和V c 等软件，采用软件工程的方法开发仿真系统；解决了利用 M u l t i G e n 、V e g a 和v c 进行建模和仿真驱动过程中的一系列关键技术问题，如碰撞检 测，数据库技术，中文显示，运动模型，场景优化等。最后构建综采工作面虚拟现实 系统，在主要场景实现中对所提出的关键技术做了实际的应用，从而验证了关键技术 的有效性。最终生动、逼真地模拟出综采工作面的生产工艺和复杂的作业环境，从而 为指导现场生产、做好职工安全教育提供了一种崭新模式。 关键词综采工作面，工艺过程，虚拟现实 作者刘洪宇 指导老师龚声蓉 ．A ．．b ．．s ．t ．r ．a ．c ．t ．。．．．．．．，．．．．．．．．．．．．．。．．．．．．．．．A ．．p ．．p ．．1 ，i c ．．a ．t ．i ．o ．．n ．．R ．．c ．s ，c ．a r c h ．o n ，．．V ．．i ．r ．t ．u ．a ．．1 ．R ．．e ．．a ．1 ．i ．t y S y s t e m o f F ，．u ．．1 1 ．y ．M c c h m l i z c d C o a l f a c c A p p l i c a t i o nR e s e a r c ho n V i r t u a lR e a l i t yS y s t e mo fF u l l y M e c h a n i z e dC o a l f a c e A b s t r a c t V i r t u a lR e a l i t yt e c h n o l o g yc r e a t e sat h r e e - d i m e n s i o nf i g u r ew o r l dw h i c hr e f l e c t s c h a n g e sa n di n t e r a c t i o n so fe n t i t i e sa n de n a b l e sp a r t i c i p a n t sg oi n t oav i r t u a lw o r l d i nt h e e x p e r i e n c e so fw a t c h i n g 、l i s t e n i n g 、t o u c h i n ga n ds m e l l i n gp r o c e s s e s ．F i r s t l y ，T h e s i m u l a t i o no fC r a f t w o r kP r o c e s so fF u l l yM e c h a n i z e dC o a l f a c ei ss t u d i e dmt h et h e s i sa n d t h e na n a l y s e sC r a f t w o r kP r o c e s so fF u l l yM e c h a n i z e dC o a l f a c eb yu s i n gt h e O b j e c t - O r i e n t e dm e t h o d ．S e c o n d l y , t h eS y s t e mo fS i m u l a t i o ni sd e v e l o p e dw i t hM u l t i G e n V e g aa n dV e ，b yu s i n gt h em e t h o do f s o R w a r ce n g i n e e r i n g ．T h i r d l y , r e s o l v i n ga s e r i e so f q u e s t i o n so fm o d e l i n ga n dd r i v i n 舀s u c ha sC o l l i s i o nd c t e 蟛t i o n , D a t a b a s e ，s h o wC h i n e s e f r o n to nt h es c r e e n , M o t i o nM o d e l ，O p t i m i z i n gS c e n e ，a n d ∞o n ．F i n a l l 弘V i r t u a lR e a l i t y s y s t e mo fF u l l yM e c h a n i z e dC o a l f a c ei sc o n s t r u c t e da n dt h ec r i t i c a lt e c h n o l o g i e sa r c a p p l i e si nt h er e a ls c e n e st od e m o n s t r a t ei t sv a l i d i t y ．I tp r o v i d e sa n e wm o d e lt og u i d et h e o n s p o tw o r ka n dd os a f e t ye d u c a t i o nf o rw o r k e r sb yv i v i d l ys i m u l a t i n gC r a f l w o r kP r o c e s s a n dc o m p l e xe n v i r o n m e n to f F u l l yM e c h a n i z e dC o a l f a c e ． K e yw o r d s F u l l y M e c h a n i z e dC o a l f a c e ，C r a R w o r kP r o c e s s ，V i r t u a lR e a l i t y W r i t t e nb y H o n gY uL i u S u p e r v i s e db yS h e n gR o n gG o n g 、7 8 1 3 7 7 苏州大学学位论文独创性声明及使用授权声明 学位论文独创性声明 本人郑重声明所提交的学位论文是本人在导师的指导下，独赢进行研究T 作所 取得的成果。除文中已经注明引用的内容外，本论文不含其他个人或集体已经发表或 撰写过的研究成果，也不含为获得苏州大学或其它教育机构的学位证书而使用过的材 料。对本文的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。本人承 担本声明的法律责任。 研究生签名杰l 璀星日期堕垒三三 学位论文使用授权声明 苏州大学、中国科学技术信息研究所、国家网书馆、清华大学论文合作部、中国 社科院文献信息情报中心有权保留本人所送交学位论文的复印件和电子文档，可以采 用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 包括刊登 论 文的全部或部分内容。论文的公布 包括刊登 授权苏州大学学位办办理。 研究生签名 导师签名 量2 毽室 盟 日期匹。生．22 日期Q ￡ 丝兰兰 综采工作面虚拟现实系统应用研究第一章绪论 1 ．1 引言 第一章绪论 随着市场经济的发展。我国煤炭工业日益向大型化、集中化、高产高效的方向发 展。综合机械化采煤技术 综采技术是长壁采煤系统、支护、采煤、装载、运输及整 体推进等作业全部机械化的生产技术 在我国的研究试验、使用、发展，彻底改变了 我国煤炭工业的面貌，降低了工人的劳动强度，提高了产量，满足了国民经济建设 对煤炭的需求。 每年煤炭生产中事故发生率都是居高不下，人们往往谈“井”色变。造成这种情况 的原因除了煤炭生产本身特殊的自然条件之外，更主要的原因还是没有形成一套有效 的、综合的、立体的煤炭安全管理模式。现行的管理方式乃至手段很难形成一个井上、 井下协调、互动的信息反馈链而往往相互牵制。工人们往往过多地局限在一个生产工 作面，局部地方比较熟悉，但是往往很难建立整个矿井的立体概念。 科学技术的发展促使人们为了适应未来信息社会的需要，必须提高人与信息社 会的接口能力，提高人对信息的理解能力。不仅要求能通过打印输出或显示屏幕 的窗口，在外部去观察信息处理的结果，而且还希望能通过人的视觉、听觉、触 觉，以及形体、手势或口令参与到信息处理的环境中去，获得身临其境的体验。 这种信息处理方法已不再是建立在一个单维的数字化的信息空间上，而是建立在 一个多维化的信息空间，建立在一个定性和定量相结合，感性认识和理性认识相 结合的综合集成环境。2 0 世纪9 0 年代初出现的虚拟现实技术把计算机从善于处理 数字化的单维信息改变为善于处理人所能感受到的、在思维过程中所接触到的、 除了数字化信息之外的其他各种表现形式的多维信息。综采工作面生产是现代煤 矿生产中的重要组成部分，对煤矿生产的顺利进行具有重要的影响。传统的综采 工作面仿真侧重于数字仿真，即编制程序采用随机方式仿真生产过程，并由此得 出工作面产量以及其它的结果的研究，在综采工作面可视化的研究上，国内基本 上处于空白状态。将虚拟现实技术应用于综采工作面生产过程具有很多优点如 将其用于矿工培训将具有投资少、安全可靠、可重复操作的优越性，而且对煤炭 高校的教学工作也是十分重要的。 1 。2 论文研究的意义 虚拟现实是在计算机图形学、计算机仿真技术、人机接口技术、多媒体技术以及 第一章绪论 综采工作面虚拟现实系统应用研究 传感技术的基础上发展起来的一门交叉技术。通过多种传感设备，用户可以在一个看 似真实的虚拟环境中根据自身的感觉，使用人的自然技能对虚拟世界中的物体进行考 察或操作，并获得相应看似真实的体验。 虚拟现实技术出现后首先应用于娱乐领域，在以后的短短十年中，随着计算机硬 件技术、软件应用成本的极大降低和技术的不断更新，虚拟现实技术在航天、军事、 商业、医疗、工程设计、娱乐、教育培训等诸多领域都显示出了诱人的前景。目前， 利用虚拟现实技术在矿业方面的研究还处于起步阶段。 虚拟现实不仅可以模拟矿山常规作业环境，而且可以模拟矿山的抢险救灾环境和 典型矿山事故的分析与再现。矿工们可以在模拟的常规作业环境中找出适合自己的工 作方法，并且可以不断磨练自己的工作技巧，同样也可以在模拟的抢险救灾场境中寻 找逃生自救的方法及所必需的救护设施，并作为安全经验积累下来。现在虚拟现实系 统具有操作简单，良好的视觉，实施便宜的特点，因此其进行集体培训的潜力巨大， 而且比在装备良好的实时工作场地中培训矿工更加节约成本，能够取得显著的经济效 益，这种应用技术的研究开发无疑对提高煤矿安全生产，矿工的安全保护意识和系统 优化设计具有重要的实用价值。本课题正是在此基础上提出的。本课题提出建立“综 采工作面虚拟现实系统应用研究”，利用虚拟现实技术生成虚拟综采工作面，可以生 动、逼真地模拟出井下工作面的生产工艺和复杂的作业环境，为指导现场生产服务， 并为职工的安全教育提供崭新的模式，提高职工的安全意识，对于煤矿的安全生产具 有重要的研究价值。 1 ．3 国内外研究现状 虚拟现实的概念从八十年代提出，经过二十多年飞速的发展，已经广泛应用于各 个领域医学上的虚拟解剖、建筑上的辅助设计、机械上的虚拟制造、军事上的虚拟 现实飞行模拟训练及联网战场模拟，以及各种各样精彩的虚拟现实游戏等，虚拟现实 已形成一个很大的潜在市场。在矿业领域虚拟现实技术的应用相对比较晚，但也有了 很大的进步。目前国外从事虚拟现实技术在矿业中应用研究的主要有英国诺丁汉大学 化工、环境与采矿工程学院所属的人工智能及其矿业应用研究所 简称A I M S 、南 非工业与科研委员会 C S I R 矿业技术部的A ．S q u l c h 、美国宾西法尼亚州立大学采 矿工程系的C J ．B i s e 、德国柏林工业大学B ．M ．W i n l d c r 等。其研究内容主要集中在采 矿工程模拟、技术培训、事故分析、风险评估、灾害防治等方面。这些研究成果已经 显示出虚拟现实技术在矿业领域内应用的巨大潜力。目前国外的许多工业组织和科研 院校纷纷投资，加大研究力度和深度，积极开发和探索虚拟现实技术应用的新领域。 目前国内外虚拟现实在矿业中的应用较多的主要有一下几个方面 综采工作面虚拟现实系统应用研究第一章缔论 1 , 3 ．1 矿井生产模拟 由英国诺丁汉大学的人工智能及其矿业应用研究室 简称A I M S 开发研制的房柱 式开采模拟V R - M I N E 系统可以对连续采煤机、顶板锚杆机、蓄电池机车和给料破碎 机构成的生产系统进行动态三维实时模拟，该系统不仅提供了灵活的用户界面，既可以 设定设备型号及数最、作业参数，又可以选择煤柱尺寸、回采巷道数量和凡何参数．丽 且可以通过全屏幕或多窗口视图的形式，动态显示房柱式生产系统的平面图或三维立 体图。该系统的主要特点在于它的真实性和人与系统的交互性。操作人员可以与这一 系统进行交互作用，他可以在任意时刻穿越任何空间进入系统模拟出的任何区域，通过 计算机屏幕显示出所视空间的采矿作业情况，如设备当前位置和运行状况，设备运 行的时间、产量、设备间的距离等动态信息。这种模拟超过以往以任何方法建立的模 型所达到的效果。应用V R - M I N E 系统可以通过对不同型号设备、不同开采参数下 的生产系统进行动态模拟，从而达到优化生产系统的目的。显然，这类系统还可用于矿 井开采计算机辅助设计、生产监控、管理和技术培训等方面。 1 ．3 ．2 煤矿人员技术培训 在矿业领域可以借助V R 系统虚拟井下各种复杂的作业环境，供采矿工程专业的 学生实习训练，这样既可以降低实习费用，又可缩短教学时间，让更多的人接受高等 教育，同时还可对井下工人进行上岗前的操作及安全教育培训。如虑拟井下的各种工 况及险情，使被训练者身临其境地去体验，并学会采取有效的应急措施去处理各种险 情，以提高人员素质，消除事故隐患。 诺丁汉大学AIMs 研究室应用VR 技术开发的房柱式开采模拟系统VR - MI NE 、蓄电池机车模型、露天矿单斗卡车工艺生产系统等可分别用于相应环境下工作 人员的培训。如用于露天矿卡车司机及相关人员的培训的露天矿卡车模拟器，该模拟 器除了采用一般的vR 模拟系统硬件及软件进行人机交互外，还可通过方向盘、加速 器和刹车板控制屏幕上卡车的运行，就如同驾驶真正的卡车一样。当受训者操作这些 硬件时，面对的计算机屏幕或投影大屏幕上呈现出一个三维的真实直观的露天矿作业 环境，包括声音、甚至烟雾，如同驾驶着一辆真实的卡车运行在露天矿的矿坑内，无论 是驾驶的卡车本身，还是环境中运行的其它设备，均按照受训者的操作或依据系统间的 动态关系运行。比如，受训者操作出错时，同样会造成撞车或从台阶滚落下去的事故。 该系统在南非的一个金矿用于培训井下工人识别矿井开采危害及岩石冒落事故的发 生。系统所建立的三维环境是该矿最忙碌且事故频发的工作面，其危害主要来自岩体 冒落和设备运行。一旦训练者进入虚拟环境中的某个危险区，而又未作出正确的反应 时系统就会以图像和声音形式模拟出这种灾害的动态发展过程。同时记录每个训练者 的成绩，以供评价和比较。南非金矿的应用表明，矿工通过这种训练，不仅强化了安 全意识，也增强了事故识别能力，达到了减小矿山灾害发生及其危害程度的目的。 第一章绪论综采工作面虚拟现实系统应用研| 宄 1 ．3 ．3 煤矿设备的虚拟设计和制造 V R 技术用于大型设施、设备的设计和制造已有许多成功的实例。把虚拟现实技 术用于对煤矿新设备的设计方寨进行可视化的性能评估，则更显示出虚拟现实技术的 优势。由于井下场地狭窄，环境恶劣，因此对井下设备的设计、运行、维修都提出了 很高的要求。煤矿设备的虚拟设计和制造，其意义不仅仅是节约资源和时间，而是完 成在地面或在常规条件下无法进行的工作。例如采煤机虚拟设计中，设计人员不必等 到样机制造出来，再去修改其中不太理想、不太合理的部分，因为V R 系统可以容纳 他们“进入”电脑中的三维空间图像，借助多种交互手段宜接对采煤机的设计进行观 察、讨论和修改。从而大大缩短设备的研制周期，节省研制费用。中国矿业大学 北 京校区 开发了综合机械化采煤中的采煤机和支架的虚拟现实系统，可以通过采煤机 和支架的基本参数来模拟其在特定力的作用下的运动，也可以利用V R 传感器或六维 鼠标进行根据控制对所建模型的各个部位进行观察，进一步优化设计，改进结构。但 是目前的研究还仅限于动画的驱动，距离真正指导采煤机械的设计还有一段距离。 1 ．3 ．4 应用VR 技术进行矿井事故调查和研究 应用计算机绘图和虚拟现实技术可以快速、有效地以一系列三维图像在计算机 屏幕上再现各种事故发生的过程，事故调查者可以从各种角度去观测、分析事故发 生的过程，找出事故原因，包括系统设计和现场人员的动作行为。这个在公安部门的 案例分析中已有应用，在矿业领域还没有人涉及。中国的煤矿事故发生率是非常高 的，通过对事故的事后调查，可以明确事故责任，更重要的是防止其它与此相关或 相类似的潜在事故的出现。矿山事故预防的关键在于创造并维护安全的工作环境、 宣传并执行安全的作业行为，从而防止错误行为的发生。应用V R 可以快速、有效 地在计算机屏幕上再现事故发生的过程。因而事故调查者可以从各种角度去观测、 分析事故发生过程，从而找出事故发生的原因并采取预防措施，防止类似事故的再 次发生。图1 ．1 为通过V R 技术再现的井下矿车事故发生的情景。通过交互式改变 该模型中的环境参数来模拟再现事故过程，可以找到避免类似事故发生的技术途径 和工人安全注意事项。 1 ．3 ．5 矿井火灾和瓦斯爆炸模拟 计算机技术的高速发展使得在灾变条件下复杂通风网络的快速解算成为可能，从 而指导井下火灾发生时正确地控制风流，确保井下工作人员安全撒出，防止火灾和有害 气体、烟尘等的蔓延。近几年来，计算流体动力学 简称CFD 已广泛用于工业火灾、 爆炸和煤矿火灾，CFD 通过解算与火灾和爆炸物相关的数学模型，可咀较准确地预测 火区附近的温度、火风压及其燃烧产物的实时分布状况。 综采工作面虚拟现实系统应用研究 第～审绪论 图1 - 1 矿车事故再现 图1 - 2 巷道火灾模拟 AIMS 的研究人员目前正致力于矿井火灾VR 系统的开发。该系统通过模拟某 个真实的矿井作业环境，并结合网络分析和CFD 模拟的结果，可以逼真地展示出火灾 或爆炸发生的动态过程。除了模拟火烟弥漫状况外，该系统还可通过人机交互作用显 示出人为因素，如反风、灭火措施等对这整个通风网络的影响。此类系统的开发无疑 可以广泛地用于矿井火灾的防治、救灾和人员培训等方面。 中国矿业大学 北京校区 采用粒子系统对矿井火灾进行了三维可视化研究。在 应用V C 6 ．0 和o p e nG LA P I 开发的程序中，设计了地下井巷真实感模型和火灾烟气 与火焰模型，并考虑了风向对火焰以及烟流形态的影响、巷道高度受限影响等因素。 图l - 2 所示为该系统完成的巷道火灾模拟结果。 1 ．3 ．6 生态重建 采矿无论是地下开采还是露天开采都会导致地表遭到严重的破坏，遭到破坏后 一般再重建不是最初环境的简单恢复，而是按照采矿的时空发展顺序和最终符合当 地人们的需求和价值取向，对生态系统的组成、结构和功能进行积极的安排和调控， 重建一个高水平、可持续发展的生态系统。所以在生态重建的规划设计、方案论证 的过程中，采用虚拟现实技术，把各种不同的方案在计算机中逼真的体现出来，给 决策者直观的印象来决定方案的选择。对与不满意的地方重新进行修改设计，对于 方案的选择有重要的意义。中国矿业大学 徐州校区 进行了露天矿生态重建的研 究，应用于霍林河矿的生态重建，取得了较好的效果，图1 ．3 是露天矿生态重建后 的仿真效果图。 图1 ．3 露天矿生态重建后的仿真效果图 第一章绪论 综采工作面虚拟现实系统成用研究 1 ．4 论文研究目标和内容 1 ．4 ．1 研究目标 论文的研究目标是以综采工作面工艺流程为研究对象，深入研究虚拟现实技术 在综采工作面培训和教学等方面的应用问题。系统研究了开发综采工作面虚拟现实系 统的技术问题，总结了经验教训，形成了一套较为规范的开发虚拟现实系统的方法。 为今后可视化矿井的研究和类似项目的开发奠定了项目管理和技术基础。并根据综采 工作面工艺流程的实际情况，对综采工作面工艺流程进行虚拟现实仿真。具体包括三 个方面 1 根据工作面的初始条件，自动进行综采工作面工艺流程的虚拟现实真。 2 按照工作面的实际工作流程进行人机交互操作，对井下工人进行上岗前的培 训，还可对采矿及其相关专业的学生进行生产实习和了解工作面生产工艺过程的多媒 体演示课件 3 编制本系统与硬件设备的接口程序，为矿井实时监控系统提供方便的显示界 面。 1 ．4 ．2 研究内容 1 综采工作面工序作业方式的分析 综采工作面的工艺过程包括采煤、装煤、支护及工作面端头作业和进刀等几部分 组成。综采工作面采煤、装煤工序有采煤机割煤同时完成，运煤由刮板输送机完成， 工作面的支护和处理采空区通过液压支架的移架完成。分折综采工作面工艺流程将其 简化并建立数学仿真模型。 2 建立场景数据库 为了构建一个逼真的综采工作面环境，需要对工作面的环境及其设备创建一个场 景数据库，场景数据库的主要内容包括实体模型 采煤机、支架、刮板输送机、转载 机、胶带输送机、工作面等 和环境 雾、光照、纹理、材质等 。 3 对虚拟场景中有位置移动的对象进行运动建模 在综采工作面的模拟过程中，涉及到很多运动的对象，如采煤机及其摇臂，滚筒、 支架和输送机等，必须对其进行运动建模。运动建模是一个复杂的过程，涉及到很多 运动部件，运动部件之问的运动是关联的，所以如何构建相互关联的运动对象的数学 模型及如何用计算机实现是本课题研究的重点。 4 建立煤流的粒子系统模型 粒子系统是用粒子群来描述不规则物体的属性及其变化，每个粒子具有形状、大 小、颜色、透明度、运动速度、运动方法和生命周期等。这些粒子不是一个静态的整 体，而是随着时间的推移处在不断运动中的粒子集合体，煤流是完全符合粒子系统的 6 综采T 作面虚拟现实系统应用研究 第一章绪论 各个特征的。本论文利用粒子系统建立煤流系统，包括采煤机割煤后煤的下落，在刮 板输送机上的流动以及在装载机机头的转载等。 5 设计漫游方式 虚拟现实技术目前表现的主要形式的是虚拟漫游，如何设计一个好的漫游方式直 接决定一个虚拟场景的成败，因此设计一个简单，实用的漫游引擎是非常必要的。 6 碰撞检测 虚拟世界中的物体，是以计算机产生的集合模型的形式而存在的。这样，物体就 可能占有一样的空间和穿透性，或者以一种非现实的途径相互穿插。这些现象在现实 世界中是永远不可能发生的，因为物体总会发生碰撞。为了更真实的描绘虚拟的世界， 必须提供一种算法，使物体在虚拟场景中的运动象现实场景一样。碰撞指两物体开始 相互接触时的状态。碰撞检测在虚拟场景中起着重要的作用。 7 信息的储存和显示研究 在虚拟现实的环境中，三维场景数据库实现对三维模型的管理，二维数据库保存 一些和过程仿真和模型属性相关的信息。一般的软件不能同时提供三维和二维数据库 因此二维和三维数据库的建立和通信是研究的关键问题。 8 综采工作面工艺流程虚拟现实仿真 集成前面的场景数据库、运动模型、煤流模型、漫游方式、碰撞检测、信息存储 和显示形成～个逼真的综采工作面采煤过程．综采工作面仿真在三维方面以前做的工 作很少，是一种尝试，仿真包括采煤机的害4 煤过程三维仿真、移架过程的三维仿真， 刮板输送机运煤过程的仿真。并将这三项仿真合成为综采工作面工艺流程仿真。 1 ．5 本章小结 本章基于在分析了国内外虚拟现实技术在煤炭应用的基础上，提出了“综采工 作面虚拟现实系统应用研究”的课题，以期利用虚拟现实技术生成虚拟综采工作面， 以生成生动、逼真地井下工作面的生产工艺和复杂的作业环境。为指导现场生产服务。 并为职工的安全教育提供崭新的模式。并对课题提出的背景、研究的目的和意义以及 要完成的主要内容做了概述。 第二章虚拟现实及相关技术探析 综采工作面虚拟现实系统心用研饥 第二章虚拟现实及相关技术探析 虚拟现实 V i r t u a lR e a li t y ，简称V R 是美国J a F O I lL a n i e r 教授于1 9 8 9 年首先提 出的，国内也有人译为“灵境”，“幻真”等。它依托于计算机科学、数学、力学、 声学、光学、机械学、生物学甚至美学和社会科学等多种学科，在计算机图形学、图 像处理与模式识别、智能接口技术、人工智能技术、多传感器技术、语音处理与音响 技术、网络技术、并行处理技术和高性能计算机系统等信息技术的基础上迅速发展起 来。目前，其应用已涉及科研、教育培训、工程设计、商业、军事、医学、影视、艺 术和娱乐等众多领域，被专家学者们公认为是2 1 世纪可能促使社会发生巨大变化的几 大技术之一。本章第一节介绍了虚拟现实的概念、第二节介绍了虚拟现实的特征、第 三节介绍了虚拟现实系统的分类、第四节介绍了虚拟现实系统的构成、第五节介绍了 虚拟现实的关键技术。 2 ．1 虚拟现实的概念 虚拟现实技术 V i r t u a lR e a l i t y 是一种综合计算机图形技术、多媒体技术、传感 器技术、显示技术以及仿真技术等多种学科而发展起来的计算机领域的最新技术，它 以创建模拟环境的方式为参与者创造一个实时反映实体对象变化与相互作用的三维 图形世界，在视、听、触、嗅等感知行为的逼真体验中，使参与者仿佛置身于一个虚 拟的世界中。在这个虚拟的世界中参与者可以使用人的自然技能和某些专用设备对虚 拟世界中的物体进行考察或操作；同时提供视、听、摸等直观而又自然的实时感知。 在这个虚拟的世界里，参与者能够自由的运动，观看风景，就和真实虚拟世界的一样， 有着足够的自主性，甚至可以捡起一块石头攻击敌人。 虚拟现实的概念包括了以下含义 “模拟环境”就是由计算机生成的具有双视点的、实时动态的三维立体逼真图像， 逼真就要达到三维视觉，甚至包括三维听觉、触觉甚至嗅觉等的逼真。而模拟环境既 可以是某一特定现实世界的真实实现，也可以是构想出来的、通过计算机图形设计的 虚拟世界。 “感知”是指理想的虚拟现实技术应该具有一切人所具有的感知，即除了利用计 算机图形技术所生成的视觉感知以外，还有听觉、触觉、力觉、运动感知。甚至还包 括嗅觉和味觉感知等，这也称为多感知 M u l t i 。S e n s a t i o n 。 综采工作面虚拟现实系统应用研究 第二章虚拟现实及相关技术探折 “自然技能”指的是人的头部转动、眼睛、手势和其他人体的行为动作，由计算 机不处理与参与者动作相适应的数据，并对用户的输入 手势、口令命令等 作出实 时响应，并分别反馈到用户的五官，使用户有身临其境的感觉，成为该模拟环境中的 一个内部参与者，还可以与环境中的其他参与者打交道。 ● “专用设备”是指各种三维交互设备，常用的有立体头盔、数据手套、三维鼠标、 数据衣等穿戴于用户身上的装置和设景于现实环境中的传感装置，如摄像机、地板压 力传感器等。 从以上描述可以知道。虚拟现实技术是在众多相关技术基础上发展起来的，但它 绝不是这些技术的简单组合。虽然它与各种相关技术有着或多或少的相似之处，但在 思维方式上，V R 已经有质的飞跃。 2 ．2 虚拟现实的特征 B u r d e a G ．在E l e c t r o ’9 3I n t e r n a t i o n a lC o n f e r e n c e 上所发表的’V i r t u a l R e a l i t yS y s t e m sa n d A p p l i c a t i o n s ”一文中，曾提出了一个“灵境技术的三角形” 它较简捷地说明了灵境系统的基本特征，即三个”I ’，它们是 i m e r s i o n - i n t e r a c t i o n - i m a g i n a t i o n 沉浸一交互一构想 如图2 1 所示 2 ．2 ．1 沉浸 i m m e r s i o n 这是虚拟现实系统的核心，表示用户投入到由计算机 生成的虚拟环境中的能力，从而使得用户在虚拟场景中获 得身临其境的感觉，觉得自己是虚拟环境中的一个部分， 而不是旁观者。他可以感到被虚拟景物所包围，可以在这 一环境中左顾右盼、自由走动，可以与虚拟物体相互作用， 如同在已有经验的现实世界中一样。这种使用户感到作为 一个主角沉浸于模拟环境中的真实程度，在理想的模拟环 境中应该达到使用户难辨真伪的程度。这就是虚拟现实技 术的浸没感 i m m e r s i o n 或临场参与感。 2 ．2 ．2 交互 i n t e r a c t i o n 图2 - 1 虚拟现实的基本特征 交互性是指用户通过使用专用设备，用人类的自然技能实现对模拟环境内物体的 可操作程度和从环境得到反馈的自然程度 包括实时性 。例如，用户可以用手去直 接抓取虚拟环境中的物体，这时手应有握着东西的感觉，并可以感觉到物体的重量， 而虚拟场景中被抓取的物体也应随着手的移动而移动。 第二章虐拟现实发相关技术探折 综采工作面虚拟现实系统应用研究 2 ．2 ．3 构想 i m a g i n a t i o n 虚拟现实不仅仅是一个用户与终端的接口，而且可使用户沉浸于此环境中获取新 的知识，提高感性和理性认识，从而产生新的构思。因此，虚拟现实不仅仅是一个演 示筠I 体，而且是启发人的创造性思维的活动。 虚拟现实是一种可以创建和体验虚拟世界的计算机系统。虚拟世界是全体虚拟环 境或给定仿真对象的全体，虚拟环境是由计算机生成的，通过视、听及触觉等作用于 用户，使之产生身临其境感觉的交互式视景仿真。 2 ．3 虚拟现实系统的分类 虚拟现实最本质的特征是用户对虚拟场景的沉浸，根据用户参与虚拟现实系统的 交互和浸入程度的不同，可以分为以下四类。 2 ．3 ．1 桌面V R 系统 桌面虚拟现实系统是利用个人计算机或低级工作站来产生三维空间的交互场景。 它把计算机屏幕作为用户观察虑拟世界的一个窗口。参与者需要使用手拿外部设备用 以辅助操纵虚拟世界中存在的各种物体，常见的外部设备有鼠标、跟踪球和力矩球等。 在这种虚拟现实当中用户虽然坐在监视器前面，但可以通过计算机屏幕观察3 6 0 0 范围 内的虚拟环境；也可以通过交互操作，使虚拟环境的物体平移和旋转，以便从各个方 向观看物体。但用户并没有完全投入，所以还是会受外界的干扰，是一种初级的虚拟 状态，沉浸程度也不是很高，我们所做的研究也正是处于这一层面上的研究。这种虚 拟现实由于没有昂贵的硬件和软件支持，投入不是很高，目前应用己较为广泛。目前 常见的桌面虚拟现实技术有 基于图像的虚拟现实技术 一般采用的是数字相机拍摄的图像，在计算机上进行拼接生成虚拟现实场景 计算操作。因为其中涉及到大量的图像搡作，所以不适合进行过大的数值计算操 作。 V R M L 虚拟现实建模语言 V R M L 是一种在I n t e r n e t 网上得到广泛使用的虚拟现实语言，号称为第二代 w w 建模语言。它以文本描述三维信息，避免了网络拥塞。 ●桌面C A D 系统 O p e n G L ，D i r e c tD r a w 使用图形绘制技术对三维图形进行建模，这些技术的 优越之处在于可以自由地控制视点和视角，结合纹理映射的技术可以达到比较 逼真的虚拟效果。 综采工作面虚拟现实系统应用研究 第二章虚拟现实及相关技术探析 2 ．3 ．2 沉浸式V R 系统 沉浸式V R 系统利用头盔显示器和数据手套等各种交互设备把用户的视觉、听觉和 其他感觉封闭起来。而使用户真正成为V R 系统内部的一个参与者，并能利用这些交互 设备操作和驾驭虚拟环境。它主要依赖于各种硬件，这些硬件使得参与者完全投入一 个虚拟境界而看不到现实世界。当参与者戴上头盔显示器后，他周围的现实环境就被 有效地屏蔽掉，使得参与者有一种被虚拟境界包围的感觉。 与桌面v R 系统相比，沉浸式V R 系统的主要特点在于 具有高度的实时性能。如当用户移动头部以改变观察点时，虚拟环境可以自动以 足够小的延迟连续平滑地修改景区图像。这与桌面V R 系统截然不同，桌面V R 系统 是借助于2 6 自由度控制器，通过人工操作来使虚拟环境改变观察场景的。 具有高度的沉浸感。沉浸式V R 系统可以使参与者暂时与真实世界隔离开，而处于 完全沉浸状态。同时各种专用设备将向参与者提供相应的视、听、触等直观而又 自然的实时交互感知，从而使用户获得接近于真实世界的充分体验。 能支持多种i ／o 交互设备并行。例如，用户把手指指向一个方向并说“那里 ”， 这样一个简单的行为会产生三个同步事件，这些事件分别来自头部跟踪器、数据 手套及语音识别器，这说明多种输入／输出设备的并行处理是虚拟现实的基本特 征。 2 ．3 ．3 叠加式V R 系统 叠加式v R 系统允许用户对现实世界进行观察的同时，通过穿透型头戴式显示器将 计算机虚拟图像叠加在现实世界之上，为操作员提供与他所看到的现实环境有关的、 存储在计算机中的信息，从而增强操作员对真实环境的感受，因此又被称为补充现实 系统。 叠加式v R 系统依赖于虚拟现实位置跟踪技术。因为计算机需要知道操作员的手和 他所使用的物体之间的相对位置，只有将头戴式显示器中的图像与实际境界中的物体 仔细调校，达到精确的重叠才会有用。然而目前的技术尚不足以非常精确地定位，这 主要是由于传感器在其可覆盖距离方面的若干限制以及难以控制滞后时间等原因。 2 - 3 ．4 分布式V R 系统 分布式V R 系统是指多个用户通过计算机网络连接在一起，同时参加一个虚拟空 间，共同体验虚拟环境。分布式虚拟现实的目标是建立一个可供异地多用户参与的分 布式虚拟现实坏境。处于不同地理位置的用户可以不受物理时空的限制。如同进入到 一个真实世界，通过姿势、声音或文字等进行交流、学习、研讨、训练、娱乐。甚至 协同完成同一件比较复杂的产品设计或进行同一艰难任务的演练。分布式虚拟现实是 一种基于网络的虚拟现实系统，它在先进的网络平台上，在较大的范围内，通过计算 第二章虚拟现实及相关技术撵析综采工作血f 虚拟现实系统应用研究 机营造多用户能同时进行实时交互的虚拟环境。它的基础是网络技术、实时图象压缩 技