基于LeapMotion的采煤场景协同手势控制虚拟仿真研究与实现.pdf

万方数据 中图分类号TP391学校代码10424 UDC004密级公开 山东科技大学 工程硕士专业学位论文 基于 LeapMotion 的采煤场景协同手势控制 虚拟仿真研究与实现 Research and Implementation of Virtual Simulation of Cooperative Gesture Control of Coal Mining Scene Based on LeapMotion 作者司潇入学时间2017 年 9 月 导师彭延军职称教授 申请学位工程硕士所在学院计算机科学与工程学院 学科（类别）工程方向（领域）计算机技术 答辩日期2020 年 6 月 12 日提交日期2020 年 6 月 15 日 万方数据 万方数据 万方数据 万方数据 摘摘要要 井下采煤工作具有作业空间狭小、视觉环境差、机械设备多等特点，安全事故频发， 将虚拟仿真技术应用于采煤行业， 可以用于采煤设备的培训， 具有更高的真实性和简捷性， 达到教与学互动发展，提升培训效率，节省人力、物力和时间，促进开采的安全化、可视 化、智能化发展。 本文基于 Unity3D 虚拟开发引擎创建了采煤生产虚拟仿真场景；基于 LEAPMOTION 体感控制器，通过采煤设备的实际运转，进行协同手势控制虚拟仿真研究，设计了手势交 互方式，进行手势识别；多用户通过建立网络连接，各终端手势控制不同采煤设备协同完 成采煤工作，实现了在虚拟场景中多人协同操控的实时交互漫游，并保持场景状态同步； 提高了采煤设备的培训效率，提升了采煤安全生产效能。 通过设置速度阈值对采集的手势数据进行有效性检测，使用低通滤波法和 L2 范式进 行帧间平滑预处理以及数据归一化处理，提取 4 个维度的手势特征作为手势识别特征集； 采用模板匹配法进行静态手势识别，利用 K 近邻算法完成手势特征匹配，并通过实验选取 K 最佳取值；利用 HMM 模型实现动态手势模型训练，然后利用前向算法获取手势模型匹 配概率，完成动态手势识别。多人多终端协同手势控制采用 C/S 模式和授权服务器方案， 利用 RPC 远程调用方式实现用户的远程控制， 根据设备的具体运作情况选用参数传递、 序 列化反序列化等方式完成场景同步，实现多人多终端协同手势控制。 关键词关键词虚拟现实；手势控制；协同控制；虚拟仿真；人机交互 万方数据 Abstract The underground coal mining work has the characteristics of narrow working space, poor visual environment, many mechanical equipment and frequent safety accidents. Applying virtual simulation technology to the coal mining industry can not only be used for the training of coal mining equipment, but also have higher authenticity and simplicity, achieve the interactive development of teaching and learning, effectively enhance the training efficiency, save manpower, material resources and time, and combine with coal mining safety The whole production features and industry safety standards, to achieve the safety, visualization and intelligent development of mining. In this paper, based on unity3d virtual development engine, the virtual simulation scene of coal mining production is created; based on the leapmotion body sense controller, through the actual operation of coal mining equipment, the virtual simulation research of cooperative gesture control is carried out, and the gesture interaction mode is designed for gesture recognition; multi-user through the establishment of network connection, each terminal gesture control different coal mining equipment to cooperate to complete the coal mining work, It realizes the real-time interactive roaming of multi person cooperative control in the virtual scene, and keeps the scene state synchronous; improves the training efficiency of coal mining equipment, and improves the safety production efficiency of coal mining. The validity of the collected gesture data is detected by setting the speed threshold. The low-pass filtering and L2 normal are used for the frame smoothing preprocessing and data normalization, and the four dimension gesture features are extracted as the gesture recognition feature set. The template matching is used for the static gesture recognition, and the k-nearest neighbor algorithm is used to complete the gesture feature matching, and the best K is selected through the experiment Value HMM model is used to realize dynamic gesture model training, and then forward algorithm is used to obtain the matching probability of gesture model and complete dynamic gesture recognition. Multi person and multi terminal cooperative gesture control adopts C / S mode and authorization server scheme, uses RPC remote call mode to realize users remote control, selects parameter transmission, serialization and deserialization and other s to complete scene synchronization according to the specific operation of the device, and realizes multi person and multi terminal cooperative gesture control. KeywordsVirtualreality;gesturecontrol;cooperativecontrol;coalmining simulation;human-computer interaction 万方数据 目目录录 图清单..Ⅰ 表清单..Ⅱ 变量注释表..Ⅲ 1绪 论 ...1 1.1 研究背景和意义...1 1.2 国内外研究现状...2 1.3 论文主要内容和组织结构..4 2单人手势控制交互技术..6 2.1 手势识别....6 2.2 设备运行仿真...15 2.3 本章小结...19 3多人多终端协同手势控制交互技术.21 3.1 网络协同模式 ..21 3.2 虚拟场景网络化 ..24 3.3 多人协同手势控制交互 27 3.4 本章小结 30 4采煤场景协同手势控制虚拟仿真系统..31 4.1 系统设计..31 4.2 系统开发环境....31 4.3 系统功能.32 4.4 系统实现.34 4.5 本章小结.39 5总结与展望 40 参考文献 作者简历 致谢 学位论文数据集 万方数据 Contents List of FiguresⅠⅠ List of TablesⅡⅡ List of Variables..ⅢⅢ 1Introduction..1 1.1 Background and Significance1 1.2 Research status at home and abroad2 1.3 The main content and organizational structure of the thesis.4 2Single gesture interaction technology..6 2.1 Gesture recognition.6 2.2 Equipment operation simulation..15 2.3 Brief Summary..19 3Multi person and multi terminal cooperative gesture control interaction technology..21 3.1 Network collaboration mode....21 3.2 Virtual scene networking....24 3.3 Multi person cooperative gesture control interaction..27 3.4 Brief Summary..30 4Virtual simulation system of cooperative gesture control in coal mining scene..31 4.1 System design..31 4.2 System development environment..31 4.3 System function.32 4.4 System implementation..34 4.5 Brief Summary..39 5Summary and prospect..40 References Author’s Resume Acknowledgements Thesis Data Collection 万方数据 I 图清单 图序号图名称页码 图 2.1手势控制交互流程图7 Fig.2.1Flow chart of clearing control interaction7 图 2.2KNN 示意图11 Fig.2.2Basic principle diagram of BEM11 图 2.3不同 K 值平均识别率12 Fig.2.3Average recognition rate of different K values12 图 2.4手势识别效果图15 Fig.2.4Gesture recognition rendering15 图 2.5液压支架数学模型16 Fig.2.5Mathematical model of hydraulic support16 图 2.6采煤机手势控制效果图18 Fig.2.6Hand gesture control effect of shearer18 图 2.7液压支架手势控制效果图18 Fig.2.7Hand gesture control effect of hydraulic support18 图 2.8铲运机手势控制效果图19 Fig.2.8Hand gesture control effect of scraper19 图 3.1网络协同模式图21 Fig.3.1Network collaboration pattern21 图 3.2Socket 通信示意图22 Fig.3.2Sketch of socket communication22 图 3.3远程控制流程图24 Fig.3.3Remote control process24 图 3.4网络结构图24 Fig.3.4Network structure diagram24 图 3.5网络互连效果图26 Fig.3.5Network interconnection rendering26 图 3.6虚拟场景网络化效果图26 Fig.3.6Network rendering of virtual scene26 图 3.7系统实现原理图27 Fig.3.7The schematic of system implementation27 图 3.8多人协同手势控制效果图29 Fig.3.8Multi person cooperative gesture control rendering29 图 4.1Leap Motion 传感器坐标系32 Fig.4.1Leap Motion sensor coordinate system32 图 4.2手掌方向和法向量32 Fig.4.2The palm direction and normal vector32 图 4.3系统功能结构33 Fig.4.3Structure of system33 图 4.4系统运行展示34 万方数据 II Fig.4.4System operation display34 图 4.5网络互连效果35 Fig.4.5Network interconnection effect35 图 4.6矿工漫游效果35 Fig.4.6Miner roaming effect35 图 4.7协同采煤效果36 Fig.4.7Synergistic mining effect36 图 4.8协同运煤效果37 Fig.4.8Cooperative coal transportation effect37 图 3.9刮板输送机运输效果39 图 4.9Transport effect of scraper conveyor39 Fig.4.10煤块掉落效果39 图 4.10Coal drop effect39 表清单 表序号表名称页码 表 2.1手势角度10 Table 2.1Gesture angle10 表 2.2静态手势姿态10 Table 2.2Static gesture posture10 表 2.3动态手势姿态12 Table 2.3Dynamic gesture posture12 表 2.4动态手势识别结果14 Table 2.4Dynamic gesture recognition results14 表 2.5运动逻辑判断17 Table 2.5Logical judgment of motion17 万方数据 III 变量注释表 变量变量注释注释初现页初现页 V当前手势运动速率，mm/s9 P掌心位移，cm9 i D滤波后当前帧数据9 i D本次采样值9 1i D上次滤波输出值9 i a平滑参数9 i T数据采集频率9 i 时间常数9 ci f截止频率9 distance指尖与掌心的距离，mm10 手指与手掌法向量角度10 i V手势瞬时速率11 K 手势位移向量11 S  位移向量和 y 轴负方向单位向量n夹角 11 ik a样本 i T第 k 维坐标13 jk b样本 j T第 k 维坐标13 p选取点所在类别出现频率13 O观测序列15 I状态序列15 概率模型参数15 tit 时刻隐含状态节点变量15 i t 时间 t 位于状态 i q的概率15 i t 时刻 t 状态为 i 的前向概率16 ijt ai时刻 t1 时状态为 i 的概率16 h采煤机高度18 A机身箱体厚度18 L摇臂长度18 B滚筒直径18 max a摇臂上升最大角度18 max b摇臂下降最大角度18  前立柱倾角19 前连杆倾角19  掩护梁倾角19 万方数据 山东科技大学硕士学位论文1 绪论 1 1 绪绪 论论 1 Introduction 1.1 研究背景和意义（Background and Significance） 1.1.1 研究背景 煤炭作为最廉价的能源，在全球的储量最多，分布最广，同时作为我国最主 要的能源，也是我们国家经济发展的重要产业。当前，我国加快速度进行能源转 型，大力发展清洁能源 [1]。但是，煤炭在我国能源消耗的占比仍然最重，煤炭行业 的发展关系国计和民生。在十九大报告中指出，煤炭行业应该加大科研力度，探 寻新技术的发展前景和变化特征，在此背景下，如何实现安全化、智能化是煤炭 行业今后发展的工作重点， 信息化、 网络化、 平台化将成为煤炭科学的发展方向 [2]。 为此，有关虚拟现实技术在煤矿领域的应用成为大家广泛关注的热点，用来模拟 矿井开采、矿井设备的虚拟设计和制造、矿业人员技术培训等，通过模拟建造较 为真实的矿山生产环境，添加设备运作、声音、粒子等特效，同时，按照真实的 设备运作方式，用户可对采煤设备进行虚拟控制，例如采煤机的前进、后退、加 速、减速等，方便了解设备运作情况，可适用于井下作业模拟和培训 [3]。智慧矿山 关于生产、职业健康安全、技术支持与后勤保障各系统的研究推进，相信在不远 的将来，能够实现只需通过电脑遥控采煤、手机监控生产 [4-6]。 但是，我国煤炭行业和其他领域相比，由于多种原因限制，在其虚拟现实技 术应用的研究还比较滞后。国外研发的一些采煤虚拟仿真系统比较昂贵而且不一 定适用于中国煤矿的实际情况，国内在煤矿开采过程中对于虚拟现实技术的应用 存在一些不足 [7]。首先，相关煤矿的虚拟仿真只注重于营造真实逼真的虚拟矿井环 境，只是对于生产环境的单纯模拟，而对于相关智能性问题的考虑欠佳 [8,9]。其次， 部分虚拟仿真场景中的设备是静态的、固定的，同时缺乏矿井工作人员的主动性 和实操性，没有体现出用户应具有的工作方式以及同虚拟环境的交互。最后，在 虚拟仿真中用户交互的方式多以鼠标、键盘为主，操作形式过于单一，而且只局 限于单人简单操控，缺乏手势操控的自然化、人性化，不能满足多人协同控制， 不满足多用户的使用请求，不符合实际的工作情况。 为了解决当前存在的种种问题，通过协同手势控制采煤场景虚拟仿真实现自 然交互、网络化操作，创新传统的采煤仿真系统和仿真控制方法，提高控制效率， 同时可以更好地开展相关技术培训和安全教育，使矿井工作人员和相关研发人员 更加熟悉采煤工作面的运作情况和工作原理 [10]。以往的采煤虚拟仿真主要通过借 万方数据 山东科技大学硕士学位论文1 绪论 2 助仿真软件对各采煤设备单机仿真，通过图形用户界面 GUI （Graphical User Interface）实现简单的操控交互，主要使用鼠标、键盘实现人机交互，约束和限制 用户的使用， 降低了体验度和操作的效率 [11,12]。 为了达到更直接、 自然的交互效果， 通过分析设计自然化、人性化的采煤设备控制手势，借助 Leap Motion 传感器使用 户摆脱传统的输入方式，通过手势就可以操控采煤设备，例如对于采煤机的前进、 后退只需要前后挥手的手势操作就可以实现，更方便学习、理解和操作 [13]。再者， 传统采煤虚拟仿真多是单人单机的使用操作，没有很好体现出各设备的协同运作 关系，利用 RPC 协议和状态同步策略实现场景的网络化以及多人联机协同控制虚 拟仿真，弥补了相关的技术和用户的需求 [14]。 1.1.2 研究意义 采煤场景协同手势控制虚拟仿真研究，通过借助虚拟现实技术、体感控制器 等辅助设备载体创建虚拟采煤仿真场景，并实现了采煤设备的手势操控和多人网 络协同操作仿真控制。 采煤虚拟仿真致力于还原真实采煤工作场景，完成三维建模，实现各设备的 虚拟展示和运动仿真，逼真地模拟采煤设备的协同工作过程，使得采煤工作面的 研究仅需要通过借助计算机等辅助设备就可以进行，避免现场实验引发操作事故 的发生，降低实验的成本，大幅提高实验的效率 [15]。通过对协同手势控制采煤仿 真的研究和实现，完成用户与虚拟场景交互功能，矿井工作人员借助可视化的交 互方法更容易牢记和理解工作操作的规程和相关的安全信息， 借助 VR 系统操作方 便，实施简单的优点，不仅可以改善传统的现场集体培训，而且为数字矿山虚拟 化、智能化设备生产的研究提供创新思路。 为了给用户带来更好地逼真性和沉浸感，将手势识别技术应用于采煤虚拟仿 真。通过分析研究各采煤设备的功能和运作情况，设计更贴近自然化的控制手势， 针对不同运动情况分别设计对应手势，借助传感器完成手势的识别和相应虚拟手 势交互的控制操作。 改变传统采煤虚拟仿真多为单人单机操作的方式，实现多人网络协同操作控 制，模拟复杂的采煤工作面情况。多用户联机的方式可以分别负责不同采煤设备， 共同完成采煤工作，方便观察和学习工作面的运作情况和配合方式，更符合实际 工作情况 [16]。 1.2 国内外研究现状（Research status at home and abroad） 随着虚拟现实技术的日新月异，其在煤矿领域起着举足轻重的作用 [17]。国外 虚拟现实技术在矿业领域主要应用于技术培训、预防灾害、评估风险等方面，美 万方数据 山东科技大学硕士学位论文1 绪论 3 国、德国、澳大利亚相关煤炭企业发展较快，在采煤智能化方面的研究取得了一 些显著性的成就。国外从事相关应用研究的主要有英国诺丁汉大学矿业应用研究 所 AIMS 、 美国宾西法尼亚州立大学采矿工程系等 [18]。 英国诺丁汉大学的 AIMS Solutions 公司研发的矿山 VR 模型， 利用虚拟现实技术研发了适用于不同采矿岗位 工作人员的培训系统 [19]，并被应用于南非一个金矿，用来培训矿工开采技术和安 全信息，避免工人开采过程中发生危险情况 [20]。在该培训系统中选取了频繁发生 安全事故的工作环境，分析当前环境主要危害，当培训者进入到虚拟环境中并且 存在危险情况，系统会自动显示可能引发的灾害画面，并进行相关危险的分析， 帮助培训者识别险情，提高危情处理能力，从而更好地减少各种矿井灾难的发生 [21]。美国宾西法尼亚大学研发的采煤设备培训系统，例如采煤机的使用、铲运机 的驾驶等，通过导入三维模型，添加真实的环境地形及相应地表文理，然后完成 相关采煤设备的创建，搭建采煤虚拟环境，用户可以通过使用鼠标、键盘、操作 杆等进行模拟设备的操作，并添加声音、动画效果 [22]。诺丁汉大学的 AIMS 公司 研发的 VROOM 软件动态获取矿山的风险评估 [23]，利用 VR 技术识别虚拟环境的 当前状态，实现对采矿环境动态的风险分析。采煤设备的设计制造同样可以借助 虚拟现实技术。由于采煤工作地下作业、作业空间狭小、环境较差，在实验室通 过借助虚拟现实技术完成各设备的设计工作，利用虚拟环境模拟就可以修改优化， 不必等样机投入使用后才能进一步完善，不仅节省了研发费用，而且缩短了研发 周期。采煤工作由于其工作的特殊性，安全事故频发，对于事故的模拟分析工作 也得到人们的广泛重视。利用虚拟仿真系统模拟各种事故的发生情况，利用不同 的方法分析事故发生的原因，包括一些环境因素、人为操控因素等，明确事故发 生的缘由，有效避免同类事故的发生 [24]。进入 21 世纪以来，国外煤矿开采始终坚 持追求更安全、更高效、更简单、更经济、更实用的目标，未来虚拟现实技术在 矿业领域的应用会取得更大成就。芬兰矿业宣布了智能开采方案，提出智能开采 的技术思路，包括远程操控、资源管理、自动控制技术等。加拿大拟定于 2050 年 实现无人矿井的建设，完成机械自动化采煤切割、破碎、运输等 [25]。 目前，在我国虚拟现实技术作为一种新兴技术，越来越得到了相当的重视， 引起各界人士的兴趣与关注，研究内容涉及各个领域，应用也越来越广泛。近年 来，虚拟现实技术的研究已经被列为重点攻关项目，国内众多研究机构取得了一 些不错的研究成果，应用在影视行业，成功建立以 VR 为主的第一现场 9DVR 体 验馆；教育行业打破传统的灌输知识的方式，打造逼真的学习环境，激发学生学 习兴趣；医学界也通过模拟人体的组织器官，完成虚拟手术的预演，帮助医生掌 握手术技巧，极大地提高了手术的成功率 [26]。同样，随着我国煤炭行业智能化建 造、智能化生产的推进，虚拟现实技术也被广泛应用，国内各大研究院和高校也 万方数据 山东科技大学硕士学位论文1 绪论 4 越发重视该方面的研究 [27]。国内虚拟现实技术被广泛应用于技术教学培训、工作 场景的模拟分析等方面，2014 年中国矿业大学的翟东寒、郑晓雯等人，利用 Pro/E 和 3Dmax 进行综采工作面仿真模拟，借助 Unity3D 完成交互设计，建立三维可视 化综采工作面仿真系，此系统可用于工人的学习培训，利用虚拟现实技术沉浸式 的体验特点，真实还原工作场景、设备运作，使培训者获得直观化、具体化的教 学信息，充分掌握突发事件的处理方法 [28]。2015 年太原理工大学在 VR 环境下， 以综采工作面为主要研究对象，建立真实运行状态的虚拟镜像，实现可靠、实时 的 VR 监测系统 [29]。采煤仿真虚拟现实系统的开发主要采用 3Dmax、Maya、 Unity3D、OSG 等软件实现，而 3Dmax 和 Unity3D 是最常用的绘图软件和跨平台 开发软件，特别是 Unity Technologies 公司开发的 Unity3D 帮助用户轻松创建可视 化建筑、实时三维动画等内容，利用交互的图形化开发环境，开发语言主要为 C、 Javascript 等较主流语音，具有操作简单、较容易上手，支持多平台发布、较高兼 容性等特点，成为当前虚拟现实开发性价比最高的软件之一 [30]。采煤仿真虚拟现 实系统的研究步骤主要为首先完成虚拟场景的三维建模，然后根据不同工作场景 的需求通过编制程序实现用户的人机交互。但是，由于国内虚拟现实技术在煤矿 领域的应用起步较晚，相关技术存在一些不足，用户使用缺乏自然化、直接化的 交互方式，各仿真系统多为单人单机使用模式，缺乏多人网络协同操作，等都为 本课题的研究提供了广阔的前景。 1.3 论文主要内容和组织结构（The main content and organizational structure of the thesis） 本文基于 Unity3D 虚拟开发引擎创建了采煤生产虚拟仿真场景；基于 LEAPMOTION 体感控制器，通过采煤设备的实际运转，进行协同手势控制虚拟仿 真研究，设计了手势交互方式，进行手势识别；多用户通过建立网络连接，各终 端手势控制不同采煤设备协同完成采煤工作，实现了在虚拟场景中多人协同操控 的实时交互漫游，并保持场景状态同步；提高了采煤设备的培训效率，提升了采 煤安全生产效能。 通过设置速度阈值对采集的手势数据进行有效性检测，使用低通滤波法和 L2 范式进行帧间平滑预处理以及数据归一化处理，提取 4 个维度的手势特征作为手 势识别特征集；采用模板匹配法进行静态手势识别，利用 K 近邻算法完成手势特 征匹配，并通过实验选取 K 最佳取值；利用 HMM 模型实现动态手势模型训练， 然后利用前向算法获取手势模型匹配概率，完成动态手势识别。多人多终端协同 手势控制采用 C/S 模式和授权服务器方案，利用 RPC 远程调用方式实现用户的远 万方数据 山东科技大学硕士学位论文1 绪论 5 程控制，根据设备的具体运作情况选用参数传递、序列化反序列化等方式完成场 景同步，实现多人多终端协同手势控制。 论文共分为五章，章节组织结构如下 第一章 绪论。以我国煤炭行业智能化、网络化、安全化的发展形式为切入点， 讲述采煤场景协同手势控制虚拟仿真研究的背景和意义，并对国内外虚拟现实技 术在煤矿领域的研究现状进行了介绍分析。 第二章 单人手势控制交互技术。本章重点叙述手势识别和手势控制采煤设备 的实现方法、算法流程以及实验效果。对静态和动态手势的识别、手势控制各采 煤设备运行的具体实现进行详细描述，并进行技术的总结分析。 第三章 多人多终端协同手势控制交互技术。本章重点介绍了网络协同模式和 虚拟场景网络化以及多人协同手势控制的实现。介绍了多用户网络连接的建立方 法、远程控制和场景同步的实现。 第四章 采煤场景协同手势控制虚拟仿真系统。本章介绍了系统的设计目标、 框架设计和系统开发的硬件、软件平台，并对系统功能及系统实现做了介绍。 第五章 总结与展望。对本系统进行了总结，分析了系统的优劣，并对系统的 发展与继续研究做出展望。 万方数据 山东科技大学硕士学位论文2 单人手势控制交互技术 6 2 单人手势控制交互技术单人手势控制交互技术 2 Single gesture interaction technology 手势交互通过利用计算机图形学等技术来识别人的肢体语言，并转化为命令 操控设备，是一种更自然的人机交互方式，降低了人与设备之间的沟通门槛，为 使用者带来了革命性体验和便捷 [31,32]。 手势交互技术越来越多的运用到虚拟现实系 统中，如通过手势操控智能家居环境、车载电子设备、互动游戏等，与其他交互 方式相比对环境要求较低，简单易学，语义易懂。所以本系统选用目前较为成熟 的手势识别技术进行相关研究，实现用户与虚拟仿真系统的交互，通过分析设计 和识别简单的手势动作来控制采煤机、液压支架、铲运机等的运作 [33]。 2.1 手势识别（Gesture recognition） 手势交互系统主要有 4 部分人、手势输入设备、手势分析及识别方法、被 操作的设备或界面。 其中，手势输入设备早期以穿戴手套为主，但是使用起来比较累赘，之后多 采用摄像头作为输入设备，既不需要用户接触实体设备，而且更便于分析手势的 3D 运动轨迹，本系统选用的 Leap Motion 传感器通过两个内置摄像头从不同角度 捕捉画面，重建手掌的运动信息，用来完成手势数据的采集 [34-36]。 通过手势输入设备获取手势数据后，对手势进行分析及识别的方法有多种， 常用方法有 模板匹配法、 神经网络法和隐马尔可夫模型法 （Hidden Markov Model， HMM）等 [37]。手势一般分为静态手势和动态手势，静态手势为某一时间的手势特 征，常用的识别方法为模板匹配法，是将手势转化成一组图像序列，待识别手势 模板和已存手势模板进行比较，将其判断为最接近的所属类别，从而完成识别； 动态手势为一段时间的一系列手势动作，常用的识别方法为神经网络法和隐马尔 可夫模型法（HMM），神经网络法是通过循环学习某种学习准则不断提高识别率， 自适应的学习识别方法，但是计算量大，识别效果不佳，HMM 模型法是基于统计 概率的识别方法，将手势动作按照某种特定顺序进行排列，识别精度较高 [38,39]。本 文单人手势交互中手势识别利用 Leap Motion 传感器采集手势信息，静态、动态手 势分别选用基于模板匹配法和 HMM 模型识别方法，流程图如下 万方数据 山东科技大学硕士学位论文2 单人手势控制交互技术 7 图 2.1 手势控制交互流程图 Fig.2.1 Flow chart of clearing control interaction 2.1.1 手势数据采集 系统原始手势数据的采集由 Leap Motion 传感器完成，Leap Motion 利用光学 感测双目立体视觉原理 [40]，把追踪到的数据保存在帧对象（Frame）中，每秒大约 有 200 帧，每个帧对象包含了视野中检测到