煤矿井下机车无人驾驶系统关键技术.pdf

第 45 卷第 6 期煤 炭 学 报Vol. 45 No. 6 2020 年6 月JOURNAL OF CHINA COAL SOCIETYJun. 2020 移动阅读 韩江洪,卫星,陆阳,等. 煤矿井下机车无人驾驶系统关键技术[J]. 煤炭学报,2020,4562104-2115. doi10. 13225/ j. cnki. jccs. ZN20. 0343 HAN Jianghong,WEI Xing,LU Yang,et al. Driverless technology of underground locomotive in coal mine[J]. Journal of China Coal Society,2020,4562104-2115. doi10. 13225/ j. cnki. jccs. ZN20. 0343 煤矿井下机车无人驾驶系统关键技术 韩江洪1,2,卫 星1,2,陆 阳1,2,魏 臻1,3,程运安1,3,程 磊1,3 1. 合肥工业大学 计算机与信息学院,安徽 合肥 230601; 2. 安全关键工业测控技术教育部工程研究中心,安徽 合肥 230009; 3. 合肥工大高科 信息科技股份有限公司,安徽 合肥 230088 摘 要煤矿井下机车无人驾驶系统的研发和运行,有助于降低因调度、操作失误而发生运输事故 的概率并且能够减少井下作业人员的数量。 与技术日趋成熟的地面汽车无人驾驶、铁路无人驾驶 不同,在井下环境实施机车无人驾驶存在诸多新的挑战例如运输大巷人车共用、巷道狭窄、光照条 件不均匀,无法利用卫星定位系统,缺乏有效的通信手段等。 从实现井下无人驾驶机车系统的关键 问题分析入手,综述了其技术研究进展。 ① 提出了基于信息网络与控制网络无缝结合的井下无人 驾驶机车系统架构,以确保列车调度智能化、机车操控与状态采集自动化、运输监控中心与调度中 心一体化,并且兼容远程遥控、自主运行等无人驾驶模式;② 给出智能调度的概念,即无人驾驶系 统应当在运输调度智能化的基础上实现,有效促进两个系统间的资源共享、功能协同;③ 详细比较 分析了井下封闭环境定位技术,指出超宽带UWB能够有效应对亚米级的机车高精度无线定位且 鲁棒性和稳定性方面性能优良,能够满足井下机车无人驾驶对定位精度的要求;④ 阐述了适用于 井下无人驾驶的数据通信网络覆盖,重点根据实际的工程经验给出接入 WLAN 网络需要满足的性 能指标,分析了 5G 新型通信网络即将带来的井下无人驾驶应用突破;⑤ 在机器视觉用于路况分析 方面,探讨了基于轨道模型和基于图像特征的轨道线检测算法、基于深度学习神经网络的目标检测 算法、基于双目测量和单目测量的目标距离估计算法、深度学习网络的轻量化技术。 最后,展望了 该领域的技术发展与应用前景。 关键词煤矿智能化;无人驾驶机车;超宽带定位;智能调度;机器视觉;深度学习 中图分类号TP393 文献标志码A 文章编号0253-9993202006-2104-12 收稿日期2020-03-07 修回日期2020-04-07 责任编辑陶 赛 基金项目国家重点研发计划专项资助项目2018YFC0604404;安徽省重点研发计划资助项目201904d07020008 作者简介韩江洪1954,男,安徽庐江人,教授,博士生导师。 Tel0551-62901397,E-mailhanjh hfut． edu． cn 通讯作者卫 星1980,男,安徽合肥人,副教授,硕士生导师,博士。 Tel0551-62901397,E-mailweixing hfut． edu． cn Driverless technology of underground locomotive in coal mine HAN Jianghong1,2,WEI Xing1,2,LU Yang1,2,WEI Zhen1,3,CHENG Yun’an1,3,CHENG Lei1,3 1. School of Computer and Ination,Hefei University of Technology,Hefei 230601,China; 2. Engineering Research Center of Safety Critical Industry Measure and Control Technology,Ministry of Education,Hefei 230009,China; 3. Hefei Gongda Gaoke Ination Science driverless locomotive;ultra wide band positioning;intelligent dis-patching; machine vision;deep learning 矿井轨道机车运输是井下大巷运输的主要方式 之一,承担着井下煤炭和物料的运输任务也有矿井 仅用来运送物料。 井下操作环境差和技术保障手 段缺乏导致轨道机车运输事故频发,井下机车的无人 驾驶不仅可以减人增效,同时由于减少井下人员的数 量,从而减少各种矿井事故导致的人员伤亡,具有巨 大的经济效益和社会效益[1-2]。 因此,作为煤矿智能 化的组成部分,矿井机车无人驾驶系统的研发和使 用,正受到高度关注。 与技术日趋成熟的地面汽车无人驾驶、铁路无人 驾驶不同,在井下环境实施机车无人驾驶存在诸多新 的挑战① 运输大巷人车共用,巷道狭窄,行人道离 轨道很近,界内界外区分困难;② 巷道弯道、遮挡多, 轨道环境差,光照条件不均匀;③ 井下无法利用卫星 定位系统给机车定位;④ 由于巷壁的阻隔、吸收、反 射效应,射频信号传输困难;⑤ 区间长度短,运行速 度慢,物料装卸与列车编组占比大,运行复杂;⑥ 整 个系统必须遵循“故障-安全”的设计原则,在发生故 障或意外情况时最大可能地导向安全状态。 同时,相比较于冶金和有色矿山,煤矿所有井下 设备均需考虑防爆问题,所有下井设备和系统都要经 过防爆审查,取得防爆合格证,这也增加了技术和实 现难度。 因此,煤矿井下机车无人驾驶系统的实现,需要 独特的结构框架和技术路线。 1 系统架构 要实现无人驾驶机车在井下轨道的安全行驶,自 动完成煤炭和物料的运输任务,需要对机车进行自动 化改造,还需要在轨道大巷和调度中心增添相关设 施,以实现系统的各项功能。 1列车调度智能化。 列车的自动运行应当在智能调度的基础上进行, 由调度系统明确运输任务,排好运行进路,确认前方 区间空闲,搬动道岔到位,开放区间信号,列车才能进 入运行。 列车在运行中,还需将自己的位置、状态信 息报告调度系统或者由调度系统测得列车的位置、 状态信息,以便调度系统准备下一进路。 这样才能 保证整个运输系统高效、安全地运行。 2机车路况判别智能化。 通常井下轨道运输大巷是人车共用的,不像地面 铁路和城市地铁的路轨区域是封闭的,这就使得机车 在听从信号的前提下,运行过程中还必须时时确认前 方路轨上没有人员及各种障碍物,以确保安全运行。 这需要通过激光雷达、图像识别等机器视觉技术来实 现。 3机车操控与状态采集自动化。 机车的无人驾驶意味着机车的启停、制动、驻车、 5012 煤 炭 学 报 2020 年第 45 卷 鸣笛和灯光的自动化,通过驱动电机的功率、温度等 判断机车工作状态和负载状态,根据需要将载荷不同 的列车停在指定位置。 同时还要精确地测定自己的 速度和位置,把这些数据上报给监控中心。 这些功能 的实现在技术上没有太大困难。 4运输监控中心与调度中心的一体化。 为了掌握各机车的运行状况,在必要时进行远程 人工干预或调派人员进行现场干预,需要设立监控中 心,设置主控工作站和路况、车况显示屏。 考虑到运 输调度与机车运行的密切相关性,也从节约人员、场 地和投资的角度,可以把运输监控中心与运输调度中 心一同设在地面机房,实现二者的一体化。 5运输大巷移动通信网络的覆盖。 列车在自动运行过程中,必须同调度系统交换运 行指令和状态数据;在意外停车需要人工干预时,需 要及时上报现场状况;在列车编组或装、卸物料时,由 于需要配合其他作业机动运行,往往临时改由人工控 制可以是车上驾驶、现场遥控或远程遥控;为全面 掌控系统运行状况,还希望在运输监控中心显示每辆 机车的实时状况数据和前方路况画面。 这些都依靠 机车与监控中心的数据通信。 因此,覆盖轨道运输大 巷的移动通信网络是系统高效运行的基础。 为了适应井下大巷运输复杂多变的运输状况,机 车应当具有灵活可变的运行模式① 人工驾驶。 作 为传统的机车运行模式,车上人工驾驶依然保留,以 便在必要时能提供基本的运输功能。 ② 现场遥控。 在装卸物料或列车编组过程中,常需要机车配合少量 移位,由于机车上没有司机,这可以由放料人员或编 组人员通过现场目视,运用便携的无线遥控器操纵机 车低速移动。 ③ 远程遥控。 操作人员在调度中心的 遥控操作台上,观看安装在机车和巷壁上的摄像头通 过网络传上来的现场图像,远距离操纵机车装卸料及 运行。 这种模式技术门槛略低,可以实现机车上现场 “无人”,改善驾驶人员的工作环境和劳动强度,具有 一定的实用意义。 ④ 自主运行。 这是真正意义上的 无人驾驶,机车通过移动通信网络接受调度中心发来 的行车指令,运用机器视觉判断前方轨道安全状况, 自主行车,完成两地之间的运输任务。 但受技术手段 的限制,难以在装卸料通过卸煤坑卸煤除外和列 车编组等需要同其他作业密切配合的场合应用。 井下电机车的 4 种驾驶模式设置如图 1 所示,人 工驾驶与无人驾驶模式之间的切换由设在机车上的 转换开关实现,以保证人控优先等原则。 3 种无人驾 驶模式之间的切换则经主控工作站授权,由操作台或 遥控器的开关、智能机车的响应来决定。 图 1 井下机车驾驶模式分类 Fig． 1 Driving mode classification of underground locomotive 国外由于其煤矿采掘的特点,主要集中于浅层煤 矿开展无人驾驶车辆的研究与工程化[3-5],例如 2004 年瑞典山特维克集团开始井下远程遥控运输卡车研 发,2016 年沃尔沃集团进行无人运输卡车的煤矿测 试等。 现阶段我国煤矿中投入试验运行的无人驾驶 模式主要是地面远程遥控,例如淮北矿业集团桃园煤 矿、新集能源新集二矿、山东能源亭南煤矿等。 在这 种模式下,机车上安装多个摄像头获得机器视频信 息,经无线接入网和固定基础网将视频流数据上传地 面调度室,远程操作人员根据上传的视频信息进行遥 控驾驶操作。 自主无人驾驶模式将实现完全由机器根据井下 现场的状况、作业任务要求、机车位置/ 状态、控制联 锁条件等进行综合决策,实时自动驾驶控制,在一般 情况下驾驶过程无需人工干预,是井下机车无人驾驶 发展的高级阶段。 自主无人驾驶模式需要较为强大 的计算能力支撑机器视觉信息处理,是人工智能与煤 矿运输的深度结合应用,相关理论、技术尚处于不断 的发展过程中。 井下机车无人驾驶系统的整体架构如图 2 所示。 系统由自控机车、轨旁设备、监控中心和通信网络几 部分组成。 1自控机车装有机车控制器,能够控制机车进 退方向和运行速度,实现制动和驻车,还能实现灯光、 鸣笛、升降导电弓等设施控制;通过安装在车身的各 种传感器检测驱动电机的电流、温度,机车的速度、位 置。 自控机车还装有路况分析器,通过分析车载摄像 头采集的路况图像向机车控制器发出鸣笛、减速、制 动等行车指令,保障安全行车。 此外,自控机车还装 有无线移动终端,通过网络接收监控中心行车指令, 上报状态信息,同时传送机车的路况图像到监控中心 供遥控驾驶用。 在人工驾驶模式下,机车控制器接收 机车操作台行车指令;在遥控驾驶模式下,接收网络 下发的行车指令;在自主运行模式下,综合网络和路 况分析器的行车指令。 2轨旁设备包括运输调度系统的井下现场分 站及其管理的转辙机、信号机;通信系统的网关、无线 基站;检测机车位置的计轴器、信标应答器等传感器。 6012 第 6 期韩江洪等煤矿井下机车无人驾驶系统关键技术 图 2 井下机车无人驾驶系统架构 Fig． 2 General system structure of driverless system for underground locomotive 3监控中心实施运输调度和行车监控,包括负 责运输调度的调度服务器和调度工作站、监控机车运 行状况的主控工作站、保存机车路况图像和行车数据 的流媒体服务器、远程遥控驾驶机车的遥控操作台。 4通信网络由监控中心的局域网、运输大巷的 通信网主干层和连通机车移动终端的无线接入层组 成,建立从监控中心到轨旁设备、自控机车的数据通 道,承担传送各种指令、状态信息和图像数据的任务。 系统大部分设备可以设计成为本质安全型,少量 设备只能是隔爆兼本安型主要是电源箱,矿用电 机车仍保持原有防爆型式。 所有下井设备和系统都 要经过防爆审查,取得相关证件。 井下机车无人驾驶是一套较为复杂的智能化系 统,需要运用多种近年发展的新技术,现对几项关键 技术略作探讨。 2 智能调度 煤矿井下轨道运输调度的智能化能够有效地提 高运输效率、减少运输事故,国内相关研究与实践起 始于 20 世纪 80 年代末期,在当时基于传统机电技术 的“信号、集中、闭塞”系统在井下防爆环境长距离控 制难以稳定运行的背景下,合肥工业大学与淮南矿务 局潘集一矿合作,用通信线路将地面调度室的主控计 算机和分散在运输大巷各处的井下现场分站联系起 来,实现对轨旁各信号设备的集散控制[6],在此基础 上建立模型、设计算法,实现运输任务编排、轨道区间 闭锁和列车进路开放的自动化和智能化[7]。 依托这 套系统,工程人员只要规划好各运输任务的行驶路 线,给出沿线各测控设备状态,完成系统配置;运行时 调度员给各机车分配好运输任务,系统就能根据路轨 区间占用情况,适时搬动道岔、开放信号,调度列车完 成运输任务。 近年,中国矿业大学等高校和科研单位 也进行过相关系统的研究与实践[8-10]。 这些系统在 国内大中型煤矿得到较大程度的推广,这也使得列车 行驶无人化有了较好的基础。 煤矿井下无人驾驶系统应当在运输调度智能化 的基础上实现,这样不仅可以更大程度地减少人工介 入,提高井下运输生产的稳定性、安全性,而且无人驾 驶系统与智能调度系统的资源共享、协同工作,还可 以消除信息孤岛,增强系统功能,降低技术难度,减少 建维成本。 2 个系统都需要覆盖所有轨道运输大巷的数据 通信网络。 运输调度系统主要是轨旁测控设备的有 线固定接入方式,传送的是操控指令和状态信息,数 据量不大;无人驾驶系统主要是机车的无线移动接入 方式,传送内容以视频图像为主,数据量较大。 二者 7012 煤 炭 学 报 2020 年第 45 卷 完全可以共用同一沿运输大巷布设的主干网络,这将 大大减少系统投资和维护成本。 常规运输调度系统是通过信号机向司机发出行 车指令,无人驾驶机车如果通过辨识信号机颜色来识 别行车指令势必增加系统复杂度和出错概率,因而更 希望行车指令通过通信网络直接发送给机车遥控 模式时还要发给遥控操作台。 另外调度系统在给 出行车指令时如能同时给出进路长度、载荷性质等辅 助信息,也将有助于自动驾驶的安全、平稳。 这些都 要求运输调度系统开放数据接口并送出相关信息。 由于技术手段限制,常规运输调度系统是通过计 轴器或者无线收/ 发信装置等车位传感器来检测列车 是否进入区间,为信号开闭和道岔控制提供联锁条 件,但无法掌握列车在区间内的具体位置[11]。 无人 驾驶机车向调度系统报告自身当前准确位置,将有助 于提高调度效率。 综上所述,运输调度的智能化是机车驾驶无人化 的基础,两套系统资源共享、信息互通会带来很大的 经济和技术优势。 随着技术的发展和成熟,集二者为 一体的井下轨道运输智能系统将是必然趋势。 3 精确定位 井下机车在无人驾驶过程中,需要随时掌握自身 位置,精度要达到亚米级,以便在弯道前减速、鸣笛, 在进路终点准确停车,并提供位置信息给监控中心。 由于井下大巷环境的封闭性,无法使用 GPS、北 斗等开放空间的精确定位技术,只能借鉴室内定位方 法。 主流定位技术可以分为两大类,一类是借助位置 的某种稳定特征与已知信息比对来判断,如图像、地 磁、射频指纹等,这类方法前期采集工作量大,精度不 够稳定,不适合在机车上应用;另一类是通过测量目 标与已知固定参考点的距离或角度,推算出目标的相 对位置,这类方法技术手段多,结果确定,其中测量某 种媒介如声、光、无线电波等在目标与参考点之间 传输时间从而得到传输距离的方法相对易于实现,得 到广泛应用。 这类方法需要在运行场所布置一定数 量的固定参考点定位信标,井下机车运行范围确 定,布置较为方便。 同时,由于机车是在运输大巷的 轨道上行驶的,只需对其在轨道线上的一维空间进行 定位,就能确定机车位置,这也降低了实现难度。 可 以在进路起点信号灯处安装定位信标,机车在驶近时 标定自身位置称为对标,然后借助车轮计数器测 得行驶距离,获得任意时刻机车在进路中的精确位 置。 室内定位和测距可以采用多种技术,所适用的环 境和范围有很大区别。 表 1 列出了主要的室内定位 技术的一些适用性差异[12-16]。 考虑到井下机车无人 驾驶系统的作业特点,从检测精度、通信距离、部署的 难易程度、应用成本等多方面考虑,UWBUltra Wide Band,超宽带无线定位技术具有较大竞争力。 随着 近年来井下移动目标各类监测监控系统的建设发展, UWB 无线精确定位技术已逐步获得广泛的应用。 表 1 主要的室内定位测距技术比较 Table 1 Comparison of main indoor positioning technologies 技术精度/ m成本传输距离/ m抗干扰连续定位功耗稳定性部署难易程度 蓝牙BLE1低100较弱是较低一般,频段易受干扰一般,高密度定位信标部署 UWB0． 1 0． 3高250强是低较好较难 RFID1 5低5弱否极低较好,但有距离限制较难,标签体积小,通信能力弱 红外5高15弱否高一般,易受灯光干扰较难 超声波1高10强是高较好,但有距离限制 较难,需要高密度部署定位 信标、多径效应、衰减明显 LED1低20较强是高较好,但有距离限制一般,利用灯具作为定位信标部署 ZigBee3低75弱是低较差,易受环境干扰一般 WiFi3低50较强是高 较差,共用 AP 定位,信号不稳 定;不同设备信号强度不统一 容易,共享 WiFi AP 激光0． 1高300强是较高较好,但受限于视野范围较难 UWB 无线通信技术是 20 世纪 90 年代发展起来 的,最早主要应用于无线数据通信领域,由美国国防 部高级研究计划署DARPA于 1989 年定义,当时规 定超 宽 带 信 号 为 - 20 dB 相 对 带 宽 大 于 25, 或-20 dB 绝对带宽大于 500 MHz 的无线电信号。 2002 年,美国联邦通信委员会FCC批准超宽带技 术进入民用领域,并对超宽带进行了重新定义,规定 无论是无载波、单载波或多载波形式,也不限具体的 8012 第 6 期韩江洪等煤矿井下机车无人驾驶系统关键技术 调制方式,只要-10 dB 相对带宽大于 20 或-10 dB 绝对带宽大于 500 MHz 的无线电信号均可称为超宽 带信号[17]。 早期的 UWB 超宽带技术主要是在数据通信领 域得到了广泛应用。 2012 年爱尔兰的 DecaWave 公 司推出了一款可用于室内高精度测距、定位的 UWB 信号收发芯片 DW1000,在尺寸、价格、功耗、功能等 方 面 都 取 得 了 很 大 的 优 势, 并 且 符 合 IEEE 802． 15． 42011 标准,获得了大规模的推广应用,极 大地促进了室内无线定位技术的发展[18-19]。 以 DW1000 为例,通过 UWB 芯片测量记录定位 信标与目标标签之间无线信号精确的传输时长,计算 信标与目标之间的距离,获取目标的位置[20-22]。 基于 DW1000 的 UWB 井下无线精确定位系统, 依据参数设置的不同,经过多次测距完成一次定位所 需的时间周期大约在 5 30 ms。 在定位区域内如果存在多个目标,需要采用分时 技术。 多目标的分时定位协议涉及目标标签与定位 信标之间的时间同步问题。 4 数据通信 自控机车在运行过程中需要上传高清路况图像 供遥控驾驶和监控、保存,需要上报机车状况并接收 行车指令,这些数据经由车载终端通过设在大巷的无 线基站接入大巷光纤骨干网连通监控中心,机车运行 时需要在相邻无线 APAccess Point,接入点,即通信 基站之间切换;轨旁设备的测控信息和关键路段的 监控图像也要接入大巷光纤骨干网。 实时遥控驾驶 对图像的质量和时延提出了较高要求,所以构建高质 量井下宽带无线移动通信网络是井下机车无人驾驶 系统实施的技术关键之一[23]。 考虑到安全性、实时性,支持煤矿井下机车无人 驾驶系统的通信网络需要满足以下技术指标 1 考虑一台自控机车传送一路高清视频图 像行车指令和机车状态数据量很小,可以忽略不 计,机车移动终端数据带宽≥20 Mbps; 2单台无线 AP 附近最多有 3 台机车运行,则 AP 要容许 3 台以上终端同时接入,接入能力≥ 60 Mbps; 3在最高车速≤5 m/ s 的条件下,机车终端要 能在相邻 AP 之间平滑切换,切换时间≤ 200 ms; 4系统支持的机车数量≥10 台,考虑关键路 段、 装 卸 载 站 的 视 频 图 像 接 入, 主 干 网 带 宽≥1 000 Mbps; 5移动端流数据上行至地面调度室及控制 指令下行的通信时延≤500 ms,网络丢包率≤1。 4． 1 井下 WLAN 现阶段,井下无线宽带移动通信大多采用 WLAN 架构,其新一代高速无线局域网标准是 802． 11 n,该 标准使用了 MIMOMultiple- Multiple-Output, 多输入多输出和 OFDMOrthogonal Frequency Divi- sion Multiplexing,正交频分复用技术,最大理论速率 可达600 Mbps,相比传统的802． 11a/ b/ g 标准通信速 率大大提升。 此外,该标准可以工作在2． 4 GHz 频段 或者 5． 2 GHz 频段,兼容 802． 11 a/ b/ g 标准[24-25]。 图 2 中的井下机车无人驾驶数据通信网络 是 WLAN 架构,由核心骨干层及无线接入层组成。 核心骨干层是千兆光纤环网,能够实现 500 ms 内的 业务快速恢复和收敛,为各项业务提供全面的端到端 的服务质量保证。 轨旁无线接入层包括轻量级无线 网络接入点瘦 AP和无线 LAN 控制器WLC,具 有部署灵活、管理方便的特点,轨旁 AP 通过主干交 换机接入光纤环网,为机车等移动终端提供百兆宽带 接入服务。 在机车的头部和尾部分别布置移动终端, 使得机车在任何位置能同时接收到至少两个无线 AP 的信号,增强对轨旁 AP 故障及信号衰落的容错能 力。 在系统布置中,还需根据现场工程勘测、频点规 划、特殊区域弯道、岔道的布点方案等进行 AP 优 化部署,轨旁 AP 天线宜采用定向天线分集部署。 4． 2 5G 移动通信技术应用 第五代移动通信5th generation wireless systems 是目前最先进的蜂窝移动通信技术,可以提供超大容 量、超可靠、超低时延的各类信息传输的统一通信平 台。 采用 5G 移动通信的井下机车无人驾驶系统能 够匹配超万兆网络的地面集中式远程云计算平台,或 者基于边缘计算Mobile Edge Computing,MEC架构 的大容量分布式计算平台,这类高能计算平台的加入 使系统的运算能力得到极大提升,响应也更为快捷, 这将大幅优化机车无人驾驶系统的性能和可靠性 1采用远程遥控驾驶模式时,监控中心的操作 人员获得井下画面、发出控制命令的实时性大幅提 高,远程遥控更为敏捷; 2采用自主运行模式时,以极低延时将井下机 车路况视频信息流及其他传感数据流实时上传地面 调度中心,运用高能计算平台进行大数据支持下的高 强度智能计算,实现机器视觉和决策控制,提升机车 无人驾驶的可靠性与适应性; 3为井下移动 MEC 系统架构提供移动端的无 线通信服务,将计算存储能力与业务服务能力向网络 9012 煤 炭 学 报 2020 年第 45 卷 边缘迁移,建立井下机车无人驾驶的分布式深度计算 环境与协同调度机制[26]。 5 路况识别 在无人驾驶的自主运行模式下,路况分析器承担 着路况的视觉感知作用,运用机器视觉将摄像机拍摄 到的前方轨道路况画面进行实时解析,获取障碍物目 标的有无和距离信息,判断其对行车的影响,传递给 机车控制器完成鸣笛、减速、制动等操作。 采用机器 视觉进行路况识别时,对于安全路况的判定准则不是 “发现符合已知的危险状况即停车”,而是“发现不符 合已知的安全状况即停车”,这样可以最大程度地保 证行车安全。 路况分析的一般过程为① 对路况图像进行预 处理,包括图像去抖和图像增强;② 进行车轨线识 别;③ 根据车轨线,对路况场景进行区域划分,将其 分为警戒区、预警区和安全区;④ 在警戒区和预警区 中进行障碍物识别,这里的障碍物包括行人和一切影 响行车安全的物件、材料;⑤ 对识别出的障碍物进行 距离测算;⑥ 将路况识别的结果,即障碍物类型、所 处区域及距离参数发给机车控制器。 区域类型的划分如图 3 所示,a 处于安全区域 内,行车通过无影响;b 处于预警区域内,需鸣笛示 警;c 处于警戒区域,应立即停车。 图 3 井下轨道区域划分示意 Fig． 3 Machine vision task of underground locomotive 路况分析算法复杂,运算量大,是人工智能的典 型应用领域,相关算法正在快速发展;其作为车载嵌 入式应用,计算平台也受到关注。 5． 1 轨道线检测算法 传统的轨道检测主要分为基于轨道模型的方式 和基于图像特征的方式。 基于轨道模型的检测方法[27-28],原理是将轨道 检测问题转换为求解轨道模型参数问题,根据局部范 围内的轨道形态采用分段直线、抛物线、双曲线以及 样条曲线等描述模型来实现对轨道的拟合,其关键在 于选取合适的轨道模型以获取准确的轨道描述。 主 流的求解模型参数的方法有 Hough 变换、RANSAC 算 法和最小二乘法等。 该类方法往往不能适应多种路 况场景,且轨道的形状变化多样,难以用直线模型进 行拟合,算法缺乏任意轨道形状的鲁棒性和灵活性; 若采用抛物线、样条曲线等进行检测则算法过于复 杂,计算量较大。 基于图像特征的轨道检测技术[29-30],原理是利 用边缘、纹理、颜色、几何形状和灰度值等特征信息, 与轨道周边环境区分开来,从而提取出轨道区域并获 取轨道在图像中的具体位置信息。 由于过度依赖图 像底层特征,若轨道表面光照变化较为明显,或轨道 被积水、矿物等物体掩盖的情况下,则不能有效去除 周围环境因素等的干扰,为后续工作带来了较大的挑 战从而影响到轨道的最终检测效果。 基于深度学习的轨道检测算法首先构建神经网 络模型,然后运用标记样本对模型进行训练,从海量 数据中自动提取轨道特征从而获得较高的准确率和 效率,一些学者进行了有益的探索。 韩江洪等提出了 适用于井下轨道检测的深度学习空间卷积神经网 络[31],实现了轨道像素级别的实例分割,进一步满足 了轨道检测在高分辨率下的实时应用。 LI 等提出一 种结合多尺度信息的条件生成对抗网络轨道线检测 算法[32],解决了传统图像处理算法在井下轨道检测 的准确性低与细腻度差的问题。 该类方法不需要手 工设计和组合复杂特征,仅通过训练数据自动获取目 标的高级语义信息,能够适应恶劣环境下的轨道场 景,是井下轨道检测技术未来发展趋势。 0112 第 6 期韩江洪等煤矿井下机车无人驾驶系统关键技术 5． 2 目标检测算法 目标检测,即准确迅速拾取场景视频图片中的多 个目标位置坐标及其类别,是广为研究的图像分 类任务的升级。 井下目标检测主要以典型的行人检 测展开。 自 20 世纪 90 年代中期至 21 世纪初期,研究人 员使用“图像获取特征提取模式分类”这一经典 模式识别框架进行行人检测,同时致力于寻找更为有 效的检测方法[33-34]。 表 2 总结归纳了主流目标检测网络,即深层目标 检测卷积神经网络。 其中两阶段网络是指检测步骤 分为区域生成和对生成的候选区域进行分类和回归 这两步;单阶段网络则是指直接生成候选区域并对候 选区域进行分类回归操作;混合网络是指兼有两者的 特质。 现阶段的井下目标检测工作主要是以行人为代 表的深度学习目标检测网络改进、自行采集与标注数 据集的训练与验证[47-51]。 表 2 深度学习目标检测网络比较 Table 2 Comparison of deep learning based target detection networks 名称年份方式主干网络结构特点与贡献数据集性能指标评价 RCNN2013[35]两阶段 依托分类网络 ALex- Net 滑动窗口生成 2K 候选区 域,构造 SVM 分类器 ILSVRC 训练分多步、时间内 存消耗大 SPP2013[36]两阶段 依托分类网络 ALex- Net 提出空间金字塔变换思想PASCAL VOC 训练分多步、不能端 到端训练 Fast-RCNN2015[37]两阶段 依托分类网络 ALex- Net 提 出 ROI - Pooling, 使 用 softmax 代替 SVM ILSVRC 20XX,PAS- CAL VOC 效果提升明显,但候 选区域生成耗时太 多 Faster-RCNN2015[38]两阶段 依 托 分 类 网 络 VGG16-16 首次提出候选区域建议网 络 RPN,首次提出 anchor 机 制, PASCAL VOC anchor 思 想 被 许 多 之后的网络采用 R-FCN2016[39]两阶段 依托 ResNet-101 网 络 Conv 之前的网络 修改 提出位置敏感 ROI稀疏的 候选区域池化 PASCAL VOC 采用了全卷积网络、 改善了两阶段网络 的速度 Yolov12016[40]单阶段依托 GoogleNet增强 anchor 机制PASCAL VOC 速度提升显著,泛化 能力弱 SSD2016[41]单阶段 依托 VGG16 网络为 基础进行修改 提出多尺度特征映射、Hard Negative Mining 技术,使用 了 2 种数据增强 VOC 和 COCO 数据 集 增强了对小目标的 检测能力 Yolov22017[42]单阶段 提出网络结构 Dark- Net-19 在网络每层输入都增添了 Batch Normalization 层,采用 了 K-means 聚类估计的方 法估计了 anchor 的大小比 例 VOC 和 COCO 数据 集 速度提升显著 FPN2017[43]混合ResNet 自下而上的卷积神经网络, 自上而下过程和特征与特 征之间的侧边连接。 COCO trainval35k 提高了对物体的检 测性能尤其是小物 体的检测 RetinaNet2017[44]单阶段ResNet 一个主网络加上两个子网 络所构成,主网络用于对特 征进行卷积,两个自网络分 别用于进行分类与位置的 回归。 COCO trainval35k 利用 Focal Loss 解决 了目标检测中类别 不平衡的问题 Yolov32018[45]单阶段 darknet- 53 网 络结 构 主网络采用残差连接机制, 并利用特征金字塔连接不 同尺寸的特征图,最后采用 bounding box 改进了 anchor COCO trainval35k快速和高效兼顾 RefineDet2018[46]混合 在 SSD 网络的基础 上进行了修改,主干 网络依然是 VGG 网 络 采 用 了 transfer connection blockTCB 模块对特征进 行了传递 VOC 和 COCO 数据 集 速度和 SSD 相近,精 度明显更高 1112 煤 炭 学 报 2020 年第 45 卷 5． 3 目标距离算法 经典的基于机器视觉的距离测量方法主要分两 种基于双目的距离测量和基于单目的距离测量。 包括井下场景在内的大多数基于计算机视觉的 深度估计方法都是依靠双目视觉实现的。 利用两台 摄像头模拟人的双眼,通过二者图像的差异去计算图 像的深度信息;一般过程为先对双目摄像头进行标定 得到内/ 外参数矩阵,其次进行畸变立体校正,目的是 为了对左右图像进行重投影,使它们精准地落在同一 平面。 然后对校正后的左右图像进行匹配计算得到 视差图图 4。 最后利用视差图、摄像机内/ 外参数 与深度信息之间的函数关系计算得到目标场景深度 数据[52]。 图 4 井下行人目标检测与轨道识别 Fig． 4 Pedestrian detection and track recognition in underground mine 单目视觉的目标测距,常用的是离线定标法,先 将相机进行标定以获取相机的内外参数,再通过坐标 系转换和几何变换求解目标实际距离。 由于图像中 不包含目标的深度信息,一般利用一些先验知识对目 标进行一定约束,然后根据目标在图像中的位置或尺 寸进行距离估计[53]。 单目测距精度通常要低于双目测距,利用轨道本 身是两根确定距离的平行线,并且轨道地平起伏不会 太大这样的先验知识,能大大提高单目视觉对轨道上 障碍物的距离测定精度,满足机车自主运行的需要。 近年一些学者运用卷积神经网络开展基于深度 学习的距离估计研究,取得了较好的效果[54-55]。 5． 4 深度学习轻量化 上述的深度计算模型需要高额的存储空间、计算 资源消耗,例如用 152 层 ReNet 对分辨率为 224224 的图片推理时会产生 6 千万的参数,需要 20 G 次的 浮点操作。 因此在井下无人驾驶机车实现计算机代 替“人眼”的轨道判别、障碍物识别等功能,需要有一 个功能强大的嵌入式智能信息平台。 该平台处理能 力和响应速度远超传统的嵌入式控制器。 典型的嵌入式人工智能平台具有 CPUGPU SoC 的结构特点,例如 NVIDIA Jetson TX2 SoC 计算卡[56] 集成了1 枚64 位四核 ARMv82． 0 GHz 的 A57 微处 理器、1 枚双核超标量 ARMv82． 0 GHz 的 Denver 微 处理器和 1 枚嵌入式的 Pascal 架构 GPU。 许多学者开始研究深度学习网络的压缩和加速, 主要分为两大类一类是针对卷积神经网络的矩阵运 算提出一些硬件实现方法,设计专用的硬件加速器, 在降低计算消耗的基础上加速卷积神经网络的训练 和推理[57-60];另一类是根据网络本身参数和表征的 冗余性对网络及其中的参数进行裁剪、量化[61-64]、低 秩分解[65]或者是使用知识蒸馏[66]来减小网络的内 存占用和运算量。 作为一种相较于雷达与激光更为廉价且信息量 获取丰富的解决方法,基