煤田火灾无人机监测关键技术研究.pdf

工矿自动化 Ind ustr ya nd MineAuto ma tio n Vo l . 45 No . 9 Sep.2019 第45卷第9期 2019年9月 文章编号1671 251X201909 0030 05DOI10. 13272/j. issn. 1671-251x. 17473 煤田火灾无人机监测关键技术研究 贾勇骁12 郑学召崔嘉明3 郭军12 费金彪12 （1.西安科技大学安全科学与工程学院％陕西 西安710054； 2.国家矿山救援西安研究中心％陕西西安710054； 3.中煤华晋集团有限公司王家岭煤矿山西运城043000） 扫码移动阅读 摘要针对现有煤田火灾无人机监测技术存在的续航时间短、数据采集周期较长、红外热图像精确度不 高、数据传输和处理速度慢等问题，研究了基于单一/集群飞行的无人机监测技术、红外及可见光双视监测技 术及基于4G网络的数据传输与处理技术％设计了无人机多站多机集群飞行方式，通过航线规划和独立控 制实现对大面积煤田区域的快速监测；采用红外双视热成像仪进行数据采集，无人机在等间距航点处悬停时 触发红外双视热成像仪拍照采集红外热图像和可见光图像；以4G网络作为信号传输渠道，依靠数据采集前 端和数据处理软件的协同作用，实现数据采集、传输和处理的同步。现场应用结果表明，2台无人机采集 254张红外热图像和254张可见光图像，完成数据采集和图像前期处理耗时150 min,图像合成耗时10h ,与 现有技术相比，极大缩短了监测时间；采集的红外热图像所显示的温度与实地温度测试结果重合度在90 以上，表明利用无人机进行煤田火灾监测是有效、可行的％ 关键词煤田火灾监测；无人机；集群飞行；航线规划；红外及可见光双视监测；4G网络传输 中图分类号TD75 文献标志码A Res ea r c h o nkeytec h no l o g ies o funma nned a er ia l veh ic l emo nito r ing o fc o a l fiel d fir e JIA Yo ng xia o12, ZHENG Xuezh a o12 , CUI Jia ming3 , GUO Jun12 , FEI Jinb ia o12 1. Co l l eg e o f Sa fety Sc ienc e a nd Eng ineer ing , Xa n Univer sity o f Sc ienc e a nd Tec h no l o g y, Xia n710054XCh ina ;2.Xia nResea r c h Center o fNa tio na l MineResc ueXXia n710054XCh ina ; 3. Wa ng jia l ing Co a l Mine, Ch ina Co a l Hua jin Gr o up Co . , Ltd . . Yunc h eng 043000, Ch ina Abstract In view o f pr o b l ems o f sh o r t end ur a nc e time, l o ng per io d o f d a ta c o l l ec tio n, l o w a c c ur a c y o f infr a r ed th er ma l ima g e a nd sl o w d a ta tr a nsmissio n a nd pr o c essing o f existing tec h no l o g ies o f unma nned a er ia l veh ic l eUAV mo nito r ing o f c o a l fiel d fir e, UAV mo nito r ing tec h no l o g ies b a sed o n sing l e/c l uster fl ig h t,infr a r ed a nd viib l e l ig h t d ua l viio n mo nito r ing tec h no l o g y, d a ta tr a nmiio n a nd pr o c eing tec h no l o g y b a sed o n 4G netwo r k wer e stud ied . Mul ti-sta tio n mul ti-ma c h ine c l uster fl ig h t mo d e o f UAV is d es1g ned ,a nd r a p1d mo n1to r 1ng o f l a r g e-a r ea c o a l fel d a r ea 1s r ea l zed th r o ug h r o ute pl a nn1ng a nd ind epend ent c o ntr o l . Da ta a c quisitio n is c a r r ied o ut b y infr a r ed d ua l -view th er ma l ima g er , th e UAV tr ig g er sinfr a r ed d ua l -viewth er ma l ima g er to c a ptur einfr a r ed th er ma l ima g esa nd visib l el ig h tima g eswh en h o ver ing a t a n equa l l y spa c ed wa ypo int. 4G netwo r k is used a s sig na l tr a nsmissio n c h a nnel , a nd d a ta a c quisitio n fr o nt end a nd d a ta pr o c essing so ftwa r e a r e syner g istic a l l y used to r ea l ize sync h r o niza tio n o f d a ta c olec tio n,t-a nsmissio na nd p-o c essing .Fiel d a ppl ic a tio n-esul tssh o wth a ttwo UAVsc olec t254inf-a -ed th er ma l ima g es a nd 254 visib l e l ig h t ima g es, th e d a ta a c quisitio n a nd ima g e pr e-pr o c essing ta kes 150 minu,es,a nd ,h eima g esyn,h esis,a kes10h o ur s,mo nio r ing ,imeisg r ea ,l ysh o r ,ened c o mpa r ed wi,h 收稿日期收稿日期019-07-08；修回日期修回日期019-08-05；责任编辑责任编辑胡娴。 基金项目基金项目国家重点研发计划重点专项项目“018YFC0808201陕西省自然科学基础研究计划项目“018JM5009,2018JQ5080。 作者简介作者简介贾勇骁1996 ，男，甘肃天水人，硕士研究生，研究方向为矿山安全与应急救援技术，E-ma il 1309537205qq. c o m。 引用格式引用格式贾勇骁，郑学召，崔嘉明，等煤田火灾无人机监测关键技术研究工矿自动化,2019,45930-33. JIA Yo ng xia oZHENG Xuezh a oCUIJia mingeta l 8Res ea r c h o n keytec h no l o g ies o funma nned a er ia l veh ic l e mo nito r ing o f c o a l fiel d fir e*. Ind us tr y a nd Mine Auto ma tio n,2019,459 30-33. 2019年第9期贾勇骁等煤田火灾无人机监测关键技术研究・31・ existing tec h no l o g y; Co inc id enc e d eg r ee o f temper a tur e d ispl a yed b y infr a r ed th er ma l ima g e a nd th e fiel d temper a tur e test r esul t is a b o ve 90 , ind ic a ting th a t using UAV fo r c o a l fiel d fir e mo nito r ing is effec tive a nd Wea sib l e. Key words mo nito r ing o f c o a l fiel d fir e; unma nned a er ia l veh ic l e; c l uster fl ig h t; r o ute pl a nning; infr a r ed a nd visib l e l ig h t d ua l visio n mo nito r ing; 4G netwo r k tr a nsmissio n 0引言 煤田火灾分布面积广，火源位置和趋于燃烧的 高温位置隐蔽且分散，通常不易发现⑴。常用的气 体测量法、测O法、地质雷达法等煤田火灾监测技术 存在监测周期长、设备 繁杂、精确 等缺 陷，大面积煤田区域监测效果不佳,煤田火 分 图像难以获取，导 多高 失最佳防治 间，最终 成燃烧 ，造成大气 、地表形 等生 破 浪费3* o 热红外 技术，尤其是以无人机挂载红外热 成 低 技术，以 、轻便、操作简单、 成本低、犬 等优势，在煤田火灾监测领域占 重要地位“5*。但该技术仍存在以 ①无人机续航时间短，单次监测区域面积小，煤田 火灾监测 期较长。②借助反演算法采 红外热图像精确 高，与实际地表情况的吻 合度较低。③ 处理是实现高效监 测 键环节，但现 ，数据处理 长。针对上述问题，本文对 火 人机监 测关键技术进行了研究，以为 火灾监测提供更 精确 。无人机航线规划是 正 行 要关键技术，首先介绍 行监测航线，进 而将多个 行航线进行融合，设计了能弥补单 行监测 行方式；图 精确、 是无人机监测技术的核心，为提高红外热 成 精确 ， 红外 热成 为 终端;无人机监测 处 影响监测效率，为实现高效监测，研究了基于4G 网络 与处理技术。 1基于单一/集群飞行的无人机监测技术 1. 1 无人机单一飞行监测 六 人机具有较好的稳定性和一定的承载 能力，且有垂 、空中悬停和控制便捷等优势， 能 成工作，是 火灾监测领 L 较为普遍的机载设备金7* - 人机飞行控制 软件missio n pl a nner完成，其主要功能是航线规 划、参数设定、飞行 汇总等，同时与GPS（Gl o b a l Po sitio ning System，全球定位系统）定位功能密切 配合，确定无人机飞行过程的具体地理位置信息及 辅助无人机自动返航至起飞点⑻。通过missio n pl a nner 规划 航线 图1 ， 中 航线规划 多边形为矩形，无人机按照S型折线的轨迹飞行- 实 分布情况，边 以是多 边形。 图1无人机航线规划 Fig .1 Ro u,epl a nning o funma nned a er ia l veh ic l e 规划航线时需要设定飞行高度、相机角度、飞行 速度、起飞点及返航点、连续2张图像的重 、地 面分辨率、2条航线之间的重叠度等参数。航线规 划 成 ， 航线上 自 动 生成 400 个航点 为无人机悬停 点，监测过程中无人机联 动红外热成 航点处自动悬停并 。 无人机飞行控制具体流程在满电源及GPS信 号参数大于15 提下， 控操 拨动 门摇杆,使其从零移动至整个动力供 中 间偏上 ，此时无人机飞离地面；在无人机高度大 5 m时，将油门摇杆控制在中间 ，无人机进 入自主飞行模式。 1. 2 无人机集群飞行监测 在实 监测中，一台无人机独立工作会因 为自 航时间短、监测 面积小等问题，难以在 期内 个 ，实现 监 测 长。无人机 行监测 协同工作能 力强、智能化程度高、在恶劣 中适 强的特 点「9「12*,， 大地 监测周期。 无人机集群飞行监测有一站多机和多站多机 2种实现方式，考虑到一站多机干扰因素多且安全 确定，本文 多站多机方式，如图2 - ・32・ 工矿自动化2019年第45卷 无人机地面站 图2无人机多站多机集群飞行 Fig .2 Mul ti-sta tio n mul ti-ma Rh ineRl uster fl ig h to f unma nned a er ia l veh iRl e 根据实际监测区域面积确定无人机数量，通过 地面控制终端软件missio n pl a nner划定无人机监 测 并对多台无人机设置相同的参数。多台无人 机同 ，进入独立控制飞行航线，在各自划定的 内进行数据采集，并 地面站控制 终端进行处理。监测任务完成 人机自主返航至 出发点，各区域监测无相互干扰。 2红外及可见光双视监测技术 红外热成像技术的成熟应用为温度的准确监测 提供 基础。 红外热成 光成像技 术协同 红外 热成 （图3）进行 采 ，其参 1 图3红外双视热成像仪 Fig .3 Infr a r ed d ua l -viewth er ma l ima g er 1 红外 热成 参 Ta b l e1 Pa r a meter so finfr a r ed d ua l -viewth er ma l ima g er 参数 - 值 红外相机光相机 分辨率/像素640X 5121 600X 1 216 镜头焦距/mm2512 镜头光圈F1. 1F1.4 帧率/Hz925 视场角/（）25X2033X25 像元尺寸/ym17 长/）m7. 5〜13 5 红外双视热成像仪的优势在于同时采集航点处 的红外热图 光图像， 对比，能够更 为精确地掌握红外热图像中 分 实际 地表中对应的具体位置。 程中在等间距航点处悬停是确保红 外 热成 与无人机 联动 键，也是保 高 键。无人机在航点处悬停 的同时触发红外 热成 拍 红外热图像 光图像，记录并存储无人机POS （包括 GPS 和 IMU（Iner tia l Mea sur ement Unit，惯性测量 单元）数据，具体为纬度、经度、高程、航向角、俯仰角 翻滚角）， 个航点处悬停 利用网络 路图 路POS 地面站控制 终端。 3 基于4G网络的数据传输与处理技术 3. 1 数据传输 目 局部区域监测、侦察等领域，无人机信息 传输大多 射频方式「灯。由于图像、 量 巨大,依靠射 号进行数据传输, 人机 链带宽局 网络 导致误差「⑷。为 解决 题， 录在红外 热成像仪的 存储卡中，待无人机返航后再导入 处理端，但该 方法存在滞 ，不能实现 实 电 台、图传电台、无线局域网等可为无人机 提 供 ，但网络 面积小，信号 。 4G网络的成熟应用为 高 基 础「15*。4G网络 图4 。在无 人机机架、地面站控制终端和控制中 安装4G 网络运行 ，构成信号链路,在被测 规划若干 矩形 ， 点处 4G网络临时基站。以 4G网络作为信号 渠道， 端和数 处 软件 协同 ， 实现 、 处 同步，提高 图4 4G网络覆盖及信息传输 Fig .4 4G netwo r kRo ver a g e a nd info r ma tio n tr a nsmissio n 人机 各自 内 图 至相应的地面站控制终端，经由地面站控制终端将 控制中心，控制中心对图像、位置等 ， 进行处理，合成被测 分布图像。 3. 2 数据处理 处理是煤田火灾监测中的重要环节，最复 杂、 多，对误 分析和处 影响监测结 2019年第9期贾勇骁等煤田火灾无人机监测关键技术研究・33・ 果的精确性。 红外热成像图像处理方法包括红外热图文件程 式转换、红外热图像等 划分、图像相 合成等 步骤。图像处理过程通过软件Ma xim DL进行图 格式转换 处理，将处 图像彳2 三维建模软件Pix4Dma pper进行局部图像合成处 理，接收 图 ，合成 测 分布图像。 4现场应用现场应用 煤田火区无人机监测系统包括数据采集前端、 地面站控制终端、 4G网络临时 基站、控制中心等。其中 端主要包括位 于机架上方的GPS、悬挂于机架下方的红外双视热 成像仪和无人机机架，如图5所示。 图5无人机数据采集前端 Fig . 5 Da ta a c quisitio n fr o nt end o f unma nned a er ia l veh ic l e 在陕西某矿进行飞行测试，划定区域后规划航 线，并 测 内 4G网络临时基站，利 2台无人机 同 独立 图 ，飞行 高度为100 m，图像重叠率为70。完成飞行后共 采集254张红外热图像和254张可见光图像每台 人机分别 127张红外热图 127张 光 图像,共历时6h。无人机采集的部分热红外散图 图6所示。完成 图 期处［时 150 min,最后由Pix4Dma pper经过10 h合成完整 的被测 高清温度分 果图。与现 测O 法、测温法及单一飞行监测技术相比较，无人机集群 监测技术极大 监测时间。 图6中，颜色与 对 按黑色、紫色、 橙色、黄色及接近白色的顺序，各颜色代表的温度逐 升高。以10 1为一个等 间进行 划分，接 近 为60〜70 1， 紫 为30〜50 C。在红外热图像中随机标记若干 进行实地温度测试，结果 重合 E 90以上。 图6无人机采集的部分热红外散图 Fig . 6 Pa r tia l th er ma l infr a r ed sc a tter o g r a m a c quir ed b y unma nned a er ia l veh ic l e 5结论结论 1 1 无人机集群飞行监测技术能有效解决单架 无人机续航时间短、一次监测 面积 ，极 大地 火 监测 间。 红外 热 成 是 终端 ，可与无人机联动，实 现 光图 红外热图像采集、双路图 亍输、 POS 存储,有效提高了红外热成 精确 性。基于4G网络 处理技术 短了巨量 处 间，为实现高效监测 提供了技术 。 2 现 果 ， ，2 台 人机 254 张 红外热图 254 张 光图 ， ， 成 图像前期处理耗时150 min,图像合成耗时10 h ,与 现有技术相比，极大缩短了监测时间；采集的红外热 图 与实地 测试结果重合 1 90以上，表明利 人机进行煤田火灾监测是有 效、可行的。 参考文献References 1 *郑学召，贾勇骁，郭军，等.煤田火灾监测技术研究现 状及展望［J*.工矿自动化，2019,455 610. ZHENG Xuezh a o , JIA Yo ng xia o , GUO Jun, et a l . Resea r c h sta tus a nd pr o spec t o f c o a l fiel d fir e mo nito r ing tec h no l o g ies J *. Ind ustr y a nd Mine Auto ma tio n,2019,455 6-10. 2 *李峰，梁汉东，赵小平，等.基于ASTER影像的乌达 火区遥感监测研究J*.煤矿安全，2016,47 11 15-188 LIFengLIANG Ha nd o ngZHAO Xia o pingeta l 8 Remo tesensing mo nito r ing r esea r c h o n c o a l fir ein Wud a Mine b y ASTER ima g es J*8Sa fetyin Co a l Mines,2016,471115-18 3 *李峰，崔希民，孙广通，等.无人机热红外遥感煤火探 测方法J*.煤矿安全2017481297-100. 下转第53页 2019年第9期王鹏等基于机器视觉的多机械臂煤秆石分拣机器人系统研究・53・ XU Qi, KONG Li, CHENG Jing jing . Ad a ptive fuzzy pater n r ec o g nitio n o fc o a l g a ng ue b a sed o n nic h e g enetic a l g o r ith m J *. Jo ur na l o f Hua zh o ng Univer sity o f Sc ienc e a nd Tec h no l o g y Na tur a l Sc ienc e Ed itio n ,2003,3112 22-24. [10*刘文中，孔力，瞿坦煤歼石自适应神经元网络识别方 法研究[J*选煤技术20023 22-24. LIU Wenzh o ngKONG LiQU Ta n8Resea r c h o n a d a ptiveneur o na l netwo r kid entific a tio n meth o d fo r c o a l g a ng ue [J*. Co a l Pr epa r a tio n Tec h no l o g y, 2002 322-24 [1*李文斌，杨剑瑜，文建国光电选歼识别系统的研制与 测试[J* .器仪表学报 2001,223265-268 LI Wenb in, YANG Jia nyu, WEN Jia ng uo . Th e ma nufa c tur ea nd tes to fd isc r imina ting ph o to el ec tr ic system fo r sel ec ting wa ste r o c k[J*. Ch inese Jo ur na l o f Sc ientific Instr ument2001 223265-2688 [12* LENZ I, LEE H, SAXENA A. Deep l ea r ning fo r d etec ting r o b o tic g r a sps[J*. Th e Inter na tio na l Jo ur na l o fRo b o tic sResea r c h 2015 344-5705-724. [13* VARLEY J , WEISZ J , WEISS J , et l Gener a ting 上接第33页 LIFeng CUIXimin SUN Gua ng to ng eta l 8Appr o a c h o fd etec ting c o a l fir es b y unma nned a er ia l veh ic l e th er ma l infr a r ed r emo tesensing tec h no l o g y[J* Sa fety inCo a l Mines2017 481297-1008 [4 *邵振鲁,王德明,王雁鸣.煤田火灾探测方法研究进展 煤矿安全，2012,438 89192. SHAO Zh enl u WANG Deming WANG Ya nming 8 Res ea r c h pr o g r ess o fc o a l fiel d fir ed etec tio n meth o d [J*.Sa fetyinCo a l Mines2012 438189-192. [5 *陈彤无人机遥感技术现状与应用电子技术与软 件工程，2019410. [6*庄培,张翔宇,谢凯,等.六旋翼无人机飞行控制系统 研究江苏航空，20183023. [7*常怡鹏,王小平,徐浩军,等.新构型旋翼无人机的模 糊免疫PID控制[J/OL*飞行力学.[2019-06-02*. h ttps//d o i o r g /10. 13645/j. c nki. f d . 20190415. 001 CHANG Yipeng WANG Xia o ping XU Ha o jun eta l Fuzzy immune PID c o ntr o l o f a new c o nfig ur a tio n r o to r UAV [J/OL*. Fl ig h t Dyna mic s. [2019-06-02* htps//d o i o r g/10 13645/j c nki f d 20190415 001 [8 *张建学.多旋翼无人机飞行控制系统设计研究电 制 20191027-28 mul ti-fing er ed r o b o tic g r a spsvia d eepl ea r ning[C*// 2015 IEEE/RSJ Inter na tio na l Co nfer enc e o n Intelig ent Ro b o ts a nd Systems IROS 2015 4415-4420 [14* REDMON J ANGELOVA A Rea l -time g r a sp d etec tio nusing c o nvo l utio na l neur a l netwo r ks[C*// 2015IEEEInter na tio na l Co nfer enc eo n Ro b o tic sa nd Auto ma tio n ICRA 20151316-1322 [15* PINTO L GUPTA A Super sizing sel f-super visio n Lea r ning to g r a spfr o m50ktr iesa nd 700r o b o th o ur s [ C *//2016 IEEE Inter na tio na l Co nfer enc e o n Ro b o tic s a nd Auto ma tio nICRA 20163406-3413 [16* GUALTIERI M TENPAS A SAENKO K eta l Hig h pr ec isio n g r a sp po se d etec tio n in d ense c l u ter [C*//2016 IEEE/RSJ Inter na tio na l Co nfer enc e o n Intelig ent Ro b o ts a nd Systems IROS 2016 598-605 [17* KOTSIANTIS S KANELLOPOULOS D PINTELAS P Da ta pr epr o c essing fo r super vised l ea ning [J * Inter na tio na l Jo ur na l o f Co mputer Sc ienc e200612111-117 [9 *李F ,苏京昭,闫咏.智能无人机集群技术概述科 技 2017265-7 LI Ha n SU Jing zh a o YAN Yo ng Summa r y o fth e tec h no l o g y a b o ut swa r m intel l ig enc e o f UAV [J*. Sc ienc e Tec h no l o g y Visio n,201726 5-7. [0*陶于金,李沛峰.无人机系统发展与关键技术综述 [J* 航 制 技术 2014 572034-39 TAO Yujin LI Peifeng Devel o pment a nd key tec h no l o g yo f UAV[J* Aer o na utic a l Ma nufa c tur ing Tec h no l o g y 2014 572034-39 [11* United Sta tes Depa r tment o f Defense Unma nned a ir c r a ftsystems r o a d ma p2005-2030[R/OL* [2019 06-02* htps//r o sa p ntl b ts g o v/view/d o t/18248 [12*王强.UAV集群自主协同决策控制关键技术研究 [D*陕西西北工业大学2015. [3*宣润通,杨浩,刘成,等.基于5G技术的无人机侦查 系统设计价值工程，2019,3816 58160. XUAN Runto ng , YANG Ha o , LIU Ch eng , et l Desig no funma nned a er ia l veh ic l esd etec tio nsystem b a sed o n5Gtec h no l o g y[J* Va l ue Eng ineer ing 2019 38 16 158-160 [14*曹凯.无人机数据链组网技术的研究[D*西安西安 电 科技大学 2014 [5*欧阳秋萍.3G/4G网络环境中多无人机任务调度和 路径规划[D*长沙国防科学技术大学2015.