基于L—R算法的矿井监视图像复原装置设计.pdf

工矿自动化 Indus t ryand MineAut o mat io n Vo l46No 8 Aug72020 第46卷第8期 2020年8月 文章编号文章编号1671-251X202008-0101-06DOI10. 13272/j. issn. 1671251x . 17656 基于L-R算法的矿井监视图像复原装置设计 付元 （1.煤炭科学技术研究院有限公司％北京100013 2 . Engineering Researc h Cent er fo r Tec hno lo gy Equipment o f Emergenc y Refuge in Co al Mine, Beijing 100013, China; 3. Beijing Mine Safet y Engineering Tec hno lo gy Researc h Cent er, Beijing 100013, China Abstrac t The int elligent t ec hno lo gy o f mine video mo nit o ring is o ne o f t he key t ec hno lo gies t o realize visual remo t e int ervent io n int elligent unmanned mining in c o al mine. Ho wever, due t o bad wo rking enviro nment o fminingfa c einundergro undc o almine,t hec olec t ed mine mo nit o ringimageshaveserio us degradat io n, whic h a fec t s develo pment o f int el igenc e o f c o al mining.Thec olec t io n pro c esso f mine mo nit o ring images is a fec t ed by vibrat io n o f hydraulic suppo rt , shearer, c rusher and belt c o nveyo r, as welas rando mfa c t o rs s uc ha s minera ldus t a nds pra y,s o t heus efulinfo rmat io ns uc ha s dept h,s t rengt h and range o f images degradat io n c anno t be ac c urat ely ac quired. In view o f t he abo ve pro blems, a mine mo nit o ring image rest o rat io n devic e based o n L-R algo rit hm was designed, whic h inc ludes a st ream fet c hing mo dule, a c o nfigurat io n mo dule,anima gerest o rat io n mo duleandafo rwarding mo dule.First ly, t hedevic eusesst rea mfet c hingmo dulet o o bt ainvideo s t reamo fc a meraanddec o desit int o imageframes. Then,it uses c o nfigurat io n mo dule t o c o nfigure paramet ers o ft he rest o rat io n mo dule,and ado pt s degradat io n func t io n mo del and image rest o rat io n mo dule based o n L-R algo rit hm t o rest o re t he image and 收稿日期收稿日期2020-07-20;修回日期修回日期2020-08-02 mine mo nit o ring image; video st ream; image degradat io n; magerest o rat io n;rando ma lgo rit hm;L-Ralgo rit hm 0引言 煤炭是我国能源的基石，是可以实现清洁高效 利用的最经济、可靠的能源，1-。我国的煤炭开采方 式主要以井工开采为主，综采工作面是井工开采的 核心组成部分。由于煤矿井下综采工作面矿尘浓度 高、环境潮湿、噪声大，且存在冒顶、片帮、冲击地压、 瓦斯突出等危险，所以，引导煤矿开采方式机械化、 自动化与智能化，逐步实现少人化、无人化开采是煤 矿综采技术的发展方向和实现煤矿安全生产的必然 要求［23］。煤矿智能化是实现煤炭工业高质量发展 的核心技术支撑，建设智能化煤矿是煤炭工业的战 略方向，是煤矿高质量发展的必由之路46。随着煤 矿 采机 、 动 步 ， 矿 采 技术已成为煤矿综采技术的研究热点。煤矿开采智 能化技术是通信技术、感知技术、信息技术、智能分 析技术等信息化技术的深度融合，通过对采煤机的 自主导航、三机联动的自动控制、地面对设备、系统、 环境的实时监测与控制等功能，实现综采工作面智 能化开采［78］ „煤矿开采智能化技术分为两大阶段 可视化远程干预型智能化无人开采和自适应型智能 化无人开采911］。 矿 控 技术 矿 程干预型智能化无人开采的关键技术之一，129。 但煤矿井下开采工作面环境恶劣，使得采集的矿井 监视图像具有严重的退化现象，影响了煤矿开采智 能化的发展［412］。因此，研究矿井监视图像复原技 术，以改善矿井监视图像的质量具有重要意义。 矿 图 复原主要 矿 图 采 过 程中的有关先验知识建立退化模型，进而恢复图像 的原始面貌。根据图像退化模型的确定性，图像复 原算法可以分为确定性算法和随机性算法，其中，确 定性算法主要是利用偏微分方程和小波变换实现， 而随机性算法主要是利用概率统计算法实现图像 复原。 考虑到矿井监视图像的采集过程受液压支架、 采煤机、破碎机与带式输送机的振动及矿尘、喷雾等 因素的随机影响，无法准确获知图像退化的深度、强 度、范围等有用信息，因此，采用随机性算法复原矿 井监视图像。比较常用的随机性算法有马尔科夫随 机场方法、最大后验概率、基于贝叶斯的L-R算法 （以下称L-R算法）等。基于马尔科夫随机场的复 原方法易受图像灰度变化的影响，基于最大后验概 率的图像复原算法易受高斯分布的限制，而L-R算 法拥有预测各种概率分布、估计不同模型的参数与 估算各类不确定因素的优势，比较适合于煤矿井下 的图像监视复原场景［1314］。基于图像超分辨率的 矿井监视图像复原方法主要是利用图像缩放、降质 模型等机理,恢复图像中丢失的高频信息，但是该方 法对噪声信息比较敏感,15-。基于暗原色与暗通道 的复原方法是将原始图像中比较暗的区域分离出 来，得出整体图像的统计模型，但是对于煤矿井下低 照度的监视图像，该方法效果不是很明显［1617］。 鉴此,本文设计了一套基于L-R算法的矿井监 视图像复原装置。该装置利用基于L-R算法的图 复原 型， 矿 图 进 确复原， 了矿井图像复原的质量。 1基于L-R算法的图像复原模型建立 L-R算法是根据泊松分布特性，基于贝叶斯理 论与迭代理念推导出的图像复原算法,18。 贝叶斯理论表述如下 p（.f\g） , （1） J P（gf）P（f）d/ 式中Pf）为事件f发生的概率；p（g）为事件T发 生的概率P6T）为事彳f在事件g发生基础上发 生的概率。 由全概率公式可得 Pf） J pg\fpf p（g）dg Jp（gf）P（f）d/ J pg\fp（f dgPf） ⑵ jP（g\f）P（f）df 将式（1）、式（2）应用到图像复原过程中，用f 表示原始图像，g表示退化图像P（f）表示原始图 像m）,y）（）,y）表示原始图像m（）,y）的元素坐 标）的灰度分布函数,P（g）表示退化图像＜）1*1） （（）*1）表示退化图像n） *1）的元素坐标）的灰 度分布函数，P（.g\f）表示以点），y）为中心的点扩 散函数2）1 -），*1-y），可得 2020 8付元基于L-R算法的矿井监视图像复原装置设计・103・ m, y J h1 ,1 yn1 ,1 ------------------------------------------ I h1 ,1 ym,dy c Lr1 |摄像头| |视频监控端| |通信模块| |供电模块| |存储模块| |通信模块| 3 调整式3积分项中分子的1与、y】与y的 顺序，再次变换可得 n1 *1 m , y』』--------“2丄‘----------X I h1 , y1 ym , y dxdy h ] , y yQl dQ d31m , y 4 以退化图像n1 , y】 】为基础，将式3、式4 进一步以卷积的形式表示如下 m,y 「 h , - y1m , y Lm,y hy 」 5 对式5中的m y的表达式进行进一步分 析,并以迭代的方式求原始图像＞可得 7.1 , , ---- h-x,y[ek{x, Lm,y hy 」 6 式中为迭代次数，取值范围为1〜v 最后,将复原后的图像帧编码为多媒体包流信息转 发至视频监控端,为操作人员远程操作采煤设备提 供清晰的视频信息。该装置可通过API的形式配 置图像复原模块的参数「19「21-。 2. 1 装置硬件设计 基于L-R算法的矿井监视图像复原装置硬件 主要由供电模块、通信模块、处理模块与存储模块组 成,如图2所示。供电模块用于向处理模块供电o 通信 块 块与摄 、 控 通 信。存储模块用于存储处理程序与临时数据。处理 API ]|获取多弓体包流| 1 |配矗块| “多媒”包流” ||视* |【I图』块1 t 取流模块 [ [转发模块； I--------------------- 处理模块 -------------- 图图1基于基于L- -R算法的图像复原装置架构算法的图像复原装置架构 Fig 1 Arc hit ec t ureo fima gerest o rat io ndevic e basedo nL-Ra lgo rit hm |存储模块 I供电模块 处理模块 图图2装置硬件组成装置硬件组成 Fig 2 Devic ehardwarec o mpo sit io n 块 以 BCM2711 为 作 为 Ubunt u ,主频为1.5 GHz ,指令集为ARM7 ,用于完 成视频取流、图像复原与视频流转发操作。 22 置 件 基于L-R算法的矿井监视图像复原装置软件 系统采用面向服务的架构、模块化的设计思路。整 体软件系统包含取流模块、配置模块、复原模块与转 发模块。 221 流 块 取流模块主要用于获取矿井摄像头的多媒体文 件，从多媒体文件中解码出视频帧,主要流程如下 1 获 矿 控信息 体包流文 包 括网络地址及端口与获取格式。 2 解析多媒体包流文件,检测多媒体包中是 否含有视频流,若有,则获取流信息；若没有,则 丢弃。 3 解析流信息,获取视频流。 4 析 流信息 获 码 信息 根 码器信息,加载对应的解码器模块。 5 码 块 流进 码 并获 取视频帧信息。 6 调用图像复原模块。 222 配 块 配置模块主要是对复原模块中所需要的参数进 行配置。该模块按照复原模块的参数属性、个数及 位置要求,以API的形式对外发布参数需求,其主 要格式如下 地址地址 ・104・ 工矿自动化 46 POST ht t p//{IP} {PORT}/api/c o nfig 描述 配置复原模块的参数 参数 Rad 标准差St d 迭代次数 参数示例 { “Rad5, “St d3, *25 3 状态码 200OK 400 BadRequest 2. 2. 3复原模块 复原模块属于该装置的核心模块，利用LR算 法对图像进行复原,主要流程如下 1 加载复原模块的配置参数半径八标准差 。，迭代次数V „ 2 加载退化函数模型以高斯函数为例，并 设定参数。 3 监听调用。 4 获取图像信息，转换为图像矩阵。 5 退化模型以图像矩阵中的每一个元素值为 中心，与图像矩阵进行卷积操作边缘处补0。 6 迭代次数为V-1,检测迭代次数是否为0, 若为0,则退出，并将迭代后的图像矩阵转换为图像 信息 7 出 图 信息 2.2.4转发模块 转发模块主要完成输出图像的编码，进行网络 流媒体传输，主要流程如下 1 图 复原 块 出 图 进 码 2 调用图像帧并转换至byt e数据。 3 初始化 RTPReal Time Pro t o c o l，实时传 输协议包，开始构建视频流。 4 对RTP数据包添加时间戳，加载byt e 。 5 发送RTP数据包，返回剩余数据，继续步 骤3。 3装置实验验证 采用基于ARM的微型计算机作为实验平台， 并采用8台高清数字摄像机作为视频流采集设备， 用于采集综采工作面的视频数据，复原后的视频流 通过RJ45网口转发至视频监控端，其中复原模块 中的退化模型采用高斯函数模板，半径为3,标准差 为5,迭代次数为45。 在视频监控端，分别采集高清数字摄像机与图 像复原装置转发的视频流，采集时长分别为1,3, 5 min,并将采集到的视频流转换为视频帧，计算每 一帧图像的灰度平均梯度值、拉普拉斯算子和与信 息爛值，并计算其各段时间内的视频流图像帧的平 均值，结果见表1。灰度平均梯度值、拉普拉斯算子 和与信息爛的评价准则如下[2224] 1 平 主要 图 和纹理特征，其值越大，表示图像越清晰。 2 拉普拉斯算子和主要反映了图像灰度边 和， 大， 示图 清晰。 3 信息™主要反映图像的信息量，其值越 大， 示图 中 信息 大。 表1视频流质量对比 Table 1 Video st ream qualit y c o mpariso n 原视频流 复原后的视频流 呵冋/ min 灰度平均拉普拉斯 信息™ 平 拉 拉斯 信息™ 梯度值算子和梯度值和 1 0.0755.06.900.0906.07.59 3 0.0784.76.650.0926.57.60 5 0.0825.36.870.0956.67.58 由表1可看出，相对于原视频流质量，复原后的 视频流的图像质量得到明显提升，表明基于LR算 法的矿井监视图像复原装置可有效提升煤矿井下的 质。 4结语 针对矿井视频监视图像存在严重退化的问题, 设计了一套基于LR算法的矿井监视图像复原装 置。该装置通过矿井摄像头获取视频流信息，并对 流信息进行解析,获取视频流,得到图像帧信息将复原后的图像帧编码为多媒体包 流信息转发至视频监控端，为操作人员远程操作采 煤设备提供清晰的视频信息。实验结果表明，该装 置可有效提升矿井监视图像的质量，为实现煤矿可 视化远程干预型智能化无人开采提供技术保障。 参考文献References 1 -王国法，刘峰，孟祥军，等煤矿智能化初级阶段研 究与实践煤炭科学技术,2019,4781-36. WANG Guo faLIU FengMENG Xiangjunet al. Researc h and prac t ic e o n int eligent c o al mine c o nst ruc t io n primary st age [ J-. Co al Sc ienc e and 2020 8付元基于L-R算法的矿井监视图像复原装置设计・105・ Tec hno lo gy,2019,478 136. 2 -王国法，杜毅博煤矿智能化标准体系框架与建设思 路[J-煤炭科学技术,2020,4811-9. WANG Guo faDU Yibo Co al mine int eligent st andard syst em framewo rk and c o nst ruc t io n ideas [J Co al Sc ienc e and Tec hno lo gy,2020,481 1-9. 3 -孙继平.煤矿信息化与自动化发展趋势[J工矿自动 2015 4141-5 SUNJiping Develo pment t rend o f c o al mine info rmat izat io n and aut o mat io n[ J-. Indust ry and Mine Aut o mat io n 2015 4141-5 4 -孙继平，田子建矿井图像监视系统与关键技术[ J-. 科学技术 2014 42165-68 SUN Jiping, TIAN Zijian. Image mo nit o ring syst em and key t ec hno lo gy in undergro und mine [ J -. Co al Sc ienc e and Tec hno lo gy 2014 42165-68 [5 -葛世荣，王忠宾，王世博.互联网采煤机智能化关键 技术研究[J煤炭科学技术,2016,44719. GEShiro ngWANG Zho ngbinWANG Shibo St udy o n key t ec hno lo gy o fInt ernet plus int eligent c o al shearer [ J-. Co al Sc ienc e and Tec hno lo gy, 2016, 4471-9 [6 -张良，李首滨，黄曾华，等.煤矿综采工作面无人化开 采的内涵与实现[ J煤炭科学技术，2014,42 9 26-29 ZHANG Liang LI Sho ubinHUANG Zenghua et a l Definit io nandrealizat io no funmanned miningin fully-mec hanized c o al mining fac e[ J-. Co al Sc ienc e andTec hno lo gy2014 42926-29 [7-王星，白尚旺，潘理虎.一种矿井图像增强算法[ J-. 工矿 动 2017433 48-52 WANG Xing,BAI Shangwang, PAN Lihu, et al . A mineima geenhanc ement algo rit hm[J-7Indust ryand MineAut o mat io n 2017 433 48-527 [8-王虹.综采工作面智能化关键技术研究现状与发展方 向[ J-.煤炭科学技术，2014,4216064. WANG Ho ng7Develo pment o rient at io nandresea rc h st at e o n int eligent key t ec hno lo gy in fuly- memc hanizedc o al miningfac e [J-7Co alSc ienc ea nd Tec hno lo gy2014 42160-647 [9 -张科学.综掘工作面智能化开采技术研究[ J-.煤炭科 学技术 2017 457106-1117 ZHANG Kex ue. St udy o n int elligent mining t ec hno lo gyo ffuly-mec hanizedheadingfac e[J-7Co al Sc ienc eandTec hno lo gy2017 457106-1117 [ 10-王海军.数字式智慧综采工作面集控系统研究[J煤 炭科学技术 2017,451135-141. WANG Haijun St udy o n c ent ralized c o nt ro l syst em o f digit al ful y-mec hanized c o al mining fac e[J-7Co al Sc ienc eandTec hno lo gy2017 451135-1417 [ 11-孙彦景，左海维，钱建生，等面向煤矿安全生产的物 联网应用模式及关键技术煤炭科学技术,013, 41184-887 SUN Yanjing, ZUO Haiwei, QIAN Jiansheng, et l Applic at io n mo deand keyt ec hno lo gyo fInt ernet o f t hingsfac edt o c o alminesa fet ypro duc t io n[J-7Co al Sc ienc eandTec hno lo gy2013 41184-887 [ 12-张建公.低照度视频技术在综采工作面监控系统的应 用煤炭科学技术2013,4189294. ZHANG Jiango ng7Applic at io n o flo w iluminat io n video t ec hno lo gy fo r mo nit o ring syst em in fuly- mec hanized c o al fac e [J -7 Co al Sc ienc e and Tec hno lo gy2013 41892-947 [ 13-赵小虎，刘闪闪，沈雪茹，等基于CS架构的煤矿井 下图像处理算法研究[ J-.煤炭科学技术，2018, 462219-2247 ZHAO Xiao huLIU ShanshanSHEN Xueru et a l7 Researc h o n pro c essing algo rit hm o f image in undergro undc o al minebasedo n CSframewo rk[J- 7 Co alSc ienc eandTec hno lo gy2018 462219-2247 [ 14-沈3,李舜酩，毛建国，等.数字图像复原技术综述 [-.中国图象图形学报，2009,14917641775. SHEN Huan, LI Shunming, MAO Jianguo, et al Overview o f digit .l im.ge res t o r.t io n t ec hno lo gy [J-. ChineseJo urnalo fImage Graphic s200914 9 1764-1775. [ 15-范郭亮.煤矿井下监控图像超分辨率复原关键技术 研究[D-北京中国矿业大学北京2012. FAN Guo liang7 Researc h o n key t ec hno lo gies o f super-reso lut io nrest o rat io n o fc o al mine mo nit o ring image [D-7Beijing China Universit yo f Miningand Tec hno lo gyBeijing 20127 [ 16-张琳.基于暗通道的降质图像增强与复原算法研究 [D-邯郸河北工程大学201⑻ ZHANG Lin7 Researc h o n enhanc ement and rest o ra t io nalgo rit hmo fdegradedima geba sedo ndark c hannel [ D -7 Handan Hebei Universit y o f Engineering20187 [ 17-刘晓文，仲亚丽，袁莎莎，等.基于暗原色先验的煤矿 图 复 原 [J - 7 科 学 技 术 2012 40 677-807 LIU XianwenZHONG YaliYUAN Shashaet a l7 Rest o rat io n algo rit hms o f degradat io n image in undergro und mine based o n dark c hannel prio r[J-7 Co alSc ienc eandTec hno lo gy2012 40 677-807 [8-张岩.MATLAB图像处理超级学习手册[ M-.北京 人民邮电出版社2014. ZHANG Yan. MATLAB image pro c essing super learning manual [ M-. Beijing Peo ples Po st s and Telec o mmunic at io nsPress 20147 下转第116页 ・116・ 工矿自动化 46 110-1127 ZHANG Yo ng, RONG Mingyan, WU Zhao ho ng, et a l7St at us analysis o n measurement and t est st andard syst em fo r c o al mine saft y pro duc t,-. Co al Sc ienc e and Tec hno lo gy, 2008,3612 110112. 5-王海军大采高液压支架自动控制技术研究工矿 自动化，2018,44353-5 8 WANG Haijun7 Researc h o n aut o mat ic c o nt ro l t ec hno lo gyo flarge mining height hydra ulic suppo rt [ J Indust ry and Mine Aut o mat io n, 2018 , 44 3 53-58 [6 - GB 25974. 12010煤矿用液压支架第1部分通用 技术条件[S-. GB25974 1-2010Po weredsuppo rt fo rc o almine-part 1general spec ific at io n[ S-. [7 - EN 1804-1-2004 Mac hines fo r undergro und mines- safet y requirement s fo r hydraulic po wered ro o f suppo rt s-part l General spec ific at io n[ S-. 8 -赵锐，沙宝银，赵忠辉，等.30 000 kN液压支架试验台 自动调高液压系统设计煤炭科学技术，2011,39 1299-101. ZHAO RuiSHA Bao yinZHAO Zho nghuiet al. Designo nhydraulic po wersyst emo faut o mat ic height adjust ment in 30 000 kN hydra ulic po weredsuppo rt t est rig[ J-. Co al Sc ienc e and Tec hno lo gy, 2011, 39 1299-1017 9-王国法工作面支护与液压支架技术理论体系煤 炭学报，2014,39815931601. WANG Guo fa7Theo ry syst em o f wo rking fac e 上接第105页 [ 19-孙国Z.基于Andro id系统的可视电话中的图像采 集与传输[ D-.哈尔滨哈尔滨工业大学2014. SUN Guo yue. Image ac quisit io n and t ransmissio n in video pho ne based o n Andro id syst em [ D-. Harbin HarbinInst it ut eo fTec hno lo gy2014 ,0-张宇.基于RTSP的音视频传输系统研究与实现 [ D广州广东工业大学2016. ZHANG Yu Researc h and implement at io n o f audio andvideo t ransmissio nsyst em basedo n RTSP ,D- Guangzho uGuangdo ng Universit y o f Tec hno lo gy, 2016 ,1-秦鑫辉.基于Raspberry Pi的语音传输及识别系统 的设计与实现[D太原山西大学，2019. QIN Xinhui Design and implement at io n o f speec h t ransmissio n and rec o gnit io n syst em based o n Ra spberryPi,D- TaiyuanShanx iUniversit y,2019 [ 22- 邱立杰.Luc y-Ric hardso n算法在天文图像中的运用 suppo rt s yst ema ndhydra ulic ro o fsuppo rt t ec hno lo gy ,J- Jo urnal o f China Co al So c iet y,2014, 39 8 1593-1601 [ 10-李博夜压支架动载特性及疲劳寿命分析[D太原 太原理工大学,013. LIBo The analysis o f dynamic lo ad pro pert y and fat iguelifet ime o f hydraulic suppo rt,D- Taiyuan Taiyuan Universit y o f Tec hno lo gy,2013 ,1-胡洋超高压液压缸试验台增压系统的研究[D秦 皇岛燕山大学，2014. HU Yang St udy fo r pressurizat io n syst em o f ult rahigh pres sure hydraulic c ylindert est -bed ,D- QinhuangdaoYanshan Univers it y2014 ,2-赵锐，姜金球，赵忠辉夜压支架试验台自动进出架系 统设计煤炭科学技术2009,371163-64. ZHAO Rui, JIANG Jinqiu, ZHAO Zho nghui. Design o n suppo rt aut o mat ic in/o ut syst em o f hydraulic po wered suppo rt t est rig ,J - Co al Sc ienc e and Tec hno lo gy2009 371163-64 ,3- AMIRANTE R, VESCOVO G D, LIPPOLIS A. Flo w fo rc es analysis o f an o pen c ent er hydraulic direc t io nal c o nt ro l valve sliding spo o l ,J- Energy Co nversio nand Management2006 471114-131 [ 14-程江超.齿轮箱强制润滑系统设计机械工程与自 动 20185219-220 CHENGJiangc hao Design o f fo rc ed lubric at io n syst em fo r gear b o x ,-. Mec hanic al Engineering Aut o mat io n 20185219-220 及初步探讨[D-广州暨南大学2011. QIU Lijie Applic at io nandpreliminarydisc uss io no f Luc y-Ric hardso n algo rit hm in ast ro no mic alimages ,D- Guangzho uJinanUniversit y2011 ,3-周\鱼.基于盲解卷积的图像盲复原技术研究[ D-. 长春中国科学院研究生院长春光学精密机械与物 理研究所2013. ZHOU Luo yu Researc h o n blindimagerest o ra t io n based o n blind dec o nvo lut io n ,D- Changc hun Graduat e Sc ho o l o f Chinese Ac ademy o f Sc ienc es Changc hunInst it ut eo fOpt ic sPrec isio n Mac hinery andPhysic s2013 [ 24-胡良梅，高隽，何柯峰.图像融合质量评价方法的研 究,-电子学报，2004,32增刊 1218-221. HU LiangmeiGAO JunHE Kefeng Res earc ho n image fusio n qualit y uat io n met ho d [ J-. Ac t a Elec t ro nic aSinic a2004 32S1 218-221