煤矿探水卸杆动作识别研究.pdf

工矿自动化 Ind ustry and Mi ne Auto mati o n 第46卷第7期 2020年7月 Vo l. 46 No . 7 Jul. 2020 文章编号1671-251X202007-0107-06DOI10. 13272/j. i ssn. 1671-251x. 2019070074 煤矿探水卸杆动作识别研究 党伟超1 ,姚远1 ,白尚旺1 ,高改梅1 ,吴2峰2 “.太原科技大学计算机科学与技术学院山西太原030024； 2.精英数智科技股份有限公司，山西太原030006 摘要针对煤矿井下探水作业监工人员通过观看视频来监控卸杆作业的方式存在效率低下且极易出错 的问题，提出利用三维卷积神经网络3DCNN模型对探水作业中的卸杆动作进行识别 3DCNN模型使用 3D卷积层自动完成动作特征提取，通过3D池化层对运动特征进行降维，通过So ftmax分类处理来识别卸 杆动作，并使用批量归一化层提高模型的收敛速度和识别准确率％采用3DCNN模型对卸杆动作进行识别 时，首先对数据集进行预处理，从每段视频中均匀抽取几帧图像作为某动作的代表，并降低分辨率；然后采用 训练集对3DCNN模型进行训练，并保存训练好的权重文件；最后采用训练好的3DCNN模型对测试集进行 测试，得出分类结果％实验结果表明，设置采样帧数为10帧、分辨率为32X32、学习率为0.000 1,3DCNN 模型对卸杆动作的识别准确率最高可达98.86 关键词煤矿防治水；煤矿探水；卸杆动作识别；三维卷积神经网络；3DCNN；批量归一化层 中图分类号TD74 文献标志码A Researc h o n unlo ad i ng d ri ll-ro d ac ti o n i d enti fi c ati o n i n c o al mi ne water explo rati o n DANG Wei c h ao1 , YAO Yuan1 , BAI Sh angwang1 , GAO Gai mei1, WU Zh efeng 1. Sc h o o l o f Co mputer Sc i enc e and Tec h no lo gy , Tai y uan Uni versi ty o f Sc i enc e and Tec h no lo gy , Tai y uan 030024, Ch i na; 2. Ji ngy i ng Sh uzh i Tec h no lo gy Co . , Ltd . , Tai y uan 030006, Ch i na Abstract In vi ew o f lo w effi c i enc y and erro r pro ne pro blems i n th e way th at supervi so rs o f und ergro und water explo rati o n o perati o n reali ze mo ni to ri ng o f unlo ad i ng d ri ll-ro d o perati o n by watc h i ng vi d eo , 3D c o nvo luti o nal neural netwo rk 3DCNN mo d el i s pro po sed to i d enti fy unlo ad i ng d ri ll-ro d ac ti o n i n waterexplo rati o no perati o n.In3DCNN mo d el, 3D c o nvo luti o n lay er i s used to auto mati c a ly extrac t ac ti o nfeatures,3Dpo o li nglay eri sused to red uc ed i mensi o no fmo ti o nfeatures,so ftmaxc lassi fi c ati o ni s used to i d enti fy unlo ad i ngd i rl-ro d ac ti o n,and batc h no rmali zati o nlay eri sused to i mpro vec o nvergenc e speed and i d enti fi c ati o nac c urac y o fth emo d el.Wh enth e3DCNN mo d eli sused to i d enti fy unlo ad i ngd ril- ro d ac ti o n,fi rstly ,th ed ataseti sprepro c essed ,and severalframeso fi magesareextrac ted fro meac h vi d eo as representati ves o f an ac ti o n, and th e reso luti o n i s red uc ed; sec o nd ly , th e trai ni ng set i s used to trai n th e 3DCNN mo d el, and th e trai ned wei gh t fi le i s saved; fi nally , th e trai ned 3DCNN mo d el i s used to test th e esse,and h ec lassi fi c ai o nresulsareo bai ned .Th eexperi menalresulssh o wh awh enh enumber o f sampli ng frames i s 10, th e reso luti o n i s 32 X 32, and th e learni ng rate i s 0.000 1, th e h i gh est rec o gni ti o n ac c urac y o f th e mo d el c an reac h 98.86. Key words c o al mi ne water c o ntro l; c o al mi ne water explo rati o n ； unlo ad i ng d ri ll-ro d ac ti o n i d enti fi c ati o n ； 3D c o nvo luti o nal neural netwo rk ; 3DCNN; batc h no rmali zati o n 收稿日期收稿日期2019-07-24Var[ *为训练集的方差；f为mi ni batc h 的数量；b[学习率为0. 000 1时，模型准确率更为稳 定，最高准确率为98.86 。 3. 4 加入BN层的准确率分析 为了验证加入BN层的效果，从每个视频中抽 取10帧图像，将图像尺寸处理为32 X 32。在训练 时，设置batc h -si ze为20,学习率为0. 000 1,模型迭 代训练500次，结果如图5所示。 加入EN层一未加入BN层 屢 40 20 - _______I I I I I 0 100 200 300 400 500 迭代次数 图5加入和未加入BN层的准确率 Fi g. 5 Ac c urac y o f wh eth er to ad d BN lay er 从图5可看出，在网络中加入BN层，模型在迭 代50次之后，准确率基本稳定，可以认为模型已经 达到最佳的拟合效果，准确率最高可达98. 86 ；未 加入BN层时，准确率最高为86. 36 o 4结语结语 提出一种基于3DCNN的煤矿探水作业卸杆动 方法。3DCNN模型使用3D卷积层自动完 动 的提取，通过3D 层对动 ，通过So ftmax分类处理实现煤矿探水作业 中典型动作的识别，并使用BN层提高了模型收敛 速 准确率。实验对比了 帧数、分 辨率、学 是否加入BN层时模型的准确率o 结果表明， 帧数为10帧、分辨率为32 X 32、学习率为0.000 1时，模型在加入BN层之后， 3DCNN模型对卸杆动作的识别准确率最高可达 9886 参考文献References 1 *孙继平.煤矿事故分析与煤矿大数据和物联网［J*.工 矿自动化,2015,41315. SUN Ji pi ng7Ac c i d ent analy si s and bi g d ata and Internet o f th i ngs i n c o al mi neJ*. Ind ustry and Mi ne Auto mati o n,015,413 1-5. 2 *徐光祐，曹媛媛.动作识别与行为理解综述[J*.中国 图象图形学报,2009,142189195. XU Guangy o u, CAO Yuany uan . Ac ti o n rec o gni ti o n and ac ti vi ty und erstand i ng a revi ew J*. Jo urnal o f Image and Graph i c s，2009，142 189-1957 3 * ZHU Yu,CHEN Wenb i n,GUO Guo d o ng. uati ng spati o tempo rali nterestpo i ntfeaturesfo rd epth -based ac ti o n rec o gni ti o nJ*. Image and Vi si o n Co mputi ng, 2014,328453-464. 4 * 杨世沛，陈杰，周莉，等.一种基于SIFT的图像特征 匹配方法J*.电子测量技术,014,7650-53. YANG Sh i pei , CHEN Ji e, ZHOU Li, et al. Image feature matc h i ng meth o d based o n SIFT J * Elec tro ni c Measurement Tec h no lo gy 2014 37 6 50-53 5 *宋健明，张桦,高赞,等.基于多时空特征的人体动作 识别算法J*.光电子激光201425102009-2017. SONG Ji anmi ng ZHANG Hua GAO Zan etal Human ac ti o n rec o gni ti o n based o n multi -spati o - tempo ralfeatures J * Jo urnalo f Opto elec tro ni c s ・ Laser,2014,25102009-2017. 6 * ZHU Yu , CHEN Wenbi n , GUO Guo d o ng. Fusi ng multi ple features fo r d epth -based ac ti o n rec o gni ti o nJ*. ACM Transac ti o ns o n Intelli gent Sy stems and Tec h no lo gy 2015,62 1-20. 7 *卜庆志，裘君，胡超.基于HOG特征提取与SVM驾 驶员注意力分散行为检测方法研究J*.集成技术, 2019,8469-75. BU Qi ngzh i , QIU Jun , HU Ch ao . Researc h o n d ri vers d i strac ted beh avi o r d etec ti o n meth o d based o n h i sto gram o f o ri ented grad i ent feature extrac ti o n and suppo rt vec to r mac h i ne J * 7Jo urnal o f Integrati o n Tec h no lo gy,2019,84 69-75. 8 *孙玉玲.基于改进稠密轨迹的人体行为识别方法研究 [D*.天津天津工业大学，2017. SUN Yuli ng7Researc h o nh umanbeh avi o rrec o gni ti o n meth o d based o n i mpro ved d ense trajec to ry [D*. Ti anji nTi anji n Po ly tec h i nc Uni versi ty2017. 9 *沈舒，吴聪，李勃，等.基于优化SVM的高速公路交 通事件检测J*.电子测量技术,2012,3554044. SHEN Sh u , WU Co ng , LI Bo , et al. Freeway traffi c i nc i d entd etec ti o nbased o nano pti mi zed SVM mo d el J * 7Elec tro ni c Measurement Tec h no lo gy 2012 355 40-447 10*罗志增,熊静,刘志宏.一种基于WPT和LVQ神经 网络的手部动作识别方法J*.模式识别与人工智能, 2010,235695-700. LUO Zh i zeng , XIONG Ji ng , LIU Zh i h o ng. Pattern -112 -工矿自动化第46卷 rec o gni ti o n o f h and mo ti o ns based o n WPT and LVQ[J*. Pattern Rec o gni ti o n and Arti fi c i al Intelli genc e, 2010,235695-700. 1* JI Sh ui wang, XU Wei, YANG Mi ng, et l 3D c o nvo luti o nal neural netwo rk s fo r h uman ac ti o n rec o gni ti o n [ J *. IEEE Transac ti o ns o n Pattern Analy si s and Mac h i ne Inteli genc e201335 1 495-502. 2* JEFFREY D, LISA A H, MARCUS R, et l Lo ng term rec urrent c o nvo luti o nal netwo rk s fo r vi sual rec o gni ti o nand d esc ri pti o nJ* IEEE Transac ti o nso n Patern Analy si s i Mac h i ne Inteli genc e201739 4677-6917 3* KAREN S, ANDREW Z Two -stream c o nvo luti o nal netwo rk s fo r ac ti o n rec o gni ti o n i n vi d eo s [C*// Ad vanc es0n NeuralInfo rmato nPro c ess0ngSy stems 2014568-576. 14* SERGEY I, CHRISTIAN S.Batc h no rmalzato n ac c eleratng d eep netwo rk tra0n0ng by red uc 0ng 0nternalc o var0atesh ftC*//Pro c eed 0ngso fth e32nd Internat0o nalCo nferenc eo n Mac h 0neLearn0ng,2015 448-456. 5*王俊，郑彤，雷鹏，等基于卷积神经网络的手势动作 雷达识别方法*北京航空航天大学学报，2018, 44 61117-11237 WANG Jun, ZHENG To ng, LEI Peng,etal7Hand gesture rec o gni ti o n meth o d by rad ar based o n c o nvo luti o nalneuralnetwo rk J*7Jo urnalo fBei ji ng Uni versi ty o f Aero nauti c s and Astro nauti c s, 2018, 44 61117-11237