改进的非局部均值视频超分辨率重建算法.pdf

第44卷 第 “ 期 2018年9月 工矿自动化 Industry and Mine Automation Vol. 44 No. 9 Sep. 2018 文章编号671-251X201809-0037-08 D O I 10. 13272/j. issn. 1671-251x. 2017120081 改 进 的 非 局 部 均 值 视 频 超 分 辨 率 重 建 算 法 张剑英S 宋玉龙S 蔡迎春S 杨秀宇2 1.中国矿业大学信息与控制工程学院， 江 苏 徐 州 221008; 2.山西中煤华晋能源有限责任公司，山 西 河 津 043300 摘要针对基于非局部均值（N L M的视频超分辨率重建方法存在结果过于平滑、 收敛速度慢及计算量 大等问题， 提出一种改进的N L M视频超分辨率重建算法。该方法采用模糊边緣补足算法将经过预处理的 视频图像分成平坦区和纹理区； 对于平坦区， 采用直方图均衡化的方式进行图像增强处理， 以减少算法计算 量； 对于纹理区， 采用改进的N L M重建算法进行处理，通过设计多方向自适应搜索窗并引入邻域相干系数 修正相似性权值， 以增强重建图像的纹理细节， 加快算法的收敛速度； 将重建的纹理区与增强的平坦区进行 叠加归一化处理， 完成整个视频图像的超分辨率重建。实验结果表明， 该算法能够在提高重建图像纹理细节 及峰值信噪比的同时， 降低算法的整体复杂度， 缩短重建时间。 关键词 井下视频图像； 超分辨率重建；非局部均值；模糊边緣补足；多方向自适应搜索窗；相似性 权值 中图分类号T D67 文献标志码A 网络出版地址Lttp //kns. cnki. net/kcms/detail/32. 1627. T P. 20180821. 1028. 001. html Improved super-resolution reconstruction algorithm of non-local mean video Z H A N G Jianying1， S O N G Yulong1 , CAI Yingchun1 , Y A N G Xiuyu2 1. School of Ination and Control Engineering, China University of Mining and Technology， Xuzhou 221008, China; 2. China Coal Huajin Energy C o.， Ltd.， Hejin 043300, China Abstract In view of problems of video super-resolution reconstruction based on non-local mean N L M that reconstructed image was too smooth, convergence speed was slow and calculation amount was large, an improved super-resolution reconstruction algorithm of non-local mean video was proposed. The uses fuzzy edge complement algorithm to divide preprocessed video image into flat region and texture region； for flat region, image enhancement processing is pered by histogram equalization to reduce the amount of algorithm calculation； for texture region, it is processed by the improved N L M reconstruction algorithm, and similarity weights is corrected by designing a multi-directional adaptive search window and introducing neighborhood coherence coefficients, so as to enhance texture details of the reconstructed image and speed up the convergence of the algorithm； Superimposed normalization of the reconstructed texture region and the enhanced flat region is pered to complete super-resolution reconstruction of the entire video image. The experimental results show that the proposed algorithm can reduce overall complexity of the algorithm and shorten reconstruction time while improving the texture 收稿日期2017-12-28;修回日期2018-07-19;责任编辑 胡娴。 基金项目 国家重点研发计划项目（2016YFC081808。 作者筒介 张剑英（1963 ），女，江 苏 徐 州 人，教 授，博 士，研 究 方 向 为 信 息 处 理 、 电 磁 场 理 论 及 应 用 等 ，E-mail508882573qq. com。通信 作 者宋玉龙（1989 ，男，山东济宁人，硕士研究生，研究方向为图像处理，E-mailml8361242398。 引用格式 张剑英， 宋 玉 龙 ， 蔡 迎 春 ， 等.改 进 的 非 局 部 均 值 视 频 超 分 辨 率 重 建 算 法 工 矿 自 动 化 ，2018，4497-44. ZHANG Jianying，SONG Yulong，CAI Yingchun,et al. Improved super-resolution reconstruction algorithm of non-local mean video Industry and MineAutomation，2018，449 37-44. 38 工 矿 自 动 化2 0 1 8 年 第 4 4 卷 图1视频序列降质退化模型 Fig. 1 Degenerate model of video sequence 对H R视 频 帧 兄 （ 1々 0 。 根 据N L M滤波思想， 对 于L R图 像 序 列 中 任意一帧图像G， 其 任 意 一 个 像 素 点 ） 的重建结 果为[ 1 8 ] H A表示与 H R图像等大的单位矩阵。 基 于N L M思想的视频超分辨率重建方法步 骤 ① 对L R图像进行插值， 得 到 待 重 建H R图像 乃 。② 以 乃 为 参 考 帧 ， 结合邻域帧对图像进行重 建 ， 得到高分辨率估计图像。③对高分辨率图像进 行去模糊处理， 得 到H R图像的估计值。 2改进的C L M视 频S R R算法 2.1 1采 用Lanczos插 值 算 法 将L R视频帧进行 预处理， 得到待重建图像乃。 2 利 用 模 糊 边 缘 补 足（ Fuzzy Edge Complement，F E C算 法 对 7k进行自适应分区， 分 为 纹 理 区 和 平 坦 区Tk2。 3对于， 利用改进的相似性权值公式计算 相邻帧之间的权值矩阵。T H中， 与L R图像对应的 点不做处理， 非对应点（ 即插值估计点） 利用改进的 N L M重建公式进行重建。 对 于Tk2,采用直方图均衡化方法直接进行 增强处理。 将重建的纹理区和增强的平坦区进行叠加 归一化， 完成视频帧的重建。 6根据上述步骤完成每一巾贞重建， 最后使用 基于全变分的方法[16]进行去模糊处理。 改进的N L M视 频S R R算法流程如图2 所示。 图2改进的N L M视频S R R算法流程 Fig. 2 Flow of improved N L M video SRR algorithm 40 工 矿 自 动 化2 0 1 8 年 第 4 4 卷 2.2 F E C分区 文献[19]首次提出利用F E C的方法解决模糊 图像边缘提取的问题， 采用式（ 对每幅图像的像素 点进行预处理 一个窗尺度参数为图像中最 大的像素值;//“表示像素点， 〃 ） 的像素值。 以像素点（m，n为中心， 取 大 小 为P X P的图 像块， 根据式8， 利用周围像素的锐度求取中心点 m， 〃 锐度的平均值 Sm* r， . 为缩放因子。 由于该算法对噪声具有鲁棒性， 所以适用于井 下图像边缘纹理提取。本 文 结 合F E C方法对经过 插值放大后的待重建图像中每个像素点进行处理， 将通过式（ 和式（8处理得到的特征图像记作16。 用式（ 9将 中 所 有 像 素 值 映 射 到 [0， 1]区间 Tm* n min rm* n J 8为置信区间的门限值； （ 1， / 分别为置信区间 的下界和上界。 当 /1/时 ， 最优尺度参数就是满足条件的最 大 所 对 应 的 尺 度 ， 即 ft“rCm，E 为置 信区间交叉公共点中的最大值。置信区间交叉规则 如 图 3 所示， 其 中K1，K，K3 所指区域表示置信区 间（ 1、 （ 1， 2、 （ 1，， 3的连续交叉， 第 4 个置信区间 交叉为空， 所 以 ， 最 优 的 窗 尺 度 参 数 为 3,依此类 推 ， 选出每个方向上的最优尺度参数。 1 T| 4 ________________不」 〉_______________Fj___________________-J-o F2 K2」 、 - - U--- h{ h2 h3 h4 图3置信区间交叉规则 Fig. 3 Cross rule of confidence interval “ 设置方向核函数。由步骤（2确定的最优 尺度参数 ft有 唯 一 确 定 的 窗 权 函 数 与 m，n 0I m，n3P rm，n 10 式 中s为图像块中所有像素锐度值的和。 根 据 〜 ，n的值进行分区， 本 文 用 0 表示平坦 区，1 表示纹理区，分区范围如式（ 11所示。 2，1/2 [m， n 1 2 . 3 多方向自适应搜索窗 采 用 多 方 向 搜 索 （Multi-Direction Search， M D S方法给每个待重建像素设计不规则的自适应 搜索窗。该方法的基本思想 将当前像素的周围邻 域平均分成8等份； 在每个特定方向上设置相应的 之对应， 即 取 ， 则方向核函数为 \ i 1 卜 1 \T \⑴ （ 0 13 式中 为 不 同 位 置 的 矢 径 \表 示 以 为变量的方 向旋转算子 表示二维多项式。 4计算支持域。通过步骤（ 2、步骤（ 3设置 窗尺度参数和核函数， 每个方向所对应的支持域 sup 搜索范围） 可表示为 sup 传统N L M算法能够 ， 但是 人 模糊 ，L-N L M算法 得较 图像， 但 重建 过于平 。第 17 中 细 大 图 对 。 文 算法 重 建效 仅 效 有效避免 平 ， 提 重建质量。 3.2 井下视频序列实验 文算法的适用性， 取煤矿井下视频 序列进行实验。与 标 准foreman序列一样， 从视频 中选取2 对比展示。 分辨率帧大小 为 640 X640， 降 质 退 化 为 160X160低 分 辨率帧。 分别采用本文算法、传 统N L M算法、L-N L M算法 和Bicubic算法进行重建， 重建结果如图6 所示。从 依 图 、 Bicubic 算 法 结 、 传 N L M 算法结果、L-N L M算法结 文算法结果。 从图 可以看出， 当视频图像中目标运动较快 时，Bicubic算法适 减弱，重建图 模糊、振铃 效 应 重 。 文 算 法 重 建 图 纹 振铃效应， 效 好 。 42 工 矿 自 动 化2 0 1 8 年 第 4 4 卷 井下视频序列1 图 矿 井 视 频 序 列 重 建 结 果 Fig. 6 Reconstruction result of underground video sequence 3. 3 客观评价 观地评估图像重建的质量， 本文采 用 P S N R、结 构 相 似 性 （Structural Similarity， S S I M和重建时间3 观评价算子分别对仿真和 实验结 。 P S N R计算公式为 P S N R i 10 X lg[ 2M S 2 * 19 式 中 为 每 像 素 的 比 特 数 ， 一 般 取 8 ; M S E为重建 图像与原图 方 。 SSIM 算公 SSIM20 2,, 0 212 02 ,1 ,2 0 2 02 式中,1 ,2 1 2 分别为图像1、 图像2 的均值和方 ； 12图 1、 图 像 2 方差01 02 数 。 P S N R计算结果如图7 所示。从 2 0 帧foreman 序 列P S N R值 出， 本文算法的重建性能明 好 于 其 他 3 种算法。在矿井 P S N R值 1 线图中， 用本文算法得到的P S N R值只在第18帧稍 低 于L-N L M算法， 这是由于第1 8 帧图 过 ， 采 用F E C 图像纹理提取时 所 致 。因此， 采用对 时鲁棒 纹理 提取方法， 井下图 分辨率研究的重点。 表 1 中 算 法 得 到 的P S N R平 均值， 出， 本 文 算 法 的P S N R平均值明显高 于其他3 种算法。 表1 4种 不 同 算 法 的PSNR平 均 值 Table 1 Average PSNR of four different algorithms 1 方fl PSNR平 值 厅夕J BicubicNLMLENLM 文算法 foreman26. 4728.7329. 0431. 52 矿井 频26. 3127.7327.8128. 54 用S S I M从对比度、 亮 度 和 结 构 3 个方面进一 对图 重建质 结 表 2 b 矿井视频序列 图7视 频 图 像 的PSNR值 Fig. 7 PSNR of video sequences 出， 本文算法的S S I M值是最大的。 4 种重建算法的重建时间见表3,其 中，加速比 表示本文算法 传 统N L M算法在平均时间上减 分比。从 表 3 出， 本文算法的重建时间 比Bicubic算法要长， 但 与 传 统N L M算法 ， 重 建时间减 3 0 以上。结合主观视觉效 口 P S N R值、S S I M值等客观评价算子的比较结果来 看 ， 本文算法的重建效 Bicubic算法和传统 N L M算 法 。与L-N L M算 法 相 比 ， 本 文 算 法 从 P S N R和S S I M上都有略微提升， 并且重建时间也 相应减少。 4结语 在传统N L M重建算法的基础上进行改进， 提 出 N L M 频S R R算法。该方法 根 据F E C将待重建的视频图像分为平坦区和纹理 区； 对于平坦区域， 由于包 素信息较少， 直接 利用直方图均衡化方法进行增 ， 从而大大减 算法 算量； 对于纹理区域， 通过 方向自 适应搜索窗， 修正相似性权值计算方 方法增强 图 息 ， 使图像块间 算 确 。 实 验结 表 N L M 频重建算法 2 0 1 8 年 第 9 期张 剑 英 等 改 进 的 非 局 部 均 值 视 频 超 分 辨 率 重 建 算 法 3 表2 4 种不同算法的SSIM值 Table 2 SSIM of four different algorithms SSIM 序列 算法 ----------------------------------------------------------------------------------------------- 第2帧第4帧 第6第8第10帧 第12帧第14帧第16帧 Bicubic0. 6330.5790.5940.6140.5470.5920.6120.645 foremanNLM0. 7690.6520.7450.8200.7530.7990.8320.910 L-NLM0. 7720.6820.7680.8350.7640.8030.8460.911 本文算法0. 8890.8310.9140.9280.8300.9130.9410.948 Bicubic0. 5890.5930.6010.5140.5220.5910.5110.687 矿井视 NLM0.6120.7730.8510.7240.7010.8330.8120.834 频序列L-NLM 0.6240.7830.8640.7440.7080.8390.8240.871 文算法0.7690.8210.8730.8450.9040.9080.8710.919 表 3重建时间 Table 3 Reconstruction time 重建时间/s 加速比/ BicubicNLML-NLM文算法 Poreman13.3629.7820.8118.3938 矿井 频 序列 14.6931.2325.3320.8233 P S N R值、结构相似度和视觉效果的同时，大大减少 了重建耗时。 参考文献（References [ 1 ] 袁亮.煤炭精准开采科学构想）].煤炭学报， 2017, 421-7. Y U A N Liang. Scientific conception of precision coal mining[J] . Journal of China Coal Society, 2017,421 1-7. [ 2 ] 苏衡， 周杰， 张志浩.超分辨率图像重建方法综述 [J] . 自动化学报， 2013,398202-1213. SUHeng,ZHOU Jie，Z H A N G Zhihao. Survey of super-resolution image reconstruction s [J] . ActaAutomatica Sinica， 2013， 398 202-1213. [3 ] A L M AHDI R， HARDIE R C. Recursive non-local means filter for video denoising with Poisson- Gaussian noise [C]//IEEE National Aerospace and Electronics Conference and Ohio Innovation Summit， Dayton， 2016. [4] TSAI R Y， H U A N G T S. Multiframe image restoration and registration [ C ]//Advances in Computer Vision and Image Processing， 1984. [5 ] STARK H， OSKOUI P. High-resolution image recovery from image-plane arrays， using convex projections [ J ] . Journal of the Optical Society of 611715-1726. [6 ] IRANI M ， PELEG S. Improving resolution by image registration [ J]. Cvgip Graphical Models j Image Processing， 1991,533 231-239. [7 ] HARDIE R C ， BARNARD K J， ARMSTRONG E E. Joint M A P registration and high-resolution image estimation using a sequence of undersampled images [J]. IEEE Transactions on Image Processing， 1997, 612621-33. [8] C H E N J，NUNEZ-YANEZ J，ACHIM A. Video super-resolution using generalized Gaussian Markov random fields [J]. IEEE Signal Processing Letters， 2011,1923-66. [9 ] PELLETIERS COOPERSTOCK J R8 Preconditioning for edge-preserving image super resolution [ J ]. IEEE Transactions on Image Processing， 2012， 2117-79. [10] PEREZ-PELLITERO E， SALVADOR J， RUIZ- HIDALGO J， et al. Bayesian region selection for adaptive dictionary-based super-resolution [ C ]// British Machine Vision Conference , 2013. [11] L I U W ， W U S. Superpixels-based non-local means image denoising [C]//IEEE 11th Conference on Industrial Electronics and Applications，Hefei， 2016. [12] ISIDORO J R ， MILANFAR P. A pull-push for fast non-local means filtering [C]//IEEE International Conference on Image Processing， Phoenix， 2016. [13] FEDOROV V ，BALLESTER C. Affine non-local means image denoising [J]. IEEE Transactions on Image Processing， 2017,265 2137-2148. [14] ERTAS M ， A K A N A ，YILDIRIM I，et al. Sparse tomographic image reconstruction using total variation and non - local means [ C ]// IEEE America A-Optics Image Science and Vision， 1989， 第44卷 第“期 2018年9月 工矿自动化 Industry and Mine Automation Vol. 44 No. 9 Sep. 2018 文章编号671-251X201809-0044-07 D O I 10. 13272/j. issn. 1671-251x. 2018030031 计 及 趋 肤 效 应 的 双 鼠 笼 电 动 机 转 子 稳 态 电 流 分 市 王彦文、郭林、赵峰、杨晓洲2 1.中国矿业大学北京）机电与信息工程学院， 北 京 100083; 2.抚顺煤矿电机制造有限责任公司， 辽 宁 抚 顺 113122 摘要 为了在计及趋肤效应情况下有效研究双鼠笼电动机转子稳态电流分布情况， 对独立端环型和共端 环型双鼠笼电动机转子支路进行了等效变换， 利用分层法对上下笼导条支路进行分层处理， 得到了在计及趋 肤效应情况下同时适用于计算独立端环型和共端环型双鼠笼电动机转子稳态电流分布的方法。算例分析结 果表明， 独立端环型和共端环型双鼠笼电动机转子上下笼电流分布基本一致， 频率越高的电流在上笼中的分 布较下笼越密集％工频供电下， 电动机正常运行时， 独立端环型和共端环型双鼠笼电动机转子基频电流分布 基本一致； 工频供电下， 电动机堵转时， 共端环型双鼠笼电动机趋肤效应比独立端环型双鼠笼电动机更明显； 相同电流频率下， 共端环型双鼠笼电动机上下笼电流比值较独立端环型双鼠笼电动机大。 关键词 双鼠笼电动机；转子电流分布；趋肤效应；独立端环；共端环；转子稳态电流 中图分类号TD614 文献标志码 A 网络出版地址http //kns. cnki. net/kcms/detail/32. 1627. TP. 20180824. 1051. 002. html 收稿日期2018-03-09 ;修回日期2018-08-19 ;责任编辑 盛男。 基金项目 中央高校基本科研业务费基金资助项目（2017QJ10。 作者简介王 彦 文 （1962-，男，河 北 唐 山 人，教 授，博 士，博 士 研 究 生 导 师，研究方向为矿山电气安全、 电力系统微机监控等，E-mail wyw 。 引用格式王彦文， 郭 林 ， 赵 峰 ， 等.计 及 趋 肤 效 应 的 双 鼠 笼 电 动 机 转 子 稳 态 电 流 分 布 工 矿 自 动 化 ，2018,449 44-50. WANG YanwenGUO LinZHAO Fenget al. Rotor steady-state current distribution of double squirrel cage motor considering skin effect[J]. Industry and Mine Automation,2018,449 44-50. using non-iocai means [C ]//IE E E International [19] GOODARZI M H， ZAEIM A， SHAHABI A S. International Conference on Imaging Systems and Techniques， Macau， 2015.[18] W A N G A J， JEONG J ， JEON G. Deinterlacing algorithm with an advanced non-local mean filter [J]. Optical Engineering，2012，514 301-311. 2015, 411231-34. [15] ERTA SM ， AKAN A ， YILDIRIM I， et l An iterative reconstruction for tomosynthesis imaging Conference on Imaging Systems and Techniques ProceedingsSantorini2 014. Convergence between fuzzy logic and steganography for high payload data embedding and more security [ C ] // 6th International Conference on Telecommunication Sytem Service and Applications，Bali，2011. [16] PROTTER M ELAD M TAKEDA H et a l . Generalizing the nonlocal-means to super-resolution reconstruction [ J ]. IEEE Transactions on Image Processing，2009,181 36-51.[ 0 ]李 家 德 ， 张 叶 ， 贾 平.采 用 非 局 部 均 值 的 超 分 辨 率 重 构 [J ].光 学 精 密 工 程 ，2013，2161576-1585.[ 7 ]程 德 强 ， 郑 珍 ， 姜 海 龙 . 一 种 煤 矿 井 下 图 像 增 强 算 法 [J ].工 矿 自 动 化 ，2015，4112 31-34.LI Jiade， ZHANG Ye， JIA Ping. Super-resolution reconstruction using nonlocal means[J]. Optics and Precision Engineering，2013，216 1576-1585. CHENG Deqiang， ZHENG Zhen， JIANG Hailong. An image enhancement algorithm for coal mine underground [ J]. Industry and Mine Automation，