水下三维视觉测量监控系统的设计与实现.pdf

硕硕士士学学位位论论文文 题题目目 水下三维视觉测量监控 系统的设计与实现 研研 究究 生生赵涛涛 专专业业电子与通信工程 指导教师指导教师杨俊毅研究员 完成日期完成日期（2021 年 3 月） 万方数据 杭州电子科技大学硕士学位论文杭州电子科技大学硕士学位论文 水下三维视觉测量监控水下三维视觉测量监控 系统的设计与实现系统的设计与实现 研研 究究 生生赵 涛 涛 指导教师指导教师杨 俊 毅研 究 员 2021 年 3 月 万方数据 Dissertation ted to Hangzhou Dianzi University For the Degree of Master Design and implementation of Underwater stereovsion Surveillance system CandidateTaotaoZhao SupervisorProf. Junyi Yang March，，2021 万方数据 杭州电子科技大学杭州电子科技大学 学位论文原创性声明和使用授权说明学位论文原创性声明和使用授权说明 原创性声明原创性声明 本人郑重声明 所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取 得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写 过的作品或成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 论文作者签名日期年月日 学位论文使用授权说明学位论文使用授权说明 本人完全了解杭州电子科技大学关于保留和使用学位论文的规定，即研究生在校攻 读学位期间论文工作的知识产权单位属杭州电子科技大学。本人保证毕业离校后，发表论文 或使用论文工作成果时署名单位仍然为杭州电子科技大学。学校有权保留送交论文的复印 件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用影印、缩印 或其它复制手段保存论文。（保密论文在解密后遵守此规定） 论文作者签名日期年月日 指导教师签名日期年月日 万方数据 杭州电子科技大学硕士学位论文 I 摘要 当前渔业生产规模越发庞大，市场竞争压力随之加剧。渔业养殖中，鱼类的观测直接影 响到商品鱼的健康状况、出售时间以及鱼类分级等，进而对养殖效益产生影响。因此，对商 品鱼的有效观测至关重要。 相较传统观测手段， 水下立体视觉测量技术集观察与测量于一体， 简单高效、可观性强。然而，现有的水下立体相机系统存在工作量大、实时性差、可观性不 足、远程立体视频传输不同步等问题，无法满足大规模渔业生产的要求。 本文针对上述问题，设计开发出了一套立体视觉测量监控系统，实现远程实时水下鱼类 监控测量，提高观测效率及质量。本系统分为水下立体摄像机设备和上位机监控测量软件两 个部分。硬件部分针对测量精度、视频同步传输等需求，对水下立体摄像机设备的摄像头、 核心板进行选型， 并对载板电路进行设计。 嵌入式软件部分针对立体视频远程实时传输需求， 采用多线程进行立体视频帧的同步采集，并进行同步视频帧的合并与传输，实现立体视频的 远程同步传输。 本文通过对水下相机标定过程的推导，得出结论在一定约束条件下，水下立体相机可 以使用小孔成像模型对水下立体相机进行标定；对基于非平行立体视觉模型的立体相机的三 维重建的过程进行推导，分析其物理意义，并计算空间点的三维坐标表达式。上位机基于 QT 界面编程框架，利用 FFmpeg 库对视频软件进行开发，实现视频同步播放与存储，根据标 定、 三维重建的原理与结论进行水下三维立体测量软件功能的开发，利用 AD_Census 立体匹 配算法实现精确的半自动特征点提取。最后通过立体视频播放、立体标定结果、水下测量的 结果对系统测量监控功能进行了验证，并将半自动特征点选取与手动匹配选点的测量结果进 行对比，验证了半自动特征点选取方式的优势。 关键词双目视觉技术，立体视频传输，水下双目相机标定，QT 万方数据 杭州电子科技大学硕士学位论文 II ABSTRACT As the fishery develops, it is becoming more and more competitive. The observation of farmed fish is closely related to the fish health,the selling season and the grades of fish,which contribute to fishery benefits. However, the traditional s of observation can not meet the current scale of fishery production. Underwater stereovision measurement technology-integrate observation with measurement , can solve the problems above.When it turns to the application of underwater stereo camera system in fishery environment, however,its weakened by huge workload, insufficient real-time perance, insufficient observability, and asynchronous remote stereo video transmission. This paper will make an introduction to a design of stereovision measurement monitoring system with remote real-time underwater fish monitoring ,which has a better perance of the efficiency and quality.The system is divided into two parts underwater stereo camera equipment and host monitoring and measuring software. According to the requirements of measurement accuracy and video synchronization transmission, the camera and core board of the underwater stereo camera equipment are selected for the carrier board circuit. To meet the needs of remote real-timetransmissionofstereovideo,theembeddedsoftwareusedmulti-threadingto synchronously collect stereo video frames. It also realized the remote synchronous transmission by combining the synchronous video frames. Based on the derivation of the underwater Stereovision calibration process, this paper draws the conclusion that the underwater stereo camera can use the small hole imaging model to per stereo calibration on the underwater stereo camera under certain constraints. This paper derives the process of the 3D reconstruction of the stereo camera based on the non-parallel stereo vision model, and analyzes its physical meaning to calculate the 3D coordinate expression of the space point. The software part realized processing of audio and video and complete synchronous video playback and storage , which are based on the QT interface programming framework and FFmpeg library. Based on the principles and conclusions of calibration and 3D reconstruction, the underwater 3D measurement software functions had been developed. Using AD_Census stereo matching algorithm, the accurate semi-automatic feature point extraction had been achieved. Finally, the systems measurement monitoring function was verified through stereo video playback, stereo calibration results, and underwater measurement results. The semi-automatic feature point extraction is compared with the measurement results of manual selection, which verifies the advantages of the 万方数据 杭州电子科技大学硕士学位论文 III semi-automatic feature point selection . Keywords Stereovisiontechnology,Stereovideotransmission,UnderwaterStereovision Calibration,QT 万方数据 杭州电子科技大学硕士学位论文 IV 目录 摘要..................................................................................................................................................I ABSTRACT........................................................................................................................................II 目录...............................................................................................................................................IV 第 1 章 绪 论.....................................................................................................................................1 1.1 研究背景与意义..................................................................................................................1 1.2 国内外研究现状..................................................................................................................2 1.3 课题研究内容及需求..........................................................................................................5 1.3.1 课题研究内容...........................................................................................................5 1.3.2 课题设计需求...........................................................................................................5 1.4 本章小结..............................................................................................................................6 第 2 章 水下立体相机系统总体设计...............................................................................................7 2.1 系统总体框架设计..............................................................................................................7 2.2 水下相机软硬件设计方案选择..........................................................................................7 2.2.1 摄像头选型...............................................................................................................7 2.2.2 核心板选型...............................................................................................................9 2.2.3 音视频编程框架的选择.........................................................................................10 2.2.4 视频传输协议的选择.............................................................................................10 2.3 上位机软件设计方案选择................................................................................................11 2.3.1 音视频编程框架.....................................................................................................11 2.3.2 上位机编程框架.....................................................................................................11 2.4 本章小结............................................................................................................................12 第 3 章 水下双目相机的软硬件设计.............................................................................................13 3.1 水下双目相机嵌入式载板电路的设计............................................................................13 3.1.1 嵌入式载板电路的总体设计.................................................................................13 3.1.2 输入接口保护电路的设计.....................................................................................13 3.1.3 载板电源系统电路的设计.....................................................................................14 3.1.4 载板外设接口电路的设计.....................................................................................20 3.2 立体相机同步视频采集与传输软件的设计....................................................................23 3.2.1 双目相机设计背景.................................................................................................23 3.2.2 软件编程总体设计.................................................................................................23 万方数据 杭州电子科技大学硕士学位论文 V 3.2.3 软件编程框架与协议.............................................................................................24 3.2.4 立体视频同步采集的软件设计.............................................................................25 3.2.5 立体视频同步传输的软件设计.............................................................................26 3.3 本章小结............................................................................................................................27 第 4 章 水下立体视觉测量原理分析.............................................................................................29 4.1 引言....................................................................................................................................29 4.2 水下立体相机标定............................................................................................................29 4.2.1 水下相机成像模型的分析......................................................................................29 4.2.2 空气中小孔成像模型的分析.................................................................................33 4.3 三维重建............................................................................................................................35 4.3.1 立体视觉的测量原理.............................................................................................35 4.3.2 极线约束.................................................................................................................39 4.3.3 立体匹配.................................................................................................................41 4.4 本章小结............................................................................................................................41 第 5 章 测量监控上位机软件设计.................................................................................................43 5.1 引言....................................................................................................................................43 5.2 立体视频播放存储的软件设计........................................................................................43 5.2.1 播放存储的软件总体设计.....................................................................................43 5.2.2 视频播放功能的实现.............................................................................................44 5.2.3 视频存储功能的实现.............................................................................................48 5.3 水下目标物立体测量的软件设计....................................................................................50 5.4 本章小结............................................................................................................................55 第 6 章 系统实验与验证.................................................................................................................56 6.1 硬件功能调试....................................................................................................................56 6.2 水下标定实验与验证........................................................................................................56 6.3 水下立体测量实验............................................................................................................62 6.3.1 上位机的检测.........................................................................................................62 6.3.2 测量精度验证.........................................................................................................63 6.4 本章小结............................................................................................................................66 第 7 章 总结和展望.........................................................................................................................67 7.1 本文工作总结....................................................................................................................67 7.2 论文展望............................................................................................................................68 致谢...............................................................................................................................................69 参考文献...........................................................................................................................................70 万方数据 杭州电子科技大学硕士学位论文 VI 附录...............................................................................................................................................73 万方数据 杭州电子科技大学硕士学位论文 1 第第 1 1 章章 绪 论 1.1 研究背景与意义 在过去的几十年里，水产养殖产量和经济产量快速增长，随着生产规模的扩大，渔业生 产面临着来自经济和社会的挑战。通常一个典型的养鱼场有 8 到 16 个单独的养殖网箱，每 个养殖网箱的周长通常高达 157 米，容量约为 4 万立方米，可容纳多达 20 万条鱼。工作人 员通常只有 5 到 10 人，这意味着每个人可能要负责数百万动物，总计 15000 t 的生物量[1]。 渔业生产主要从规模经济中获益，为了应对市场的挑战，养殖场的规模和单个笼子的大小都 有所增加，养殖更多的鱼，从而增加利润[2]。这加重了工作人员的劳动负担。工作人员几乎 不可能通过直接观察来评估这些动物和收集关于种群状况的信息。渔业养殖需要更加便利的 监控管理。 在海上渔场养殖中养殖对象的健康状态以及与养殖对象息息相关的水下环境，利用传统 的方法进行观测，比如水下声呐观测、潜水员直接水下观测等方法，有安全性低、成本高、 实时性低、观测效果差等缺点。而视频监控技术应用于渔场养殖环境中可以实时监控着水下 养殖对象的状态、水下的环境，同时存在成本低、安全性高、实时性高等优点[3][4]，也因此 水下视频监控将成为渔场养殖中极为关键的技术。 在水下视频监控中对鱼类所需要收集的各种信息中，鱼体的尺寸信息尤为重要。在鱼类 养殖中，鱼类尺寸信息是判断鱼类最佳收获时间的必要条件。此外鱼的长度分布可以用来预 测种群水平特征的范围[5][6]， 并在养殖过程中科学地评估存量[7][8]。 无论是水产养殖还是市场， 鱼的分级是一个重要的和经常的操作。在饲养过程中，鱼需要按大小分级;渔民可以将生长速 度快的和生长速度慢的区分开来，调整食物的分配和管理，以降低成本。为了适应市场，鱼 在收获后应按大小分类，以估计其价值。这一步对于设定不同的价格和方便地管理市场是必 要的。同时，尺寸信息可以用来监测食品行业的质量，这可以帮助渔民评估价格。当在一个 池塘或网中饲养多种鱼类时，必须识别不同的品种，测量尺寸信息是识别的重要手段。大小 信息可以识别不同的性别，甚至可以根据不同性别不同个体的大小差异来估计年龄。尺寸信 息还可以用于许多其他测量问题。鱼的重量也是判断鱼是否满意的一个重要而直接的参数， 渔民或销售商可以测量鱼体大小，并利用大小与重量的高度相关性来估计重量。所以水下视 频监控系统是否能够对鱼类进行精确测量是十分重要的。 传统的鱼类体长信息的获取的方法有诸多弊端。比如潜水员水下观测法，这种方法获取 鱼类体长信息依赖于潜水工作人员的经验，经验丰富的潜水员所获取的体长信息误差相对较 低，但消耗人力物力，成本较高。也有将鱼直接捕捞上来，对鱼手动接触测量的方法，该方 法测量误差小，但是会影响之后鱼类吃饵的情况，不利于鱼类的生长[9]。又比如利用声呐对 万方数据 杭州电子科技大学硕士学位论文 2 鱼类体长信息进行测量的方法，声呐可以获得较广测量范围，它安装在船上或固定设施上测 量鱼群或大型鱼类[10]。然而，声呐捕获的图像质量不是很高[11]，并且对于小型鱼类的观测能 力较弱，系统成本高昂[12][13]。随着水下封装技术的发展，水下相机的应用逐渐广泛起来。有 使用单目相机对鱼类体长进行测量的方法，但是单目相机采集的鱼类图像局限于二维平面， 鱼类尺寸的测量需要根据标准参考物来进行计算。同时参考物与鱼类的空间位置的不同，测 量的结果会随之产生不同的误差。为了获取更高的观测精度双目立体视觉技术逐渐应用于水 下观测。水下双目立体视觉对鱼类进行测量的精度相对于声呐，单目相机提高了很多，经过 多年的发展，双目立体视觉技术已经较为广泛应用于水下各种研究。但水下双目立体视觉技 术在渔业养殖中的应用并不多见。 为此本课题将基于三维立体视觉技术设计出一套集视频监控与非接触测量的水下双目 立体测量监控系统，并致力于精确测量养殖水产的尺寸，提高其自动化性能，实时监控能力， 以满足渔场环境下，人们对该系统的需求。 1.2 国内外研究现状 水下双目立体测量系统最早于 1995 年由 Harvey 和 Shortis（1995）开发出来，用来方便 潜水员对水下鱼类的测量。而因其结构简单，广泛搭载于水下观测设备中[14]。目前已有近 20 年的发展，如下是对近几年国内外水下生物立体视觉测量系统的简要概述。 2015 年美国太平洋岛屿渔业科学中心为估计夏威夷和太平洋岛屿商业重要鱼类物种的 物种特异性、大小结构丰度。在其原有的 BotCam 系统[15]上重新开发，创建了模块化的水下 光学测量系统 MOUSS。该系统使用高度为水下 250m,它由 2 个微光相机（ST-CAM-1920HD 工业相机 ）、一个数字视频记录模块、一组电池，以及外部框架组成，如下图 1.1 所示。总 质量为 29.43 千克。体积大小0.25m*0.50m*0.75m。基线距为 75cm,相机以 5角向内聚合。 相机设计的标准帧率为 12fps/s,摄像机的分辨率为 1936*1456.其中视频图像的储于硬盘中。 而 对视频图像的提取有两种方法，通过网络端口下载和直接取硬盘法。其视频图像分析在图像 提取后利用 SeaGIS EventMeasure™ 软件进行分析[16]。 图 1.1 MOUSS 双目相机系统图 万方数据 杭州电子科技大学硕士学位论文 3 2014 年 Katherine M. Dunlop 等为研究深海海底巨型动物在碳生物扰动、 再矿化和固存中 的作用研发了一套立体摄像机系统。该系统的双目相机采用高分辨率数字彩色静止摄像机 （Prosilica GX1920，240 万像素）。摄像机具有 5 mm 广角镜头和可在水中操作的校正光学 元件，并分别固定在一个钛合