 当前位置：首页 > - 论文中心 > - 工业技术论文 |
基于智能手机的街区场景三维重建软件工程分析
|
| 添加时间：2020/6/10 20:31:26 来源：山西职称论文网 浏览次数：1637 |
本文是一篇软件工程论文，本文从多视角图像出发，利用图像信息，以及多视图几何的一些约束，基于 SfM 的算法得到稀疏三维点云。该方法对图像要求较低，并且可以使用视频或任何图像序列在三维中重建。由于可以使用 Matlab 自带的相机标定应用程序，能够快速准确地得到手机的内参矩阵。因此，图像序列在重建过程中实现了摄像机自身的校准，不需要对摄像机进行预校准，满足大规模场景三维重建的要求，在自然地形和城市景观的三维重建中得到广泛的应用。使用立体校正后的图像，计算图像的视差以及深度图，可以得到更加丰富的稠密三维点云，进而更好地描述三维场景。最后使用贪婪投影三角化算法和泊松曲面重建算法进行曲面重建，并使用 Qsplat 系统对点云进行绘制。
第一章 绪论
1.1 研究背景与意义
二十一世纪以来，计算机视觉技术和图像技术发展迅速，人们使用计算机进行三维重建，逐渐融入生活的各个方面。三维立体视觉从最初被应用于机器视觉导航，到现在被应用于流行的三维游戏，具有广阔前景的智慧城市、虚拟现实等领域。我国首颗绕月人造卫星嫦娥一号，通过探测获取月球表面的三维立体影像，能够有效分析月球表面，向人们展示研究计算机视觉技术的必要性。因此，为了能够高效地获取高精度三维模型，研究者们不断改进技术，提出更加完善的方法。
三维重建的传统方法是利用三维扫描仪设备，在使用时被扫描的目标要保持稳定。近年来，随着计算机硬件的迅速发展，计算机在大规模计算方面有了前所未有的提升。尤其是 GPU技术和分布式计算方面的发展，为解决实时高效性的方案提供可能性。硬件方面，现有的内存可以轻易达到 128G，CPU 很多都是 6 核，并且每个核都为双线程，硬盘基本都是 4T 或者以上。手机方面，十年间手机发生天翻地覆的改变，首先传感器质量的提升所带来的像素大小上的提升，此外储存卡的容量上的提升使得存储更加便捷。硬件上的这些提升使得 SfM 技术、MVS 技术可以轻松处理上百万张的图像，从而做到城市集群规模，甚至是国家规模的三维重建。因此，本课题提出使用智能手机拍摄图像和视频，研究相关技术分析和处理这些图像和视频，从而实现街区场景的三维重建，具有重要的理论和实际意义。
本课题基于智能手机的街区场景三维重建，首先使用手机摄像头获取街区视频，通过提取关键帧得到多幅图像，然后利用基于多幅图像的方法获取三维信息，实现三维重建。对场景或物体进行三维重建时，相比于几何造型方法，通过三维扫描设备方法由于在操作方面简单，因此不需要具备丰富的专业知识和熟练的操作，并且构建模型的精度较高，时间复杂度相对较低。但是具有较高性能的扫描仪设备一般价格较高，使用成本很大，因此该方法有很大的限制性。本课题使用手机设备进行视频的拍摄，不仅使用方法简单，且可携带，适用于任何场景的重构，同时可以自动化重建，模型的精度非常高。
.........................
1.2 国内外研究现状
基于图像的三维重建方法和技术，最早的研究可以追溯到美国、日本、欧洲等发达国家。 随着立体视觉研究的深入，许多方面的技术开始趋于成熟。目前而言，该领域在国际范围内的研究机构中，具有代表性有微软剑桥研究院、美国的北卡罗来纳大学、ETH Zurich、美国华盛顿大学等。国内基于图像的三维重建技术的研究开始较晚，但是关于该技术的研究发展却很迅速。该领域在国内的研究机构中，比较有代表性的有浙江大学、南京大学、中国科学院、山东大学、清华大学等。总之，基于图像的三维重建领域积累了大量的研究成果。因为本课题主要研究基于智能手机的街区场景三维重建和绘制技术，下面重点介绍城市街区场景三维重建方面的已有主流技术。
美国华盛顿大学的 Sameer 和微软 live 实验室的 Snavely 等人[1][2]开发了两个关于三维重建的系统，并将其命名为 Photosynth 和 Photo Tourism。通过个人采集大量的图片，再加上利用网络搜集的许多图片，该系统使用这些图片自动化地计算，使得图片的视点和场景参数变为已知，进而重建出稀疏的三维模型。这两个系统的优点在于能够在用户实现的三维场景与图像浏览窗口之间无缝转换。
美国北卡罗来纳大学的 Marc Pollefeys 等人[3][4]研究开发一个全自动化系统，用于从视频流中准确、快速地对城市环境进行三维重建。在城市模型中，用户可以立即看到一个非常大的区域，一目了然地实现了建筑的空间布置，并自由地浏览到最感兴趣的部分。文献[3]中提出一种基于计算机视觉技术实现自动三维重建室外场景的方法。该系统由一个数据采集系统和一个从视频序列离线实时生成三维模型的处理系统组成。通过收集由多摄像机系统拍摄的实时处理视频、GPS 和 INS 数据，以产生代表世界几何外观的地理位置的 3D 模型。这些模型是在场景中生成的，无需手动测量或标记，可用于从任意观测点进行可视化、大面积记录和归档。利用 GPU 的处理能力，实现比实时性能更快的速度，同时保持较高的精度。在研究中由于使用原始视频，这些任务相当困难和耗时。减少模型的冗余，降低系统的成本是该方法需要解决的问题。
图 1.1 基于智能手机的街区场景三维重建处理框架
.......................
第二章 相关理论及技术
2.1 相机模型
相机拍摄照片获取图像的过程，实质上是将现实三维场景利用成像变换投影到二维像平面上，该过程是通过降维映射实现的，可以利用小孔成像模型来描述该过程。通过成像变换，将三维空间变换到二维空间，具体细分为三个步骤：世界坐标系到相机坐标系的变换，相机坐标系到图像坐标系的变换，图像坐标系到像素点坐标系的变换。经过多级的转换之后，可得到三维点与图像上像素点的映射关系。相机成像模型一般分为两种方式，线性和非线性，典型的线性成像模型是小孔成像模型。非线性模型产生的原因，是由于现实中相机透视成像并不是理想的，导致失真带来不同程度的畸变。
2.1.1 成像模型
光学成像模型的简化是相机模型，目前分为线性模型和非线性模型两种方式。但是在实际的成像系统里面，相机透镜成像的模型是非线性的。本文首先讲述了最基本的透镜成像的原理，如图 2.1 所示：
图 2.1 透镜成像原理示意图
.........................
2.2 相机标定
相机参数标定基于相机的投影模型，计算图像投影的相关参数。这些参数可以分为与相机内部特性相关联的内参和与相机空间位置相关联的外参。相机标定的过程就是求解相机的内外参数的过程。在计算机视觉研究领域中，相机标定一直是一个值得研究的热门课题。根据是否引入参照物，分为传统定标方法和自标定方法两类[15]。
2.2.1 传统相机标定
相机标定的传统方法是使用已知结构信息的标定物，通过确定平面图像坐标系中的点与已知的标定物坐标系上的点之间的对应关系，可以求解出该相机的内外参数。按照标定物的维度分类，相机标定分为基于平面标定和基于三维标定两种。其中平面标定板[16]的标定方法是目前最为常用的标定方法，该方法方便灵活，利用棋盘格作为已知的标定物，相机标定时使用多幅不同角度的图像。三维标定物通常使用立方体或者球体，三维标定物的制作难度较二维标定物高。传统方法的优点是可以得到精度较高的相机参数，适用于任意的摄像机模型。目前使用最为广泛的为张正友相机标定法。使用尺寸已知的平面棋盘格，利用棋盘格与平面图像之间的对应关系建立方程，求解相机参数。传统相机标定方法适用于精度要求较高的三维重建场景，但是由于标定之前需要已知标定物的结构信息，且标定的过程很复杂，因此在许多没有标定物的场合就不能使用。
..............................
第三章 基于 SfM 的稀疏点云重建.............................. 20
3.1 图像特征检测与匹配 ............................. 20
3.1 图像特征检测与匹配 ................................ 20
3.1.2 图像特征点检测 ..................................... 20
第四章 稠密三维点云重建 ................................... 33
4.1 稠密点云重建 ........................................ 33
4.1.1 理想双目系统 ............................. 33
4.1.2 视差 ................................... 35
第五章 点云的网格化与绘制 ......................................... 42
5.1 三角网格化 ........................................ 42
5.1.1 Delaunay 三角剖分 .................................. 42
5.1.2 贪婪投影三角化 ................................... 44
第五章 点云的网格化与绘制
5.1 三角网格化
在计算机图形学中，三角形网格定义为由三角形面片表示的曲面。它的表示方法有显式和隐式连接两种，其中 Delaunay 三角化算法是一种常用的基于显式连接关系的算法，基于隐式曲面的方法通常使用全局和局部的调整策略。全局调整策略首先定义一个全局的隐式函数，然后逐步优化这个函数。局部调整策略则是对点云进行划分，然后在局部用一个平面来近似，典型的有泊松表面重建算法。
5.1.1 Delaunay
三角剖分 1934 年，前苏联数学家 Delaunay 提出 Delaunay 三角剖分（Delaunay Triangulation，DT）。对于任意给定的平面点集，仅存在唯一的一种三角剖分方法，满足所谓的“最大—最小角”优化准则，即所有最小内角之和最大，这就是 Delaunay 三角剖分。Delaunay 三角剖分已经被广泛应用于多个领域，如图像处理、数学、物理、工程设计等等 Delaunay 三角剖分定义必须符合的两个准则：
（1）空外接圆准则： Delaunay 三角剖分中任意三角形的外接圆内不包括其他结点，即任意四点不能共圆，具有唯一性，如下图 5.1 所示：
图 5.1 Delaunay 三角网空圆特性
........................
第六章 总结与展望
6.1 总结 本文所完成的工作以及创新点如下：
（1）对常用的特征点匹配算法进行对比分析，选择适合本文的算法。将 SIFT 算法与 KNN匹配算法结合使用，然后利用 RANSAC 算法将误匹配剔除，提高特征匹配的准确率。
（2）本文基于 SfM 的思想，利用多视角几何约束求解透视投影的基础矩阵，本征矩阵以及相机姿态参数，通过三角测量的方法求解三维空间点坐标，再基于 SfM 算法获得场景结构参数恢复场景，得到重建场景的稀疏三维点云。
（3）将稀疏三维点云扩建形成稠密三维点云。根据图像的视差得到与之相关的深度图，将深度图转化为点云，经过配准对数据进行融合，产生一个稠密的三维点云。本文使用 k-d 树建立点云的拓扑结构，再对 k 领域内的点进行局部曲面分析。
（4）提出基于 Delaunay 的曲面重建方法。首先对融合的点云进行分析，得到点云的组成结构，接着使用曲面去描述这个结构，实现点云网格化。本文利用最小二乘法获取表面平滑的点云数据，然后使用贪婪投影三角剖分算法三角化无序点云。
（5）提出一种隐式曲面重建方法。本文使用隐性拟合的方法，首先利用泊松方程求解隐性方程，得到点云模型所描述的表面信息；接着使用等值面提取该方程，从而得到具有丰富的几何实体信息的三维表面模型。
（6）建立了基于智能手机的街区场景三维重建和绘制的处理框架。该处理框架包括手机摄像、图像/视频的云传输、基于图像的三维重建和绘制算法。本文工作的重点是建立这个处理框架，
由于使用已有的算法对点云网格化，并没有得到较好的结果，还需要进一步处理。
参考文献（略）
|
 工业技术期刊推荐 |
|
|
|
