三维图像采集

三维图像采集摘要：三维重建是计算机图形学、图像处理和计算机视觉研究中的一个重要课题,其包括基于三维点云的重建和基于图像的重建。基于图像的三维重建又包括多幅图像和单幅图像重建。关键字：三维重建离散余弦变换离散小波变换1基于多幅光学图像的三维图像重构算法1.1三维图像重构简介1.1.1三维重构三维重构是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作、和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。客观世界在空间上是三维的，三维重构是计算机视觉技术研究的主要内容之一，在工程技术和其它很多领域一般要对三维物体进行分析，以便获取有用的信息。目前，大多数图像采集装置所获取的图像本身是在二维平面上的，尽管其中可以含有三维物体的空间信息]1[。因此，要从图像认识真实物体，就要从二维图像中恢复三维空间信息，这正是三维立体重建所要完成的任务。基于二维图像的三维重构技术是近年来计算机视觉技术与计算机图形学技术相结合而产生的一门新技术。1.1.2三维重构方法当前，三维重构的方法主要有以下三种：(1)利用传统几何造型技术直接构造模型，就是利用建模软件构造三维模型]2[；(2)动态重构，利用三维扫描设备(如激光扫描仪、深度扫描仪等)对真实物体进行扫描，直接得到物体空间点的信息，进而重构出模型；(3)静态重构，基于数码图片的三维重构，利用光照图像恢复物体的几何外形，即利用摄像机、数码相机从各个视角拍摄的真实物体的2幅或者多幅图像进行重构模型]3[。在上述几类方法中，第一种方法历史最为悠久、发展也最为成熟，而且用途也最为广泛。该方法已被广泛应用于机械、建筑等工程领域和材料加工等产业。但是对于构造比较复杂的三维模型，如果仍然采取这种方法的话，将会是一件耗时费力的工作；动态重构，特别适合于逆向工程、文物保护等应用领域，因为它准确地获得物体表面点的三维坐标，而且重构的精度也非常高，但是由于扫描仪扫描对象的尺寸有限，不能应用于大型物体(如大型铸造件、火山喷发等)的重构，同时，这种重构方法对需要精密、复杂的仪器和辅助设备，价格昂贵，也无法处理具有高光、透明表面的物体，从而限制了该种方法的使用；静态重构，通过数码相机或摄像机成像模型，从二维图像中计算出物体的三维结构，这种方法成本比较低，但是重构的效果不是很精确，而且受外界因素的影响比较大。对基于二维图像三维重构技术的深入研究可以推动各个学科的发展，并促进这些学科的交叉融合。由于基于图像序列的三维重构技术建模简单、更新速度快，极大程度上满足了实时性的要求，因此，基于图像序列的三维重构技术研究具有重要的实际意义，也将具有广阔的应用范围，包括考古学、建筑学等领域和材料加工、医学设备等产业。在材料加工与检测方面，基于图像的三维重构技术已经较成熟地应用于工业钣金件的高精度三维重构与视觉检测系统中；另外随着计算机技术与材料科学的进一步融合，在材料学中，利用X射线进行三维重构，可以动态的显示材料微观结构的变化。1.1.3国内外研究概况随着计算机视觉技术的普及和发展，基于图像的三维重构技术成为CAD/CAM领域的研究重点。各个国家都投入很大的人力、物力和财力，但是发达国家由于其开展的比较早，而且技术比较先进，所以研究的比较深入，而且取得成果也很显著，我们国家在这个方面虽然是刚刚起步，但是在有些领域已经能够代表国家竞争力，同时具备了国际竞争力。CMU大学的Tomasi和kanade]4[等人在VC++平台上，开发出了基于图片的三维重构的系统，该系统利用仿射分解法，对摄像机进行了标定，得到了摄像机的运动参数，然后重构出物体的空间模型。INRIABougnoux等人]6][5[利用未标定的SFM和摄像机自标定等算法，开发了一个提升型三维建模系统。Berkeley大学的Debevoc、Taylor、Malik等]7[完成了著名的建筑物重构系统Facade，该系统要求首先得到建筑物的粗略几何模型和摄像机运动参数，然后将该模型反投到图像上与实际图像作比较，通过减小反投影误差最终计算出建筑物的精确三维结构。Shum等人开发的人机交互式重构系统，利用物体的一组全景图，即从各个角度得到物体的n张图片，然后对这些图像进行处理，重构出其三维实体，或者将场景表示成一系列按深度划分的分层的集合。Faugeras等采用摄像机的自标定方法，利用分层重构等经典的方法，从图像序列中重构出建筑物的形貌。由于建筑物上面的点的三维坐标已知、角度已知，所以利用这些信息就可以直接进行摄像机标定。Katholieke大学的Pollefeys等提出物体表面自动生成系统，该系统是在内参数可以改变的情况下，对摄像机采取了自标定的技术，该系统只要求用摄像机绕物体周围一圈，拍得物体的一系列的图像，然后就可以自动实现自标定和分层重构。目前，国内在三维重构方面也进行了深入的研究，而且在理论和算法方面已经取得了一些成就。在医学方面，三维重构已经取得了辉煌的成果。例如：利用断层扫描技术得到病变区域的图片，然后专家通过图片给出诊断结果。可以说，医学领域的三维重建及其变换应用研究己经处于国内领先地位，有的己达到甚至超过国际先进水平。南京航空航天大学的姜大志发表了数码相机标定方法的研究、上海理工大学机械工程学院的汪伟等发表了基于数码相机图像的三维重构、燕山大学的吴凤等发表了基于单幅图像数据的三维重构方法研究、华中科技大学的章勤等发表了基于多幅深度图像的三位重构技术、西安交通大学的舒远等发表了利用空间正交约束的相机自标定和三维重建、上海大学的吴海峰和朱文文发表了基于径向畸变的数码相机标定及三位重构，还有其它一些文章，分别从不同方向对三维重构进行了研究。1.2三维重构算法三维重建的过程是一个比较复杂的过程，属于技术上的主要难点之一。目前的算法大都处于比较初级的阶段。在实际应用中,复杂产品的实体造型对工程技术人员来说较难掌握。目前各种各样的CAD系统层出不穷,但是直接从二维视图构造三维实体模型的技术还处于研究之中,离实用还有相当的距离。从图像序列获得物体的三维模型,利用机器视觉的研究成果快速实现图像序列的景物重建,是计算机视觉领域中的重要研究课题。从图像序列获取物体三维模型的方法可以依据是否己知摄像机的内参划分成两类:(1)在已知摄像机内参的情况下,称为从运动恢复(校准的)结构;(2)不知摄像机的内参,称为从运动恢复未校准的结构。1.2.1基于图像序列两幅图像的三维重建基于图像序列两幅图像的三维重建是基于图像序列多幅图像三维重建的基础。两幅图像由在不同观察点的摄像机拍摄,设两个摄像机的投影矩阵分别为1P和2P,投影矩阵)(tRKP,其中K为摄像机内参矩阵,)(tR为摄像机外参矩阵,R为33的旋转矩阵,t为13的平移矩阵。1.2.1.1基本概念基本矩阵F又称基础矩阵,将投影矩阵1P和2P中左边的33部分记为AP1和AP2,右边的13部分记为BP1和BP2.设BAABPPPPp11122,则112)(AAxPPpF;若Tzyxp),,(,则000)(xyxzyzpx。估计基本矩阵的方法主要有7点法、8点法和随机采样算法(RANSAC)鲁棒方法。由基本矩阵可得本质矩阵E.在假设摄像机内参K不变的情况下,基本矩阵与本质矩阵E的关系为:1EKKFT。得到本质矩阵后,对本质矩阵E进行奇异值分解,可得两个3阶的矩阵U,V及一个3阶的对角阵S,TUSVE,令110001010W,经推导可得旋转矩阵TUWVR,平移矩阵3ut,其中3u是矩阵U的最后一列。1.2.1.2算法流程本文基于两幅图像的特征点匹配,用RANSAC算法可以得到基础矩阵F,已知摄像机内参很容易由基础矩阵F得到本质矩阵E,进而求得两个摄像机之间的外参数R和t.于是,可得到两幅图像的投影矩阵,01IKP,tRKP2,其中I为33的单位矩阵,1P设置为默认值,通常都假设第一台摄像机没有旋转和平移,第二台摄像机的旋转和平移向量都是相对于第一台摄像机位置的,且假设两个摄像机内参相同。在得到摄像机内外参数K,R,T以及匹配点坐标后,可计算出每个匹配点所对应物体空间点的具体坐标iX.对于投影矩阵1P,令131211,,PPP为对应1P的行向量,Tiilvu,,对应1P图像上第i个匹配点的齐次坐标;对投影矩阵2P,令232221,,PPP为对应2P的行向量,点Tiilvu,,对应图像点的像素坐标为TTiTilvu,,,则02223212312131113iTiTiiiXPvPPuPPuPPuP，通过最小二乘法可求解出iX的值。综上所述，算法流程如下：(1)用传统摄像机定标方法得到摄像机内参;(2)使用Harris方法提取两幅图像的特征点,进行特征匹配;(3)根据特征匹配结果,利用RANSAC算法求取基础矩阵;(4)由基础矩阵得到本质矩阵;(5)根据本质矩阵正确估计摄像机外参数R和t;(6)将摄像机内参数和外参数组合成投影矩阵P;(7)重建两幅图像匹配好的特征点;(8)对两幅图像重建结果进行集束调整。1.2.2基于图像序列多幅图像的三维重建两幅图像的重建是多幅图像序列间三维重建的基础,对于连续的图像序列,相邻两幅图像之间的差别不大,即旋转、平移、视角变化均较小。多幅图像序列的三维重建算法如下:(1)用KLT算法跟踪图像序列得到图像序列的特征跟踪表;(2)选择前两幅图像用两幅图像之间的重建方法进行重建;(3)对两幅图像的重建结果做集束调整;(4)对于每幅新增图像:1)根据已重建的三维点和新增图像特征点的对应关系,用RANSAC算法求新增图像的投影矩阵;2)根据当前图像的投影矩阵,反投影回图像,将那些误差太大的特征点去掉;3)重建当前图像与前一幅图像的匹配点对中未被重建的特征点对;4)去除步骤3)重建后误差太大的三维点;5)将目前所有图像做集束调整;(5)做全局集束调整。图1-4为一组图像序列的三维重建结果，图１为输入图像序列，图２为重建后的模型（包含各个摄像机位置的一个全景图），图３为在摄像机０位置观察到的三维模型，图４为在摄像机３位置观察到的三维模型。图1输入图像序列图2重建后的模型图3摄像机0位置观察到的三维模型图4摄像机3位置观察到的三维模型1.3图像重建示例]9[1.3.1圆锥体CT图像重建系统计算机三维表面重建是指首先运用图像技术从二维图像中分割出兴趣区的轮廓曲线，然后经图形处理，得到其三维结构，从而再现原物体的空间结构。因此，对于三维表面重建而言，边界轮廓的提取尤为重要。为了便于面部边界的提取，先对各CT图片进行颜色处理，去掉非有效区，如头发、支架等部分，并使其色素尽量减少，左图为经过格式转换的头部断层图像。在提取边界时，首先采用逐行扫描图片的办法，通过比较相邻点的像素值，找到图片边界上的一个点，作为切片边界的起点。然后从边界起点开始，逐点判断与之相邻的八个点，如果某点为图片的边界点则记录下，并开始下一步判断，直到获得所有的边界点。右图通过上述方法得到的面部边界轮廓曲线。图：原始CT图像和面部边界轮廓Matlab程序：xo=[0:pi/180:2*pi];%x的值在[0,2]中选取yo=yo+a(i)*cos((i-1)*xo)+b(i)*sin((i-1)*xo);%通过傅立叶系数求y值，其中yo初始值为a0consx=[consx;yo.*cos(xo)];%将x，y值从极坐标系转换到直角坐标系consy=[consy;yo.*sin(xo)];consz=[consz;ones(1,length(xo))*iLayer*(-4.0)];%为每一切片层赋予z坐标值，iLayer为层数surf(consx,consy,consz);%利用surf()函数进行三维表面绘制colormap(gray);%利用colormap()函数为图像定义颜色集shadingflat;%利用shading定义显示图像的颜色阴影light('Position