摄像机模型及坐标变换

摄像机标定技术机器视觉主要内容1.摄像机标定概述2.摄像机成像模型3.射影几何学简介4.摄像机标定方法1、摄像机标定概述计算机视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体的几何信息，并由此重建和识别物体。空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数。在大多数条件下，这些参数必须通过实验与计算才能得到，这个过程被称为摄像机标定。1、摄像机标定概述标定过程就是确定摄像机的几何和光学参数，摄像机相对于世界坐标系的方位。标定精度的大小，直接影响着计算机视觉的精度。因此，只有做好了摄像机标定工作，后续工作才能正常展开。迄今为止，对于摄像机标定问题已提出了很多方法，摄像机标定的理论问题已得到较好的解决，对摄像机标定的研究来说，当前的研究工作应该集中在如何针对具体的实际应用问题，采用特定的简便、实用、快速、准确的标定方法。摄像机标定的分类根据是否需要标定参照物来看传统的摄像机标定方法摄像机自标定方法在一定的摄像机模型下，基于特定的实验条件，如形状、尺寸已知的标定物，经过对其进行图像处理，利用一系列数学变换和计算方法，求取摄像机模型的内部参数和外部参数。不依赖于标定参照物的摄像机标定方法，仅利用摄像机在运动过程中周围环境的图像与图像之间的对应关系对摄像机进行的标定称为摄像机自标定方法从所用模型不同来分：线性非线性摄像机标定的分类线性模型摄像机标定,用线性方程求解，简单快速，已成为计算机视觉领域的研究热点之一，目前已有大量研究成果。但线性模型不考虑镜头畸变，准确性欠佳；对于非线性模型摄像机标定，考虑了畸变参数，引入了非线性优化，但方法较繁，速度慢，对初值选择和噪声比较敏感，而且非线性搜索并不能保证参数收敛到全局最优解。从视觉系统所用的摄像机个数不同分为单摄像机和多摄像机在双目立体视觉中，还要确定两个摄像机之间的相对位置和方向。摄像机标定的分类从求解参数的结果来分隐式显式摄像机标定的分类为了提高标定精度，就需要通过精确分析摄像机成像的中间过程，构造精密的几何模型，设置具有物理意义的参数(一般包括镜头畸变参数、图像中心偏差、帧存扫描水平比例因子和有效焦距偏差)，然后确定这些未知参数，实现摄像机的显参数标定。隐参数标定是以一个转换矩阵表示空间物点与二维像点的对应关系，并以转换矩阵元素作为标定参数，由于这些参数没有具体的物理意义，所以称为隐参数定标。在精度要求不高的情况下，因为只需要求解线性方程，此可以获得较高的效率。比较典型的是直接线性标定(DLT)。DLT标定以最基本的针孔成像模型为研究对象，忽略具体的中间成像过程，用一个3×4阶矩阵表示空间物点与二维像点的直接对应关系。从解题方法来分解析法神经网络法摄像机标定的分类解析方法是用足够多的点的世界坐标和相应的图像坐标，通过解析公式来确定摄像机的内参数、外参数以及畸变参数，然后根据得到的内外参数及畸变系数，再将图像中的点通过几何关系得到空间点的世界坐标。解析方法不能囊括上述的所有非线性因素，只能选择几种主要的畸变，而忽略其它不确定因素。神经网络法能够以任意的精度逼近任何非线性关系，跳过求取各参数的繁琐过程，利用图像坐标点和相应的空间点作为输入输出样本集进行训练，使网络实现给定的输入输出映射关系，对于不是样本集中的图像坐标点也能得到合适的空间点的世界坐标。根据标定块的不同立体平面摄像机标定的分类平面模板(作为标定物)，对于每个视点获得图像,提取图像上的网格角点，平面模板与图像间的网格角点对应关系，确定了单应性矩阵(Homography)，平面模板可以用硬纸板，上面张贴激光打印机打印的棋盘格。模板图案常采用矩形和二次曲线（圆和椭圆）。标定通过拍摄一个事先已经确定了三维几何形状的物体来进行，也就是在一定的摄像机模型下，基于特定的实验条件如形状、尺寸已知的定标参照物(标定物)，经过对其图像进行处理，利用一系列数学变换和计算方法，求取摄像机模型的内部参数和外部参数。这种定标方法的精度很高。用于定标的物体一般是由两到三个相互正交的平面组成。但这些方法需要昂贵的标定设备，而且事前要精确地设置。不管怎样分类，标定的最终目的是要从图像点中求出物体的待识别参数，即摄像机内外参数或者投影矩阵。然而，不同应用领域的问题对摄像机定标的精度要求也不同，也就要求应使用不同的标定方法来确定摄像机的参数。例如：在物体识别应用系统中和视觉精密测量中，物体特征的相对位置必须要精确计算，而其绝对位置的标定就不要求特别高；在自主车辆导航系统中，机器人的空间位置的绝对坐标就要高精度测量，并且工作空间中障碍物的位置也要高度测量，这样才能安全导航。摄像机标定的分类2.摄像机成像模型图像形成的简单模型来自于光源(如太阳)的光入射到物体表面并被表面反射。反射光进入人眼，最终导致了我们对颜色的感知摄像机成像模型在计算机视觉中，利用所拍摄的图像来计算出三维空间中被测物体几何参数。图像是空间物体通过成像系统在像平面上的反映，即空间物体在像平面上的投影。图像上每一个像素点的灰度反映了空间物体表面某点的反射光的强度，而该点在图像上的位置则与空间物体表面对应点的几何位置有关。这些位置的相互关系，由摄像机成像系统的几何投影模型所决定。计算机视觉研究中，三维空间中的物体到像平面的投影关系即为成像模型，理想的投影成像模型是光学中的中心投影，也称为针孔模型。针孔模型假设物体表面的反射光都经过一个针孔而投影到像平面上，即满足光的直线传播条件。针孔模型主要由光心（投影中心）、成像面和光轴组成。小孔成像由于透光量太小，因此需要很长的曝光时间，并且很难得到清晰的图像。实际摄像系统通常都由透镜或者透镜组组成。两种模型具有相同的成像关系，即像点是物点和光心的连线与图像平面的交点。因此，可以用针孔模型作为摄像机成像模型。针孔摄像机空间点O是投影中心，它到平面∏的距离是f。空间点M在平面∏上的投影(或像)m是以点O为端点并经过点M的射线与平面∏的交点。平面∏：摄像机的像平面点O：摄像机中心(光心)f：摄像机的焦距以点O为端点且垂直于像平面的射线称为光轴或主轴，主轴与像平面的交点p称为摄像机的主点成像平面摄像机坐标系ZXYOMmpf∏上式可表示为下面的矩阵：成像模型的代数表示of摄像机坐标系：O-XcYcZc图像坐标系：O1-XY根据三角形相似原理，有cczyfycczxfx11,0100000000yxmzyxXXffzfyfxmzccccccccc，其中像机矩阵的矩阵，通常称它为摄是一个其中，矩阵则上式可表示为如果记43,),0,)(1,,(PPXmIffdiagPc),(yxmcYcXcZ1OYX),,(ccczyxM常用坐标系及其关系图1摄像机标定中常用坐标系图1表示了三个不同层次的坐标系统：1.世界坐标系2.摄像机坐标系3.图像坐标系（图像像素坐标系和图像物理坐标系）。三个层次的坐标系统（1）世界坐标系（Xw，Yw，Zw）：也称真实或现实世界坐标系，或全局坐标系。它是客观世界的绝对坐标，由用户任意定义的三维空间坐标系。一般的3Ｄ场景都用这个坐标系来表示。（2）摄像机坐标系(xoy)：以小孔摄像机模型的聚焦中心为原点，以摄像机光轴为oz轴建立的三维直角坐标系。x，y一般与图像物理坐标系的Ｘ，Ｙ平行。（3）图像坐标系，分为图像像素坐标系和图像物理坐标系两种：a)图像物理坐标系：其原点为透镜光轴与成像平面的交点，X与Y轴分别平行于摄像机坐标系的x与y轴，是平面直角坐标系，单位为毫米。b)图像像素坐标系[计算机图像（帧存）坐标系]：固定在图像上的以像素为单位的平面直角坐标系，其原点位于图像左上角,Xf，Yf平行于图像物理坐标系的X和Y轴。对于数字图像，分别为行列方向。1)世界坐标与摄像机坐标之间的转换关系：其中，T是世界坐标系原点在摄像机坐标系中的坐标，矩阵R是正交旋转矩阵．111213212223313233011110001xwwywwTwwzrrrtxxxrrrtRTyyyzzzrrrt222111213222212223222313233111rrrrrrrrrR满足约束条件：正交旋转矩阵实际上只含有三个独立变量Rx，Ry，Rz，再加上tx,ty,tz总共六个参数决定了摄像机光轴在世界坐标系中的坐标，因此这六个参数称为摄像机的外部参数。2)图像坐标系与摄像机坐标系变换关系:摄像机坐标系中的一点p在图像物理坐标系中像点P坐标为：//XfxzYfyz齐次坐标表示为：000000000100101fxXfyzYfz将上式图像物理坐标系进一步转化为图像坐标系：00//xxyyuuXdsXvvYdsY其中，u0，v0是图像中心（光轴与图像平面的交点）坐标，dx，dy分别为一个像素在X与Y方向上的物理尺寸，sx=1/dx，sy=1/dy分别为X与Y方向上的采样频率，即单位长度的像素个数。因此可得物点p与图像像素坐标系中像点pf的变换关系为：00////xxyyuufsxzfxzvvfsyzfyz其中，fx=fsx，fy=fsy分别定义为X和Y方向的等效焦距。fx、fy、u0、v0这4个参数只与摄像机内部结构有关，因此称为摄像机的内部3）世界坐标系与图像坐标系变换关系：01112133132332122230313233转化为齐次坐标为：0012000001100101wxwyTwxfuuRTyzvfvMMXMXz这是针孔模型或者中心投影的数学表达式。在摄像机内部参数确定的条件下，利用若干个已知的物点和相应的像点坐标，就可以求解出摄像机的内部和外部参数。三维重建主要目的：从图像出发，求出所有的X摄像机标定：从图像出发，求出内参数M1摄像机标定位或运动参数求解：从图像出发，求出运动参数M23.射影几何学简介为什么要学习射影几何？照相机的成像过程是一个射影变换(透视或中心射影)的过程：物体与其影像不同，但是又有着一些共同的几何性质。射影几何是三维计算机视觉的数学理论基础几何是：研究某个空间里的图形在变换之后保持不变的性质的学科。常见的旋转和平移是欧氏变换，研究在欧氏变换下保持不变的性质（欧氏性质）的几何，是欧氏几何。比如长度、角度、平行性等都是欧氏性质。Euclid（约公元前330-275）《原本》，欧氏几何学整理、归纳、升华照相机的成像过程不保持欧氏性质例如:平行线不再平行无穷远元素平行线交于一个无穷远点;平行平面交于一条无穷远直线;在一条直线上只有唯一一个无穷远点.所有的一组平行线共有一个无穷远点.无穷远点无穷远无穷远在一个平面上,所有的无穷远点组成一条直线,称为这个平面的无穷远直线.平行线无穷远直线3维空间中所有的无穷远点组成一个平面,称为这个空间的无穷远平面.无穷远平面平行线平行平面和直线射影空间对n维欧氏空间加入无穷远元素,并对有限元素和无穷远元素不加区分,则它们共同构成了n维射影空间.1维射影空间是一条射影直线,它由我们所看到的欧氏直线和它的无穷点组成;2维射影空间是一个射影平面,它由我们所看到的欧氏平面和它的无穷远直线组成;3维射影空间由我们所在的空间与无穷远平面组成.齐次坐标在欧氏空间中建立坐标系后,便有了点与坐标间的一一对应,但当引入无穷点以后,无穷远点无坐标,为了刻化无穷远点的坐标,我们引入