摄像机标定的几种方法

摄相机标定中国科学院自动化研究所模式识别国家重点实验室主要内容1、引言：什么是摄相机标定2、摄相机标定方法的分类3、传统摄相机标定方法（或利用景物信息的标定方法）4、主动视觉摄相机标定方法5、摄相机自标定方法1、引言视觉目的三维重建是人类视觉的主要目的，也是计算机视觉的最主要的研究方向.(Marr1982)所谓三维重建就是指从图象出发恢复出空间点三维坐标的过程。三维重建的三个关键步骤•图象对应点的确定•摄像机标定•二图象间摄像机运动参数的确定Ou摄像机坐标系xyv图像坐标系cXcZcY1O世界坐标系wXwZwYwO1、世界坐标系：2、摄像机坐标系：3、图像坐标系:vu,yx,坐标系sincot00dyyvvdxydxxuuddd在中的坐标为象素在轴上的物理尺寸为1Ovu,00,vudydx,AffineTransformation:图像数字化U1O0udydx0vCdYdXV1100sin/0cot100ddvuuyxvfuffvu齐次坐标形式:其中dyfdxfvu1,1摄像机的内参数矩阵K1100sin/0cot1002、摄相机标定方法分类分三类•传统摄像机标定方法•主动视觉摄像机标定方法•摄像机自标定方法1.传统的摄像机标定方法特点利用已知的景物结构信息。常用到标定块。1.传统的摄像机标定方法•优点可以使用于任意的摄像机模型，标定精度高•不足标定过程复杂，需要高精度的已知结构信息。在实际应用中很多情况下无法使用标定块。2.主动视觉摄像机标定方法•特点已知摄像机的某些运动信息•优点通常可以线性求解，鲁棒性比较高•不足不能使用于摄像机运动未知和无法控制的场合3.摄像机自标定方法•特点仅依靠多幅图像之间的对应关系进行标定•优点仅需要建立图像之间的对应，灵活性强，潜在应用范围广。•不足非线性标定，鲁棒性不高3、摄像机传统标定方法主要内容3.1、DLT方法3.2、RAC方法3.3、张正友的平面标定方法(ICCV,1999)3.4、孟胡的平面圆标定方法(PR,2003)3.5、吴毅红等的平行圆标定方法(ECCV,2004)3.1、直接线性变换（DLT变换）DLT:DirectLinearTransformationAbdal-Aziz和Karara于70年代初提出了直接线性变换像机定标的方法，他们从摄影测量学的角度深入的研究了像机图像和环境物体之间的关系，建立了像机成像几何的线性模型，这种线性模型参数的估计完全可以由线性方程的求解来实现。DLT变换直接线性变换是将像点和物点的成像几何关系在齐次坐标下写成透视投影矩阵的形式：DLT变换11143其中为图像坐标系下的点的齐次坐标，为世界坐标系下的空间点的欧氏坐标，为的透视投影矩阵，为未知尺度因子。1,,vuDLT变换0034333231142322213433323114131211upuZpuYpuXppZpYpXpupuZpuYpuXppZpYpXp消去，可以得到方程组:sijp43P当已知个空间点和对应的图像上的点时，可以得到一个含有2*个方程的方程组：DLT变换0AL其中为的矩阵，为透视投影矩阵元素组成的向量。12*2NLATpppppppppppp343332312423222114131211,,,,,,,,,,,NNDLT变换像机定标的任务就是寻找合适的，使得为最小，即||||ALL||||minALL给出约束：134pBCCCLTT1')(为的前11个元素组成的向量，为前11列组成的矩阵，为第12列组成的向量。LCABA'LDLT变换134p是否合理？约束不具有旋转和平移的不变性,解将随着世界坐标系的选取不同而变化.134p证明：世界坐标系作刚性坐标变换10'tRPP则34333232131'34ptptptpp显然在一般的情况下'3434pp另一个约束具有旋转和平移的不变性1233232231pppDLT变换1coscoscos322212由1321R3P3R2R312111,,rrr332313,,rrr322212,,rrr),,(333231ppp向量,,是两两垂直的单位向量1R2R3R3.2、R.Tsai的RAC的定标算法80年代中期Tsai提出的基于RAC的定标方法是计算机视觉像机定标方面的一项重要工作，该方法的核心是利用径向一致约束来求解除（像机光轴方向的平移）外的其它像机外参数，然后再求解像机的其它参数。基于RAC方法的最大好处是它所使用的大部分方程是线性方程，从而降低了参数求解的复杂性，因此其定标过程快捷，准确。简介zt•像机模型•径向一致约束•定标算法主要内容世界坐标系和摄像机坐标系的关系像机模型cocxcy'oczOwYwZwXxy1)(1ZYXtRKyx在Tsai的方法中，K取作：1,0,0,,0,0,00vfusfK理想图像坐标到数字图像坐标的变换（只考虑径向偏差）ccccvvvukvyuuvukux))(1)(())(1)((221221像机模型(u,v)为一个点的数字化坐标，（x,y）为理想的数字化坐标，（uc,vc）为畸变中心。（uc,vc）(u,v)（x,y）径向一致约束在图像平面上，点（xc,yc），（x,y），（u,v)共线，或者直线(xc,yc)(x,y)与直线（xc,yc）（u,v）平行或斜率相等，则有：ccccvvuuvyux通常把图像中心取作畸变中心和主点的坐标，因此：0000vvuuvyux定标算法1.利用径向一致约束来求解和21,,ttRs定标步骤:2.求解有效焦距、方向上的平移t3和畸变参数fz1k1,0,0,,0,0,00vfusfK定标算法——步骤一1.求解像机外参数旋转矩阵和、方向上的平移Rxy根据：1)(1ZYXtRKyx得到：039871321)(utZrYrXrtZrYrXrfsx039872654)(vtZrYrXrtZrYrXrfy987654321rrrrrrrrrR321tttt1,0,0,,0,0,00vfusfK定标算法——步骤一再根据：0000vvuuvyux得到：0026541321)(vvuutZrYrXrtZrYrXrs由至少7组对应点，可以求得一组解M0=(m1,m2,m3,m4,m5,m6,m7,m8)(sr1,sr2,sr3,st1,r4,r5,r6,t2)定标算法——步骤一对M0除以272625mmmc则得到一组解。(sr1,sr2,sr3,st1,r4,r5,r6,t2)由可求出s,从而t1也可被解出。1232221rrr),,(),,(),,(654321987rrrrrrrrr),,(),,(),,(321654987rrrrrrrrr或者根据，来选择1)det(R),,(987rrr定标算法——步骤二2.求解t3,f,k1k1=0作为初始值，则：0000vvvyuuux039871321)(utZrYrXrtZrYrXrfsx039872654)(vtZrYrXrtZrYrXrfy定标算法——步骤二将x,y的表达式代入，并将上一步中求出的R,t1,t2的值代入，得：)())((132139870tZrYrXrfstZrYrXruu)())((265439870tZrYrXrftZrYrXrvv由此可解出f,t3定标算法——步骤二将求出的和连同作为初始值，对下式进行非线性优化01k3tf估计出、和的真实值。3tf1k022139872654022139871321))(1()())(1()(vvvuktZrYrXrtZrYrXrfuuvuktZrYrXrtZrYrXrfs3.3、张正友的平面标定方法张正友方法0,,YXMcXcZcYvum,wXwZwYwOO张正友方法基本原理：1][10][121321YXtrrKYXtrrrKvus•在这里假定模板平面在世界坐标系的平面上•其中，为摄像机的内参数矩阵，为模板平面上点的齐次坐标，为模板平面上点投影到图象平面上对应点的齐次坐标，和分别是摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量KTvum]1[~TYXM]1[~t][321rrr0ZH][][21321trrKhhhH0211hKKhTT212111hKKhhKKhTTTT根据旋转矩阵的性质，即和，每幅图象可以获得以下两个对内参数矩阵的基本约束021rrT121rr由于摄像机有5个未知内参数，所以当所摄取得的图象数目大于等于3时，就可以线性唯一求解出K张正友方法2121111,1hKrhKr张正友方法所用的平面模板张正友方法算法描述张正友方法1.打印一张模板并贴在一个平面上2.从不同角度拍摄若干张模板图象3.检测出图象中的特征点4.求出摄像机的内参数和外参数5.求出畸变系数6.优化求精张正友方法张正友的平面标定方法是介于传统标定方法和自标定方法之间的一种方法。它既避免了传统方法设备要求高，操作繁琐等缺点，又较自标定方法精度高，符合办公、家庭使用的桌面视觉系统(DVS)的标定要求。张的方法是需要确定模板上点阵的物理坐标以及图像和模板之间的点的匹配，这给不熟悉计算机视觉的使用者带来了不便。3.4、孟晓桥、胡占义的圆标定方法孟胡方法所用的模版孟胡方法从至少三个不同方位拍摄模板图象，根据射影不变性计算出每幅图象上的圆环点像的坐标，得到关于内参数矩阵的至少六个方程，即可解出所有内参数。孟胡方法•计算圆环点像的原理：)0,,1(i1B模板平面)0,,1(i)0,,1(i1AO1B1C2A2B2C无穷远直线圆环点为无穷远点，它是绝对二次曲线上的一对共轭点0,00232221xxxx(1,i,0,0)(1,-i,0,0)是一对圆环点孟胡方法在图像上，两个圆环点的图像被计算出，则有：21,mm0111mKKmTT0212mKKmTT0xxTTxxx),,(321x0,00232221xxxxTTxxx)0,()0,,,(321xX3213210)(1xxxKRxxxtRKvu32111xxxRvuK01)1(1vuKKvuT孟胡方法•孟胡的方法与张的方法相比：过程相似；所用的模版不同，孟胡的方法基于曲线拟合（稳定），并且不需要任何匹配，而张的方法基于点，需要匹配模版的点和图像点。3.5、吴等的平行圆标定方法吴等的标定方法•平行圆：同一个平面上的圆、或平行平面上的圆。•原理：利用摄像机成像的准仿射不变性，计算图像上二此曲线的交点，得到圆环点的图像21,mm0111mKKmTT0212mK