北理工贾云德《计算机视觉》第十二章-标定

第十二章第十二章标标定定北京理工大学计算机系北京理工大学计算机系系统标定立体视觉系统框图上图为标定过程，下图为三维恢复过程北京理工大学计算机系12.1引言:摄像机标定的基本问题(1)绝对定位：通过标定点确定两个坐标系在绝对坐标系统中的变换关系，或确定测距传感器在绝对坐标系中的位置和方向．(2)相对定位：通过场景中的标定点投影确定两个摄象机之间的相对位置和方向．(3)外部定位：通过场景中的标定点投影确定摄象机在绝对坐标系中的位置和方向．空间刚体变换关系：三个旋转角、三个平移分量xppspppyxf,,,,,,,,,321321κκκzyxttt,,,,,φψθ(4)内部定位：确定摄象机内部几何参数，包括摄象机常数，主点位置，透镜径向变形系数和偏心系数，行列比系数等．北京理工大学计算机系12.2坐标变换•刚体变换p点在第一个视场中的坐标p1可以通过旋转和平移变换到第二个视场中的坐标p2，tRpp+=12⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=zzzyzxyzyyyxxzxyxxrrrrrrrrrR其中•旋转矩阵空间角可用直角坐标系中的欧拉角描述绕x轴旋转角θ,俯仰角(pitch)或垂直角;绕新的y轴旋转角ψ,偏航角(yaw)或水平角;绕新的z轴旋转角φ,滚动角(roll)或扭转角(twist).ψθψθψφθφψθφθφψθφψφθφψθφθφψθφψcoscoscossinsincossinsinsincoscoscossinsinsinsincossinsincossincossincoscossinsincoscos==−=−=+==+=−==zzzyzxyzyyyxxzxyxxrrrrrrrrr⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=zzzyzxyzyyyxxzxyxxrrrrrrrrrRxzy•旋转轴),,(zyxωωω逆时针(右手坐标系)绕单位矢量(轴)的旋转．转换成矩阵表达式一种观察旋转的非常直观方法在数值计算上也有和欧拉角一样的问题．*直接使用旋转轴和旋转角表达式可以产生满意的数值解.在这种思路的基础上产生了旋转四元数.•四元数()432,1,,qqqqq=四元数是一个四元矢量,可用来表示坐标旋转对于定位求解问题，四元数表示可以给出很好的数值解　　　　　　　　　　　　　　　　　　　　　　),(yx　　　　　　　　　　　　　　　　　　　θ单位圆上的任何一个位置都只对应于一个旋转角．单位球上的任意一点三维空间中所有三个旋转角可以通过四维单位球上的点来表示．由单位四元数表示的旋转公式如下：123222120=+++qqqq用单位四元数表示刚体变换的旋转矩阵：()()()⎢⎢⎢⎣⎡−+−−+=203130212322212022qqqqqqqqqqqqqR()()103223212220302122qqqqqqqqqqqq+−−+−()()222123201032203122qqqqqqqqqqqq−−+−+12.312.3绝对定位绝对定位•确定两个或多个坐标系之间的刚体变换问题．•将所有的测量值均表示在一个公共的坐标系里．•摄象机坐标系和绝对坐标系的关系()cccczyx,,=p()aaaazyx,,=pzczzczyczxaycyzcyycyxaxcxzcxycxxatzryrxrztzryrxrytzryrxrx+++=+++=+++=四个共轭对产生12个方程才能解出12个未知数YaC1C2C3ZaXa•求解问题的基本方法两个点集，并求矩中心：{}npppp,2,1,,,,ccccL={}napppp,2,1,,,,Laaa=∑==niiccn1,1pp∑==niiaan1,1pprppcicic,,=−rppaiaia,,=−点集的矢量表示：求解每对射线标量积的极大值，使得共轭射线对正：()χ21=⋅=∑rqaiciinRr,,求得旋转矩阵后可以求解平移矩阵：()ccpqRpta−=12.412.4相对定位相对定位•用场景点在两个图像平面上的投影来确定两个摄象机坐标系之间的关系．•相对定位问题是双目立体视觉系统标定的第一步•场景点p在不同摄象机坐标系中的坐标关系：llllzyFy=′rrrrzxFx=′),,(rrrrzyx=p′=′′pr(,)xyrrllllzxFx=′),,(llllzyx=prrrrzyFy=′′=′′plllxy(,)将左摄象机坐标系转换为右摄象机的刚体变换:llrllzlzzlzylxzrllrrllylyzlyylxyrllrrllxlxzlxylxxFzzzFtzryrxrFFzzyzFtzryrxrFFzzxzFtzryrxr=+′+′+′′=+′+′+′′=+′+′+′zlzzlzylzxrylyzlyylxyrxlxzlxylxxrtzryrxrztzryrxrytzryrxrx+++=+++=+++=12+2n个未知量,7+3n个方程（旋转正交6个约束，单位基线1个约束），5个共轭对。12.512.5校正校正校正(rectification)是立体图像对重新取样的过程，以使得外极线对应于图像阵列的行．基本思想：校正左、右图像平面位置，使这两个平面与两摄像机光学中心连线平行.将两图像投影到一个平面上就能得到理想的极线几何．左(右)摄象机中的每一个像素点分别对应于左(右)摄象机坐标系统中的一条射线。设Tl和Tr分别表示将左、右摄象机的射线变换到公共平面坐标系的刚体变换，确定每个图像的顶点在公共平面上的位置，创建新的左、右图像网格，将每一个网格点变换回原来的图像上．使用双变量线性内插方法内插像素值可确定公共平面上新的左、右图像中的像素点。12.612.6摄象机标定摄象机标定摄象机标定建立图像阵列中的像素位置和场景点位置之间的关系包括外部定位问题内部定位问题基本方法基本方法利用径向透镜变形而造成实际图像坐标与理想图像坐标不同导出摄象机常数.但因标定点在一个平面上不能确定比例系数．12.612.6摄象机标定摄象机标定((续续))非线性方法非线性方法基本思想:测量标定点在图像平面上的投影位置计算出其与正确位置之间的偏移量将这些标定点测量值加到摄象机参数模型方程(每个标定点产生两个方程)用足够数量的方程解出所有未知参数用非线性回归方法求解过定方程组12.612.6摄象机标定摄象机标定((续续))3.3.加入摄象机模型的修正位置的作用得摄像机的模型加入摄象机模型的修正位置的作用得摄像机的模型(透镜变形包括：径向变形，它会使光线弯曲；偏心，透镜中心偏离光轴．径向变形和偏心可用多项式模型表示；内部定位)zazzazyazxyayzayyayxpzazzazyazxxaxzaxyaxxptzryrxrtzryrxrFrrryytzryrxrtzryrxrFrrrxx++++++=++−++++++=++−))(~())(~(634221634221κκκκκκ4.4.按欧拉角的旋转矩阵公式替换旋转矩阵的所有元素按欧拉角的旋转矩阵公式替换旋转矩阵的所有元素5.5.用非线性回归的方法求解摄象机参数和外部定位用非线性回归的方法求解摄象机参数和外部定位12.712.7摄象机自标定摄象机自标定视觉系统标定装置及其应用视觉系统标定装置及其应用北京理工大学计算机系Rocky7火星机器人北京理工大学计算机系NASAJPL北京理工大学计算机系机器人立体立体视觉系统大视场立体视觉成像装置“863”航天领域项目，通过国防科工委鉴定，该成果达到国际先进水平超大视场立体视觉成像装置北京理工大学计算机系BeijingInstituteofTechnologyBeijingInstituteofTechnology室内立体视觉感知第一摄像机第二（参考）摄像机4－10米场景深度图障碍物检测图BeijingInstituteofTechnology8米6米4米BeijingInstituteofTechnologyBeijingInstituteofTechnologyBeijingInstituteofTechnologyBeijingInstituteofTechnologyCarnegieMellonUniversityBeijingInstituteofTechnology