halcon单相机标定详细说明

相机标定1相机标定基本原理1.1相机成像模型目前大多数相机模型都是基于针孔成像原理建立的，因为针孔成像原理简单，并且能满足建模的要求。除此之外还有基于应用歪斜光线追踪法和近轴光线追踪法的成像模型[1]。针孔成像虽然已经展示出了相机的成像原理，但是由于针孔成像是理想的物理模型，没有考虑相机本身的尺寸、镜头与相机轴心的偏斜等因素的影响，因此精度很低，不能满足工业机器视觉的要求。为了使相机模型能高精度的反应相机的实际成像过程，需要再针孔成像模型的基础上考虑镜头畸变等的因素。图1针孔成像基于针孔成像原理建立的相机的成像模型，如下图所示。在相机的成像模型中，包含有几个坐标系分别是世界坐标系、相机坐标系、图像坐标系，相机的成像过程的数学模型就是目标点在这几个坐标系中的转化过程。图2针孔成像模型（1）世界坐标系(𝑋𝑤,𝑌𝑤,𝑍𝑤)，就是现实坐标系，是实际物体在现实世界中的数学描述，是一个三维的坐标空间。（2）摄像机坐标系（Xc,Yc），以针孔相机模型的聚焦中心为原点，以摄像机光学轴线为Zc轴（3）图像坐标系：分为图像像素坐标系和图像物理坐标系为了便于数学描述将图像平面移动到针孔与世界坐标系之间。如下图所示。图3将相机平面移至针孔与目标物体之间后的模型1.2坐标系间转换从世界坐标系到相机坐标系：P(𝑋𝑐，𝑌𝑐，𝑍𝑐)=R(α，β，γ)∗P(𝑋𝑤，𝑌𝑤，𝑍𝑤)+T每一个世界坐标的对象都可以通过旋转和平移转移到相机坐标系上。将目标点旋转θ角度，等价于将坐标系方向旋转θ。如下图所示，是二维坐标的旋转变换，对于三维坐标而言，旋转中绕某一个轴旋转，原理实际与二维坐标旋转相同。如果，世界坐标分别绕X，Y和Z轴旋转α，β，γ，那么旋转矩阵分别为R(𝛼)，R(𝛽)，R(𝛾)图4坐标旋转原理R(𝛼)=[1000𝑐𝑜𝑠𝛼−𝑠𝑖𝑛𝛼0𝑠𝑖𝑛𝛼𝑐𝑜𝑠𝛼]（1-1）R(𝛽)=[𝑐𝑜𝑠𝛽0𝑠𝑖𝑛𝛽010−𝑠𝑖𝑛𝛽0𝑐𝑜𝑠𝛽]（1-2）R(𝛾)=[𝑐𝑜𝑠𝛾𝑠𝑖𝑛𝛾0−𝑠𝑖𝑛𝛾𝑐𝑜𝑠𝛾0001]（1-3）总的旋转矩阵就是三者的乘积：R(α，β，γ)=R(𝛼)∗𝑅(𝛽)∗𝑅(𝛾)平移矩阵T=(𝑡𝑥，𝑡𝑦，𝑡𝑧)，𝑡𝑥，𝑡𝑦，𝑡𝑧是世界坐标系原点与摄相机坐标系原点之间的差值。相机坐标系到图像坐标系𝑋𝑑=𝑓𝑋𝑐𝑍𝑐，𝑌𝑑=𝑓𝑌𝑐𝑍𝑐[𝑋𝑑𝑌𝑑]=𝑓𝑍𝑐[𝑋𝑐𝑌𝑐]（1-4）（1-5）图5相机成像坐标变换原理图图像物理坐标到图像像素坐标系图形坐标系是一个二维坐标系，又分为图像像素坐标系和图像物理坐标系。图像像素坐标系Xf-Yf是以图像左上角为原点，以图像互为直角的两个边缘为坐标轴，满足右手准则而建立的。图像是由一个个小的像素点组成的，图像像素坐标系的横纵坐标正是以像素点为单位，用来描述图像中每一个像素点在图像中的位置。图像物理坐标系以光轴与像平面交点为圆心建立的，图像物理坐标系的两个坐标轴分别与图像像素坐标系的坐标轴平行，并且方向相同，如图3所示。图像物理坐标系是以毫米为单位的直角坐标系X-Y。用（Xf，Yf）来描述图像像素坐标系中的点，用（Xd，Yd）来描述图像物理坐标系中的点。图像物理坐标系的原点O在图像像素坐标系中的坐标为(Cx,Cy)，用dx，dy来表示相邻像素点中心在X轴方向和Y轴方向的实际物理距离，则与图像像素坐标系的转化关系为：{𝑋𝑓=𝑋𝑑𝑑𝑥+𝐶𝑥𝑌𝑓=𝑌𝑑𝑑𝑦+𝐶𝑦（1-6）1.4相机畸变模型相机畸变主要分为径向畸变和切向畸变，其中径向畸变是由透镜造成的，切向畸变是由成像仪与相机透镜的不平行造成的。针孔模型是理想透镜的成像模型，但是实际中相机的透镜不可能是理想的模型，透镜形状的非理想特征造成像点会沿径向发生畸变。一个像点沿径向内缩叫负畸变,或桶形畸变沿径向外延叫正畸变,或枕形畸变。这种崎变相对于光轴严格对称的,也是畸变的主要分量[2]。（Xu,Yu）为矫正后的坐标，（Xd,Yd）是受到镜头失真影响而偏移的像平面坐标，径向径向畸变模型：𝑋𝑢=𝑋𝑑+𝑋𝑑(𝑘1𝑟2+𝑘1𝑟4+⋯)𝑌𝑢=𝑌𝑑+𝑌𝑑(𝑘1𝑟2+𝑘1𝑟4+⋯)（1-7）（1-8）其中𝑘1,𝑘2,⋯为径向畸变系数，r=√𝑋𝑑2+𝑌𝑑2，一般只需要考虑一阶或二阶就可以满足要求。切向畸变模型：𝑋𝑢=𝑋𝑑+𝑃1𝑋𝑑(3𝑋𝑑2+𝑌𝑑2)+2𝑃2𝑋𝑑𝑌𝑑+O[(𝑋𝑑,𝑌𝑑)4]𝑌𝑢=𝑌𝑑+𝑃2𝑋𝑑(3𝑋𝑑2+𝑌𝑑2)+2𝑃1𝑋𝑑𝑌𝑑+O[(𝑋𝑑,𝑌𝑑)4]（1-9）（1-10）其中𝑃1和𝑃2为切向畸变影响系数。图7径向畸变图8切向畸变图6图像像素坐标系和图像物理坐标系1.5需要标定的参数外部参数由前面可知,摄像机的外部参数是用来描述摄像机坐标系与世界坐标系的关系,它表明摄像机在世界坐标系中的位置和方位,可用的旋转矩阵和平移向量来表示,如式一所示。其中由于为单位正交矩阵,必须满足个正交约束,故实质上旋转矩阵只有三个独立参数,加上平移向量的三个参数,故一共有个独立的外部参数。内部参数内部参数只与摄像机内部结构有关,而与摄像机位置参数无关,主要包括图像主点坐标(𝑐𝑥,𝑐𝑦)，单个像元的高宽𝑠𝑥,𝑠𝑦，摄像机的有效焦距f和透镜的畸变失真系数k等。摄像机的内部参数有时也可以从制造商提供的说明书中查到,但是其精确性不能满足要求,仅可作为参考。实际应用中需要对它们进行标定。主点坐标(𝑐𝑥,𝑐𝑦),理论上主点坐标一般位于图像中心处,但实际上由于摄像机制作和使用摄像机的镜头可转动和拆卸等原因,使得面阵安装并不能保证以透镜光轴为中心,且图像采集数字化窗口的中心不一定与光学中心重合,这就使得主点不一定在图像的帧存中心,故需要标定,,的值。单个像元的高宽𝑠𝑥,𝑠𝑦，该数据可以在制造商提供的技术文档中查到，但是该数据不是完全准确的。单个像元的高宽理论上应该是相等的，但是由于制造的误差，两者不可能完全相等，因此需要根据实际情况对其进行修正。透镜的畸变失真系数前面讲到理想的透镜成像才满足线性关系,实际上透镜存在多种非线性畸变,需要根据实际情况对它们进行修正。1.6计算方法张正友标定法、Tsai两步标定法。参考文献：1宋旗桂.应用歪斜光线追踪法及近轴光线追踪法于照相机校正[D].台湾:国立成功大学,2007.2邹凤娇.摄像机标定及相关技术研究[D].成都：四川大学，硕士学位论文，2005.1.7目前设备中采用过的标定方法1、目前在RFID设备、LCR设备中标定都只采用一张，忽略相机畸变。通过图像处理，提取标定板圆心的间距除以像素值得到。该方法得到像素X方向和Y方向采用同一距离，忽略其误差。2、Halcon的三维标定，是halcon默认的标定方法，消除径向畸变和视角畸变，在XYZ方向平移和旋转标定板，采集18张图像图9Halcon三维标定采集图像示例3、Halcon的二维标定，只在XY平面内平移和旋转标定板，采集18张图像，减小Z的影响提高标定精度实验数据：图像坐标X方向像素物理距离图像坐标Y方向像素物理距离方法一15.5618um15.5618um方法二15.7575um15.7308um方法三采用方法一每个像素距离与方法二有0.2um的差距，当距离较小时，这个误差可能表现的并不明显，在目前的设备中基本能满足要求。根据方法二知道X方向与Y方向像素物理差值是0.027um。存在的问题：1、目前标定板相对视野范围显得有点大，会降低标定的精度。考虑自己制作标定板，打印出来，但是遇到问题是，打印出来标定板大小与我设计的标定板大小有些许差距，可能是由于文件格式转换过程中导致像素改变使打印的大小出现偏差。2、因尽量减小光圈，提高景深，提升标定精度。后期采图时，尽量减小光圈。2使用Halcon标定助手进行标定2.1标定描述机器视觉本质就是通过图像来获取三维世界的信息，然后基于该信息进行相应的图像处理手段，从中获取我们想要的信息。标定的过程实际是建立图像世界与三维世界位姿的关系，只有准确地建立了该关系，才能从图像准确得知三维世界的真实状态。但是镜头在拍摄物体时存在成像的畸变，镜头成像的畸变导致图像不能完全地反映真实的世界，对图像的后续处理会产生干扰。尤其对于定位和检测，需要更高精度的矫正。镜头成像的畸变分为径向畸变和切向畸变，相对切向畸变而言，径向畸变对图像影响较大，而径向畸变分为枕形畸变（PincushionDistortion）和桶形畸变（BarrelDistortion），如图3所示。因此，相机标定要矫正镜头的畸变，然后获取相机的内部参数和外部参数，建立起图像与三维世界的联系。图3枕形畸变与桶形畸变一个成功的标定，至少需要一个知道其精确尺寸的标定板。在标定前需要采集不同姿态的标定板图像，确保每张图像都完整的包含了标定板。标定图像的质量，很大程度上决定了标定是否能成功2.2标定板标定的方法从原理上主要分为三大类：线性标定、非线性标定和二次标定。使用的标定板有棋盘格也有原点阵列，如图4所示。（a）棋盘格（b）原点阵列图4标定板但是，halcon并非必须使用其特制的标定板才能进行相机标定，但是如果要使用Halcon的标定算子进行标定，则必须使用Halcon特定的标定板，否则就需要自己去写标定板和特征点提取的算法了。Halcon的标定板如图5所示，黑色的边框中有阵列分布的原点，在边框的左上角有个小三角用来确定其旋转的位置。以30*30mm的标定板为例：黑色原点：7*7边框长度：30*30mm内边框长度：28.125mm*28.125mm黑色原点半径：0.9375mm原点中心间距：3.75mm裁剪宽度：30.75*30.75mm图5halcon标定板标定板制作：Halcon的安装后的文件中含有部分型号标定板的描述文件，但是由于实际应用中的标定板尺寸与系统描述文件不一致，因此需要定制相应的描述文件。Halcon中用gen_caltab(::XNum,YNum,MarkDist,DiameterRatio,CalTabDescrFile,CalTabPSFile:)算子来制作一个标定板XNum每行黑色标志圆点的数量。YNum每列黑色标志圆点的数量。MarkDist两个就近黑色圆点中心之间的距离。单位是meterDiameterRatio黑色圆点直径与两圆点中心距离的比值。CalTabDescrFile标定板描述文件的文件路径（.descr）CalTabPSFile标定板图像文件的文件路径（.ps），其中，.descr文件为标定板描述文件，.ps文件为标定板图形文件，可以用photoshop(PS)打开。在实际应用中使用的标定板都是采用光刻工艺制作而成，精度能达到1um，自己制作的标定板则精度很低。标定板选取：标定板大小一般选取为相机视野大小的1/3左右是合适的。2.3相机标定流程标定流程：开始相机采集不同位姿的标定板图像读取标定图像，找到标定区域(find_caltab)和阵列点标定计算计算像素距离生成map设定初始参数达到需要的图片数量是否采集图像（带畸变）无畸变图像图6标定流程图2.4标定注意事项标定图像采集注意点：1.标定板材质：光源在标定板前，可选陶瓷标定板；光源在后可选玻璃标定板，避免出现标定板反光的情况；2.标定板图像最好10幅以上，但是标定图像也并非越多越好，一般不超过20幅；3.标定图像采集过程中，相机的光圈不能发生改变，否则相机会被重新标定；4.图像覆盖标定板四角，标定板四个角要完全在图像内，标定板应该被放置在视野中间、边缘、四个角点处，还应使标定板适当的被旋转和倾斜；(a)(b)(c)(d)(e)(f)图7标定图像采集示例5.图像灰度值差100以上；2.5使用halcon标定助手标定过程：Step1:打开标定助手，设