3D检测技术研究

3D视觉检测技术目录1.研究背景2.物体三维测量方法的分类3.光栅投影法测量原理4.关键技术介绍5.3D视觉检测的国内研究小组3D视觉检测技术在工业生产控制与检测、机器视觉、空间遥感、医学诊断以及社会安全等领域具有重要意义和广泛应用前景；在工业生产领域主要应用于容器中拣取零件、机床上的工件装卸以及包装和焊接等；国内生产装备水平比较高的工厂，如一汽大众、上海大众等，先进的三维测量仪器设备几乎全部进口。1研究背景物体三维测量接触式测量非接触式测量2物体三维测量分类物体三维接触式测量的典型代表是三坐标测量仪(CMM，CoordinateMeasuringMachine)；非接触式三维测量不需要与待测物体接触，可以远距离非破坏性地对待测物体进行测量；特点：测量精度高，对被测物的色泽无特殊要求；对使用环境要求高，测量速度慢。特点：非接触、速度快、精度适中。1物体三维测量分类-非接触式测量非接触式测量微波技术光波技术超声波技术适合于大尺度三维测量，爱里斑半径较大，角度分辨率低。光波波长短，角度分辨率和深度分辨率高，三维测量运用最多。可穿透介质实现无损检测探伤，但需耦合介质，限制了用范围。1物体三维测量分类—光波技术光波技术三角法干涉法飞行时间法飞行时间法以对信号检测的时间分辨率来换取距离测量精度，测量系统必须要有极高的时间分辨率，常用于大尺度远距离的测量。测量精度高，但测量范围受到光波波长的限制，只能测量微观表面的形貌和微小位移，不适于大尺度物体的检测。最常用的光学三维测量技术，以传统的三角测量为基础，通过待测点相对于光学基准线偏移产生的角度变化计算该点的深度信息。基于三角测量原理的三维测量技术基于结构光的主动三角法被动三角法数字摄影测量技术双目视觉点光源法点照明1D线探测器2D扫描线光源法线照明2D线探测器1D扫描面光源法面照明2D线探测器不需要扫描相位测量技术如：相位测量轮廓术傅里叶变换轮廓术序列编码技术如：格雷（Gray）编码序列彩色编码技术如：彩色多通道编码实现相移莫尔轮廓如：阴影莫尔投射莫尔2物体三维测量分类3光栅投影法原理测量原理投影装置将一个被周期函数调制的光栅条纹场投射在被测物体的表面，由于物体表面高度的变化，各点的光栅条纹的相位发生了偏移，由测量系统的光路结构中相位偏移量与表面高度的关系，可以由相位求解出物点的三维坐标。投影仪图像采集卡计算机假设投影光栅为矩形光栅，在参考面上光栅周期为𝜆0，𝜆0又称光栅节距。设点(x,y)在摄像机图像上成像于像点(m,n)。未放置被测物体时，在摄像机方向观察，看到的参考面上原始光栅图像的均匀光栅灰度函数可以表示为𝐼𝐵𝑚,𝑛=𝐶𝑘∞𝑘=−∞exp⁡(𝑖𝑘𝜃𝐵𝑚,𝑛)式中，𝐼𝐵𝑚,𝑛是参考面上光栅图像灰度分布，𝜃𝐵𝑚,𝑛是参考面上初始相位分布，𝑚,𝑛是图像坐标系，𝐶𝑘是光栅分布的系统参数。当被测物体置于参考面上，原始光栅产生变形，其均匀光栅灰度函数可以写为𝐼𝐴𝑚,𝑛=𝑟(𝑚,𝑛)𝐶𝑘∞𝑘=−∞exp⁡(𝑖𝑘𝜃𝐴𝑚,𝑛)式中𝐼𝐴𝑚,𝑛是变形光栅图像灰度分布，𝑟(𝑚,𝑛)表示物体表面的非均匀反射率，𝜃𝐴𝑚,𝑛是变形光栅图像的相位。将光栅投影到被测物体表面，由于受到调制而发生变形，表现为对于像点(m,n)，参考面上有B点移动到A点，对应于相位由𝜃𝐵移到𝜃𝐴，移动的距离其中Δ𝜃𝑚,𝑛=𝜃𝐴−𝜃𝐵为相位差。如果投影到参考面上的光栅为正弦光栅，则原始和变形光栅像上的均匀光栅灰度函数可分别写成式中𝐼’𝑚,𝑛为条纹光强的背景值，𝐼’’𝑚,𝑛为调制光强，𝑟(𝑚,𝑛)表示物体表面的非均匀反射率。𝐼𝐵𝑚,𝑛=𝐼’𝑚,𝑛+𝐼’’𝑚,𝑛cos[𝜃𝐵𝑚,𝑛]𝐼𝐴𝑚,𝑛=𝑟(𝑚,𝑛){𝐼’𝑚,𝑛+𝐼’’𝑚,𝑛cos[𝜃𝐴𝑚,𝑛]}𝐵𝐴=𝜆0Δ𝜃(𝑚,𝑛)2𝜋投影装置和参考面的位置关系满足：参考面OXY平行于投影面。根据三角形相似原理∆𝐵𝑃𝑃′∼△𝐵𝑂𝑝𝑂有由于参考面OXY平行于投影面，Y轴平行于光栅方向，所以参考面上相位沿着X轴的方向变化，即对OXY面上任一点（X,Y），设其相位为θ，有式中，𝜃0为原点的相位，𝜆0为光栅节距，即参考面上，沿X轴，相位变化1周期对应的长度。物高与相位差的关系推导𝐵𝑃′𝐵𝑂=𝑃𝑃′𝑂𝑝𝑂=𝑃𝑃′𝑙⁡⁡⁡⁡⁡⁡⁡⁡(1)𝑋=𝜃−𝜃02𝜋𝜆0⁡⁡⁡⁡⁡⁡⁡(2)XdZcXcYcZpXpYpZYhCCD成像面投影光栅面参考面被测物体投影仪摄像机OcOpΩcΩpΩwOc’OPABP’l摄像机和参考面位置关系满足：①𝑌𝑐∥𝑌,即摄像机的Y轴平行于参考面的Y轴，满足这个关系才能保证当物点P位于空间中任一位置时，它在OXY平面上的投影都能一致地如右图所示，满足各种三角关系。②摄像机光心与投影中心线平行于参考面。⁡∆𝐴𝑃𝑃′∼△𝐴𝑂𝑐𝑂𝑐′则联合（1）和（3）得式中𝑙，𝑑为系统参量。𝐵𝑃′𝐵𝑂=𝑃𝑃′𝑂𝑝𝑂=𝑃𝑃′𝑙⁡⁡⁡⁡(1)𝐴𝑃′𝐴𝑂𝑐′=𝑃𝑃′𝑂𝑐𝑂𝑐′=𝑃𝑃′𝑙⁡⁡⁡⁡⁡⁡⁡(3)𝑃𝑃′𝑙=𝐴𝑃′+𝐵𝑃′𝐴𝑂𝑐′+𝐵𝑂=𝐵𝐴𝐵𝐴+𝑂𝑐′𝑂=𝐵𝐴𝐵𝐴+𝑑⁡⁡⁡⁡⁡⁡⁡⁡⁡4XdZcXcYcZpXpYpZYhCCD成像面投影光栅面参考面被测物体投影仪摄像机OcOpΩcΩpΩwOc’OPABP’l由式（2）得式中，𝜆0为光栅节距，通过标定获得；𝜃𝐴、𝜃𝐵分别为A、B点的相位值。将式（4）代入（5）整理得物高与相位差的关系：𝑃𝑃′=𝑙𝜃𝐴−𝜃𝐵𝜃𝐴−𝜃𝐵+2𝜋𝑑𝜆0⁡⁡⁡⁡⁡⁡(6)𝑙、𝑑、𝜆0为系统参量，标定时得到；𝜃𝐵为光栅在参考平面上的基准相位值，也是在标定时得到的。𝑋=𝜃−𝜃02𝜋𝜆0⁡⁡⁡⁡(2)𝐵𝐴=𝑂𝐴−𝑂𝐵=𝜃𝐴−𝜃𝐵𝜆02𝜋⁡⁡⁡⁡⁡⁡⁡⁡⁡(5)𝑃𝑃′𝑙=𝐴𝑃′+𝐵𝑃′𝐴𝑂𝑐′+𝐵𝑂=𝐵𝐴𝐵𝐴+𝑂𝑐′𝑂=𝐵𝐴𝐵𝐴+𝑑⁡⁡⁡⁡⁡⁡⁡⁡4通常采用相移法，而四步相移法是最常用的相移法之一。主要原理：通过精确移动投影光栅，使光栅条纹图像的相位场移相，得到四幅条纹图像，各图像可表示为：𝐼𝑖𝑚,𝑛=𝐼0𝑚,𝑛+𝛾𝑚,𝑛cos𝜃𝑚,𝑛+𝛼𝑖,⁡i=1,2,3,4式中，i表示第i次相移，𝐼𝑖𝑚,𝑛为第i幅相移图上𝑚,𝑛点的灰度值，𝐼0𝑚,𝑛为条纹图背景值，𝛾𝑚,𝑛为调制强度函数，𝜃𝑚,𝑛为待求相位场，𝛼𝑖为第i幅图的相移值。令相移分别为𝛼1=0，𝛼2=𝜋2，𝛼3=𝜋，𝛼4=3𝜋2，得到tanθ⁡(𝑚,𝑛)=𝐼4𝑚,𝑛−𝐼2(𝑚,𝑛)𝐼1𝑚,𝑛−𝐼3(𝑚,𝑛)对上式求反正切，可得相位值。相位的获得1、结构光编码技术2、条纹图像的解相位技术3、标定技术4、三维重建技术4光栅投影法—关键技术关键技术-结构光编码技术编码方法定义优点缺点时间编码方法时间编码是将多个不同的编码图案按时序先后投射到物体表面、得到相应的编码图像序列，将编码图像序列组合起来进行解码。易于实现、空间分辨率高、3D测量精度高等测量过程中需投影多幅图案,因而只适用于静态场景测量，不适于动态测量空间编码方法空间编码向物体投射一幅编码图案、得到一幅对应的编码图像，将编码图像与编码方式对照进行解码，从而解决两者对应问题。投影图案只有1幅,适用于动态场景三维信息的获取。在解码阶段,空间邻近点信息的丢失会导致误差的产生；与时间编码相比,空间编码测量的分辨率较低。受其空间邻域内特征点的影响，解码困难，测量误差增大，存在分辨率较低、受景物表面反射率不一致及颜色的影响等缺点。直接编码方法直接编码是指每个被编码像素都由其本身的灰度或颜色来识别。每个像素都进行编码,这样就需要利用较多颜色或引入周期性来得到高分辨率的投影图案。一般只需要投影1-2幅投影图案,并能达到较高的空间分辨率直接编码相邻像素的色差很小,往往对噪声将相当敏感；当投影多个图案时,该技术不适合动态场景；图像颜色会受测量表面颜色影响,因此直接编码的应用范围通常仅限于中性颜色或灰白色目标物。投影仪颜色带宽、测量表面颜色或深度的变化、摄像机误差及噪声敏感性能会制约系统的测量精度和应用场合。相移法(PhaseShifting)：利用投影多幅光栅图像(每两幅光栅之间有确定的相位差)来获得相位。相移法是目前公认的最有效、最可靠的方法，其实质是在时间轴上的逐点运算。由于采用多幅图像由光强得到相位，计算量少，并且图像的阴影区容易分离，具有一定的抗静态噪声能力。但是因为投影的光栅条纹图较多，因此不能用于动态测量，目前也有人提出了一种两步相移三维轮廓测量方法。正交相乘莫尔法：利用计算机产生两幅与投影光栅条纹图有相同空间频率但相位差为x／2的参考光栅图，然后分别与投影光栅条纹图相乘得到两幅莫尔图，在时域滤波滤去高频分量，就可以求得相位。这种方法对背景的非均匀性比较敏感，而且条纹的空间频率容易产生失配，从而引起较大误差。傅立叶变换法：对投射在物体表面的变形光栅条纹进行傅立叶变换，在频域滤波得到一级频谱，然后反傅立叶变换求得相位；傅里叶变换法是一种常用的三维轮廓测量方法，由于其具有速度快的特点，自提出以来就受到广泛关注。关键技术—条纹图像的解相位技术常用的相移法比较分析关键技术—标定技术视觉系统的标定就是建立相机坐标系和机器人为基准的大世界坐标系之间的映射关系，将图像处理后得到的目标工件的位姿信息转换为机器人动作的姿态参数。根据标定板的类型不同分为立体标靶和平面标靶立体标靶的制作过程及其复杂，许多研究人员将立体标靶改进为平面标靶。在线自标定技术是一个研究热点其原理是利用拍摄视野中的特定点、线和圆弧等标定目标，在此基础上建立标定求解方程组，使其在系统处理的过程中就已经完成像机的自标定过程。根据运动状态分为自标定和在线标定关键技术—三维重建技术三维重建的主要技术要求应满足：逼真度：重建出的效果应尽可能地接近原始物体；实时性：在最短时间内获得最佳效果；鲁棒性：即重建算法应满足不同类型的数据，无论是光滑区域还是棱角特征明显的区域，均能得到较好的剖分及重建效果，而不会在某些局部产生空洞。三维重建技术是把离散的三维数据信息连接成三维实体或表面。三维重建所需的数据信息主有两种来源，一是利用二维图像的特征，主要包括明暗、纹理、运动、轮廓。主要的研究方法有明暗恢复形状法、纹理恢复形状法、运动恢复形状法、轮廓线恢复形状法等。二是利用三维测量数据点点集，主要有激光三维测量、立体视觉、结构光测量等。主要技术是三角剖分技术等东南大学自动化研究所哈尔滨工业大学自动测试与控制系华南理工大学机械与汽车工程学院浙江大学的陈越中科院自动化研究所中国科学院长春光学精密机械与物理研究所CAD应用技术室华中理工大学的崔汉锋大连理工大学的乌秀春中国科技大学来元北京信息科技大学“视觉测量技术研究”小组53D视觉检测的国内研究小组