(完整版)第7章机器视觉测量系统

现代检测技术第七章机器视觉测量系统精勤求学敦笃励志果毅力行忠恕任事主要内容•图像传感器•图像测量系统•视觉检测的主要应用CCD照明、镜头、图像传感器、图像采集、图像处理尺寸测量、模式识别、目标检测、三维重构…CCD摄像器件的性能参数灵敏度分辨率信噪比光电转换特性光谱响应暗电流7-1图像传感器7-1图像传感器7-1图像传感器7-1图像传感器7-2图像测量系统控制中枢、图像处理照明镜头、图像传感器图像采集视频信号7-2-1照明光源照明技术不同光源与照明技术效果举例光源方向直射光：入射光基本上来自一个方向，入射角小，被照射物体有阴影；散射光：入射光来自多个方向，不会投射出明显阴影。7-2-1照明光谱光的组成成份，如日光由从紫外到红外的所有光谱组成。取决于光源的类型和光学滤色镜。可见光光谱如图所示：光源7-2-1照明光源强度光照强度会影响摄像头的曝光，光线不足会造成对比度降低，噪声过大；光线过强会造成图像饱和，能量浪费以及散热等问题。均匀性在所有机器视觉应用中，都要求均匀的光照。照射强度会随距离和角度偏离而减小，需要特别考虑。7-2-1照明光源光源的种类按发光器件：卤素等、荧光等、LED灯、氙（xian）灯等；按几何形状：环形、方形、长条型灯；按发光特性：点光源、线光源、面光源等；按照射角度：直射、间接、同轴、平行等。LED灯：颜色丰富、发光效率高、响应速度快、体积小、发热小、功耗低、发光稳定、寿命长、易于组成不同形状的光源，是重要的光源发展趋势。7-2-1照明卤素光源（仪器用）7-2-1照明LED光源（CCS公司）7-2-1照明环形LED光源7-2-1照明照明技术正向照明镜面：光线直接反射进入镜头；离轴照明：光源在镜头轴线侧面、避开了镜面反射；半漫射照明：光照较均匀，如环形光；漫射照明：光线来自所有方向，镜面反射最少；黑场：光线与镜头视线方向垂直。背光照明漫射式：光源+平板，背面照射；凝聚式：使用镜头将光线集中于一个方向；黑场：适用于检测透明物体中的裂痕、气泡等。7-2-1照明不同光源与照明技术效果举例高角度亮场与低角度暗场光照强、较均匀光滑表面的文字、伤痕等纹理检测7-2-1照明不同光源与照明技术效果举例从边上的黑场照明最适合凹凸不平表面及表面缺陷，缺点是阴影太大。7-2-1照明不同光源与照明技术效果举例用明视野和暗视野照明对比7-2-1照明不同光源与照明技术效果举例用碗状照明消除晕眩光7-2-1照明不同光源与照明技术效果举例用透射光检查物体的有无7-2-1照明不同光源与照明技术效果举例光源的颜色差异中心部有银色涂层的铜框架7-2-1照明不同光源与照明技术效果举例红外线照明7-2-1照明不同光源与照明技术效果举例红外线照明7-2-1照明不同光源与照明技术效果举例紫外线照明7-2-1照明偏振光照明不同光源与照明技术效果举例7-2-1照明偏振光照明不同光源与照明技术效果举例图②镜子上灰尘指印；图③镜子上油脂指印；图④光盘上油脂指印7-2-1照明不同光源与照明技术效果举例偏振光照明8-2-27-2-1照明小结：思考问题1一个典型的机器视觉图像测量系统包括哪些环节？2光源的种类有哪些？为了得到更适合于测量目的的图像，光源的投射方式分别有哪些？7-2-2镜头镜头的视野、景深和焦距示意图7-2-2镜头基本概念成像面：被测物及其背景通过镜头投影到二维图像传感器平面，一般是长宽比为4:3的矩形；视野（FieldofView，FOV）：与成像面对应的景物平面范围；工作距离（WorkDistance，WD）：被测物到物镜的距离；景深：以镜头最佳聚焦WD为中心，前后存在一个范围，在此范围内的物体能够清晰成像，这个范围被称为景深（DepthofView，DOV）焦距选择镜头的关键参数物镜的焦距ff可以短到几毫米，长达数十米；变焦距镜头可以通过调节焦距获得不同的放大倍数。相对孔径F=D/f（光圈）D是镜头中光线能通过的有效圆孔直径,即入瞳，D越大，收集的光线越多；如f=50mm，D=8.9mm，则相对孔径F=8.9/50=1/5.6；镜头上以1/F表示光圈值，光圈每增加一档，光照度增加一倍；光圈越小，景深越长。为了获得较大景深的清晰图像，可以采取加大光强，减小光圈的方法。8-2-27-2-2镜头选择镜头PMAG：镜头的放大倍数7-2-2镜头选择镜头如何选择焦距WD：工作距离Ho：视野的高度Hi：相机有效成像面高度PMAG：镜头的放大倍数7-2-2镜头选择镜头物距WD、放大倍数PMAG和焦距f的关系SensorSize(mm)HiDiPMAG=FieldofView(mm)HoWDWD*PMAGf=1+PMAG利用上式可通过被测物尺寸（Ho）、物距（WD）和像平面高度（Hi）计算出所需镜头的焦距f。7-2-2镜头选择镜头普通镜头选择步骤：获得物体至镜头的距离WD，如果是一个范围，取中间值；计算图像放大倍数PMAG；利用公式计算所需的焦距；选取与计算值最接近的标准镜头产品，并取其焦距值；根据所选镜头焦距重新核算镜头到物体的距离WD。举例：物体至镜头的距离在10cm~30cm范围内，取WD=20cm。设视场高度为6cm，传感器成像面高度为6.6mm，则镜头放大倍数为：PMAG=6.6mm/60mm=0.117-2-2镜头计算所需镜头焦距：标准镜头焦距：8mm、12.5mm、16mm、25mm和50mm16mm镜头的焦距最接近计算值，使用该值重新计算WD：WD*PMAGf=200*0.11/10.1119.82mm1+PMAG1+PMAGWD=f*16*10.11/0.1116.1cmPMAG选择镜头7-2-2镜头按等效焦距广角镜头：景深大，WD短，视角大，易出现桶形失真；长焦距镜头：WD大，放大倍数大，易出现枕形失真；中焦距镜头：f约在50mm和200mm之间，最常用镜头；按镜头所具有的功能变焦距镜头（自动调焦）变光圈镜头（自动光圈）远心镜头：可以产生正交投影拍摄效果；微距镜头：拍摄微小物体，放大倍数在0.25~2之间。显微镜头：成像比例大于10倍。紫外镜头、红外镜头：专门针对紫外光或红外光折射特性设计的镜头。镜头的分类7-2-2镜头视频信号视频信号是机器视觉系统的关键，关系到摄像机和采集卡的配合、视频系统的设计和调试等。分为黑/白和彩色两大类，又分为模拟和数字视频。模拟视频分为标准和非标准视频，数字视频包含多种数字格式。标准视频信号的周期、时间间隔、幅度等有明确规定，又称为闭路电视CCTV（ClosedCircuitTelevision）。非标准视频信号多用于工业、医学、仪器等领域的视觉系统。黑/白彩色使用地区RS-170NTSC北美、日本、台湾等CCIRPAL欧洲、中国等7-2-3视频信号扫描方式：逐行扫描和隔行扫描隔行扫描视频信号隔行的帧图像和奇偶场图像之间的关系7-2-3视频图像采集图像采集卡（ImageGrabber）又称为图像卡，将传感器输出的图像视频信号以帧为单位传送到计算机进行处理、存储或显示。7-2-3视频7-2-4图像处理技术滤波技术图像增强边缘检测特征提取图像压缩图像编码……7-3视觉检测应用二、模式识别技术五、缺陷检测技术一、尺寸测量技术六、图像融合技术四、三维重构技术三、目标检测与跟踪技术7-3-1尺寸测量技术长度面积圆线弧角度…测量对象最小二乘Hough变换区域标记轮廓矢量曲率识别Harris角点…测量方法7-3-1尺寸测量技术长度测量——齿长测量1,在工件图中设置待测齿长区域；2,对区域内的图像进行边缘提取；3,对提取到的边缘进行逐行扫描，分别获得其上、下两条边的边缘点；4,根据得到的边缘点分别拟合出上、下两条边的直线；5,计算两条直线间的距离作为齿长结果。7-3-1尺寸测量技术长度测量——线段测量L0L5L4L3L2L11.通过Harris角点法确定角点；2.通过轮廓提取法得到边缘；3.结合轮廓信息对角点精确定位；4.计算线段长度。7-3-1尺寸测量技术圆测量单圆测量：最小二乘法、Hough变换法和加速算法（首先通过圆面积测量求出圆半径）。方法半径像素值误差测量时间最小二乘法68.50.48%30msHough变换法68.90.18%18328ms改进Hough变换法68.90.18%531ms圆的拟合7-3-1尺寸测量技术角度测量——根据前述方法得到每段直线段方程，根据斜率即可得到夹角。-60.4-60.70.81.363.062.77-3-2模式识别技术指对图像中各种物理对象的分类与描述技术，包括字符识别、条码识别、车牌识别、工件识别和医学图像识别等。字符识别：印刷体①扫描输入文本图像；②图像的预处理，包括倾斜校正和滤除干扰噪声等；③图像版面的分析和理解；④图像的行切分和字切分；⑤基于单字图像的特征选择和提取；⑥基于单字图像特征的模式分类；⑦将被分类的模式赋予识别结果。7-3-2模式识别技术7-3-3目标检测与跟踪技术目标跟踪技术——指对图像序列中的运动目标进行检测、提取、识别和跟踪，获得运动目标的运动参数，如位置、速度、加速度以及运动轨迹等，从而进行下一步的处理与分析，实现对运动目标的行为理解。主要应用：行人跟踪、车辆跟踪、智能交通和安全监控等；分类：静态背景下运动目标检测、动态背景下运动目标检测；7-3-3目标检测与跟踪技术静态背景下运动目标检测：相邻帧间差分法：取相邻两帧图像间灰度差异较大的区域背景差分法：预先建立背景模型，需要经常更新背景。常用的非回归型背景建模法包括中值滤波和基于统计理论背景恢复，常用的回归型背景建模法包括近似中值滤波、卡尔曼滤波和混合高斯滤波。1(,)kfxy延迟二值化(,)dfxy去噪、连通分析(,)Mxy判别－(,)kfxy7-3-3目标检测与跟踪技术检测实例（a）图像序列第187帧（b）187帧时的背景图（c）差分图像二值化（d）腐蚀运算结果（e）膨胀运算结果（f）目标标定结果7-3-4三维重构技术接触式与非接触式三维测量（a）三坐标测量机（b）机械测量臂（a）物体（b）采集的图像（c）重构结果接触式与非接触式三维测量7-3-4三维重构技术7-3-4三维重构技术视觉三维重构方法分类ShapefromX主动式被动式结构光扫描法等高线莫尔条纹法调制光栅相位法图像明暗法光度立体法高光恢复法阴影恢复法立体视觉法纹理恢复法灭点恢复法聚焦/失焦法轮廓恢复法全景视角法运动恢复法7-3-4三维重构技术视觉三维重构方法的应用1）星球三维形貌重构？7-3-4三维重构技术嫦娥二号探月图片7-3-4三维重构技术视觉三维重构方法的应用2）工业自动化生产与产品检测7-3-4三维重构技术视觉三维重构方法的应用3）人脸身份识别另外还包括：医学图像三维重构与分析、视觉三维导航、无人驾驶等。