机器视觉的基础知识培训

宁波中威科技有限公司NINGBOZHONGWEITECHNOLOGYCO.,LTD.机器视觉的基础知识培训日期：2015-07-09部门：技术培训科目录1机器视觉的相关概念2机器视觉系统相关学科3机器视觉系统基本构成4机器视觉系统应用分类5机器视觉系统软、硬件6设计需要确认的事项7机器视觉对机械结构的要求1、机器视觉的相关概念1.1.机器视觉的定义：机器（Machine）运动机械控制视觉（Vision）视(硬件)觉(软件)包括光源、相机、镜头、图像采集卡等1.2.机器视觉的工作原理：相机将被检测目标转换成图像信号，传送给图像处理系统，图像处理系统对这些信号进行各种运算来抽取目标的特征，如面积、数量、位置、长度，再根据预设的允许度和其他条件输出结果，实现自动识别功能。机器视觉是指利用相机、摄像机等传感器，配合机器视觉算法赋予智能设备人眼的功能，从而进行物体的识别、检测、测量等功能。机器视觉就是用机器代替人眼来做测量和判断1、机器视觉的相关概念1.3.机器视觉系统的定义：机器视觉系统是指通过图像采集单元（相机），将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。1.5.主要适用环境：高速、高精；超视、微距；客观、无疲劳；环境限制等。1.4.机器视觉的分类：可以分为工业视觉、计算机视觉两大类机器视觉1.工业视觉2.计算机视觉应用领域智能制造未来消费、服务等智能生活领域功能目标主要解决需要人眼进行工件的定位、测量、检测等重复性劳动赋予智能机器人视觉、实现对于外界位置信息、图像信息的识别与判断硬件需求要求较高、需要对工业相机的帧频、分辨率等指标依据需求筛选除特殊情况，大部分对于相机或摄像头的要求并不高算法需求往往侧重于精确度的提高更加复杂，侧重于采用数学逻辑或深度学习进行物体的标定与识别产业成熟度较高，在半导体、包装等行业的测量、检测已有较为广泛的应用总体上还处于初步探索阶段，初创企业层出不穷涉及相关学科有：•计算机视觉•机械设计•照明工程•光学设计•自动控制•图像处理•嵌入式电子图像处理自动控制嵌入式系统照明工程机械设计计算机视觉光学设计机器视觉系统2、机器视觉系统相关学科典型系统由以下组成：•待测目标•光源•镜头•相机•图像采集卡•图像处理软件•输入输出板卡•工业电脑3、机器视觉系统基本构成工业相机是机器视觉系统的硬件构成中的重要环节之一，其成本约占硬件系统的50%左右。“嵌入”典型系统由以下组成：•待测目标•光源•镜头•相机•图像采集卡•图像处理软件•输入输出板卡•工业电脑3、机器视觉系统基本构成4、机器视觉系统应用分类作为一种给机器人带来视觉功能的关键技术，机器视觉应用广泛。从工业视觉到计算机视觉，从人机交互到自动驾驶，从虚拟现实到物体自动识别，机器视觉都能担当着重要角色。1、测量（Measure）2、检测（Inspect）3、定位（Locate）4、识别（Identify）目前与我们3C自动化行业有关的主要应用：能够自动测量产品的外观尺寸，比如外形轮廓、孔径、高度、面积等可以检测产品表面的一些信息：产品有无、瑕疵、数字统计等能够自动判断物体的位置，并将位置信息通过一定的通讯协议输出，多用于全自动组装能够自动识别并读取二维码、条形码、色彩等4、机器视觉系统应用分类4.1.测量：测量：长度测量测量：角度测量4、机器视觉系统应用分类4.1.测量：测量：圆弧及半径测量4、机器视觉系统应用分类4.2.检测：检测：有无检测(邮包)测量：残次品检测4、机器视觉系统应用分类4.2.检测：检测：数字统计4、机器视觉系统应用分类4.2.检测：检测：瑕疵检测划痕、脏污、亮斑、缺角、凸起等4、机器视觉系统应用分类4.3.定位：定位：内部定位4、机器视觉系统应用分类4.3.定位：定位：坐标输出定位4、机器视觉系统应用分类4.4.识别：识别：读码4、机器视觉系统应用分类4.4.识别：识别：读码4、机器视觉系统应用分类识别：颜色4.4.识别：4、机器视觉系统应用分类5.1.相机：•相机分类按芯片技术：CCD相机和CMOS相机按靶面类型：面阵相机和线阵相机按输出模式：模拟相机和数字相机按颜色：彩色相机和黑白相机按是否带处理器：智能相机和非智能相机•主要特性参数芯片类型分辨率：位于CCD&CMOS芯片上的像素数速度：line/s，fps光学接口：C,CS,F等5、机器视觉系统软、硬件相机的选择•相机分辨率：相机分辨率（X方向）＝最佳视野范围（X方向）÷理论象素值（X方向）相机分辨率（Y方向）＝最佳视野范围（Y方向）÷理论象素值（Y方向）•系统速度要求与相机成象速度系统单次运行速度=系统成象速度+系统检测速度帧速或线数快门速度5、机器视觉系统软、硬件CCD的概念•CCDChargedCoupledDevice：电荷耦合器大量的独立的光敏元件排列在一起每个光敏元件称为像素•像素图像的基本单位：最小的视觉显示单位•工作原理实物光子电荷模拟量（电压）数字量图像5、机器视觉系统软、硬件5.2.镜头：a)为什么需要镜头镜头等同于针孔成像中针孔的作用，所不同的是，一方面镜头的透光孔径比针孔大很多倍，能在同等时间内接纳更多的光线，使相机能在很短时间内（毫秒到秒级）获得适当的曝光；另一方面，镜头能够聚集光束，可以在相机胶片上产生比针孔成像效果更为清晰的影像；b)镜头类型：标准、远心、广角、近摄、远摄等。5、机器视觉系统软、硬件5.2.镜头：c)镜头的接口物镜的接口有三种国际标准：F接口、C接口和CS接口。F接口是通用型接口，一般适用于焦距大于25mm的镜头，当物镜的焦距小于25mm时，物镜的尺寸不大，一般采用C型或CS型接口。C和CS型接口的区别：C与CS型接口的区别在于镜头与相机接触面（基准面）至相机焦平面（摄像机CCD光电感应器所处位置）的距离，即法兰距不同，C型接口法兰距为17,562mm，CS型接口法兰距为12.5mm。C型接口镜头与CS型相机之间增加一个5mm的C/CS转接环可以配合使用，CS型接口与C型接口相机无法配合使用。5、机器视觉系统软、硬件视场(Fieldofview,即FOV，也叫视野范围)：指观测物体的可视范围，也就是充满相机采集芯片的物体部分。工作距离(WorkingDistance,即WD):指从镜头前部到受检验物体的距离。即清晰成像的表面距离。分辨率：图像系统可以测到的受检验物体上的最小可分辨特征尺寸。在多数情况下，视野越小，分辨率越好。景深(Depthofview，即DOF)：物体离最佳焦点较近或较远时，镜头保持所需分辨率的能力。5.2.镜头：d)工业镜头的基本参数5、机器视觉系统软、硬件e)工业镜头的其他参数5.2.镜头：感光芯片尺寸：相机感光芯片的有效区域尺寸，一般指水平尺寸。这个参数对于决定合适的镜头缩放比例以获取想要的视场非常重要。镜头主要缩放比例(PMAG)由感光芯片的尺寸和视场的比率来定义。虽然基本参数包括感光芯片的尺寸和视场，但PMAG却不属于基本参数。焦距（f）焦距，是光学系统中衡量光的聚集或发散的度量方式，指从透镜的光心到光聚集之焦点的距离。亦是照相机中，从镜片中心到底片或CCD等成像平面的距离。（需要记住的公式）f={工作距离/视野范围长边（或短边）}XCCD长边（或短）焦距大小的影响情况：焦距越小，景深越大；焦距越小，畸变越大；焦距越小，渐晕现象越严重，使像差边缘的照度降低；解析度表示一组物镜所能见到了2点的最小间隔0.61x使用波长(λ)/NA=解析度(μ)以上的计算方法理论上可以计算出解析度，但不包括失真。※使用波长为550nm解像力１mm中间可以看到黑白线的条数。单位（lp）/mm.MTF（ModulationTransferFunction）成像时再现物体表面的浓淡变化而使用的空间周波数和对比度。5、机器视觉系统软、硬件失真（distortion）：（衡量镜头性能的指标之一）又称畸变，指被摄物平面内的主轴外直线，经光学系统成像后变为曲线，则此光学系统的成像误差称为畸变。畸变像差只影响影像的几何形状，而不影响影像的清晰度。光圈与F值光圈是一个用来控制镜头通光量装置（即镜头通光孔径），它通常是在镜头内。表达光圈大小我们是用F值，如f1。4，f2，f2。8etc光通量F=镜头的焦距（f）/镜头通光孔径。（F值越小、光圈越大）e)工业镜头的其他参数5.2.镜头：大光圈的作用进入更多光线更快的快门速度更浅的景深（背景虚化效果）例：APPLE4S（800w+f/2.4）；APPLE5S（800w+f/2.2）；APPLE6S（1200w+f/2.2）；APPLE7/8（1200w+f/1.8）；APPLE8Plus（双1200w+长焦f1.8/广角f2.8）；APPLEXS（双1200w+长焦f1.8/广角f2.4）；三星S9+（双1200w+f1.5/f2.4智能可变光圈）；5、机器视觉系统软、硬件e)工业镜头的其他参数5.2.镜头：大光圈适合拍摄人像或者静物花卉，因为光圈越大景深越浅，更能够凸出拍摄主题小光圈更适合拍摄风景，光圈越小景深越深。小光圈拍摄的照片每一处细节都很清晰，配合广角镜头最适合拍摄风光大片。5、机器视觉系统软、硬件景深景深是一个描述在空间中，可以清楚成像的距离范围。景深通常由物距、镜头焦距，以及镜头的光圈值所决定，（相对于焦距的光圈大小）。除了在近距离时，一般来说景深是由物体的放大率以及透镜的光圈值决定。固定光圈值时，增加放大率，不论是更靠近拍摄物或是使用长焦距的镜头，都会减少景深的距离；减少放大率时，则会增加景深。如果固定放大率时，增加光圈值（缩小光圈）则会增加景深；减小光圈值（增大光圈）则会减少景深。表示聚焦清楚的范围，长景深表示聚焦清楚的范围大，短景深表示聚焦清楚的范围小。e)工业镜头的其他参数5.2.镜头：5、机器视觉系统软、硬件5.3.光源：机器视觉系统工作的基本程序：取像=》分析=》结果输出光源为确保视觉系统正常取像获得足够光信息和稳定图像而提供的照明装置光源是一个视觉应用开始工作的第一步。光源的目的-照亮目标，提高目标亮度-形成最有利于图像处理的成像效果-克服环境光干扰，保证图像的稳定性光源的重要性合适的光源可以大大降低图像处理难度，提高系统检测精度、运行速度及工作效率。5、机器视觉系统软、硬件按照射方式可分为四大类:5.3.光源：背向照明前向照明结构光频闪照明。各种照明方式：平面照明、环形光源、同轴光源、平行光源、点光源、低角度光源、线光源、光栅；5、机器视觉系统软、硬件5.3.光源：#1:背光——测量系统的最佳选择案例：治具相机镜头被测工件背光5、机器视觉系统软、硬件5、机器视觉系统软、硬件5.3.光源：#1:背光——测量系统的最佳选择案例：治具5.3.光源：#2:正光——最直接的照明相机镜头正光被测工件拱形光源（碗光）环形光源（环光）环形光源（环光）5.3.光源：#3:同轴光——均匀性好5、机器视觉系统软、硬件5.3.光源：#4:点光源远心镜头5、机器视觉系统软、硬件5.3.光源：#5:线光源5、机器视觉系统软、硬件5.3.光源：#6:彩色的考虑光的三原色色彩三原色光的三原色：红、绿、蓝；色彩三原色：青、紫、黄。世界上所有颜色都是由三原色按不同比例组合而成三原色的色光叠加为白光。如：日光三原色的色彩叠加为黑色。5、机器视觉系统软、硬件5.3.其他光学器材：5、机器视觉系统软、硬件6、设计时需要确认的事项机械设计工程师需要和视觉软件工程师确认哪些信息：1、相机2、镜头3、光源相机的品牌型号2D/3D图纸相机的安装角度镜头的品牌型号2D/3D图纸镜头到被测工件之间的工作距离、距离可调范围是否需要接圈光源的品牌型号2D/3D图纸光源的打光方式：正光、角度光、背光光源到被测工件之间的距离、可调范围相机镜头正光被测工件背光角度光