机器视觉测量技术1概论

机器视觉测量技术机器视觉测量技术MachineVisionMeasurementTechnology合肥工业大学仪器科学学院机器视觉测量技术教师：杨永跃副教授[e-mail]13505609717机器视觉测量技术参考教材：贾云得《机器视觉》科学出版社，2000参考书目：张广军《机器视觉》科学出版社，2005章毓晋《图像理解与计算机视觉》清华大学出版社，2000课程教材：机器视觉测量技术第一章概论Chapter1Introduction机器视觉测量技术耳眼鼻舌身1.1引言感知系统：视觉、听觉、嗅觉、味觉和触觉.其中约80%的信息是由视觉获取的．机器视觉测量技术智能机器:能模拟人类的功能，能感知外部世界并有效地解决人所能解决问题.•赋予机器以人类视觉功能是及其重要的，•也由此形成了一门新的学科—机器视觉。•机器视觉：研究用机器来模拟生物外显或宏观视觉功能的科学和技术．机器视觉系统的首要目标是用图像创建或恢复现实世界模型，然后认知现实世界．机器视觉测量技术•20世纪50年代归入模式识别----主要集中在二维图像分析和识别上，如，光学字符识别，工件表面、显微图片和航空图片的分析和解释等．•60年代MIT的Roberts通过计算机程序从数字图像中提取出诸如立方体、楔形体、棱柱体等多面体的三维结构，并对物体形状及物体的空间关系进行描述．Roberts的研究工作开创了以理解三维场景为目的的三维计算机视觉的研究．“积木世界”．•70年代出现一些视觉应用系统．70年代中期，麻省理工学院(MIT)人工智能(AI)实验室正式开设“机器视觉”(MachineVision)课程．1.2机器视觉的发展机器视觉测量技术MITAI实验室，DavidMarr于1977年提出了不同于“积木世界”分析方法的计算视觉理论(computationalvision)．20世纪80年代机器视觉获得了蓬勃发展，新概念、新方法、新理论不断涌现。比如，基于感知特征群的物体识别理论框架，主动视觉理论框架，视觉集成理论框架等．机器视觉测量技术许多国际会议都反应了该领域的最新进展，比如：Int.Conf.onComputerVisionandPatternRecognition(CVPR);Int.Conf.onComputerVision(ICCV);Int.Conf.onPatternRecognition(ICPR);Int.Conf.onRoboticsandAutomation(ICRA);WorkshoponComputerVision,SPIE．还有许多学报期刊也包含了这一领域的最新研究成果,如：IEEETrans.onPatternAnalysisandMachineIntelligence(PAMI);ComputerVision,Graphics,andImageProcessing(CVGIP);IEEETrans.onImageProcessing;MachineVisionandApplications;ImageandVisionComputing;PatternRecognition．机器视觉测量技术1.3.1信息处理三个层次表1-1计算理论表示和算法硬件实现计算的目的是什么？如何实现这个计算理论？在物理上如何实现为什么这一计算是合适的？输入、输出的表示是什么？这些表示和算法？执行计算的策略是什么？表示与表示之间的变换是什么？1.3Marr的视觉计算理论Marr的视觉计算理论[Marr1982]立足于计算机科学，系统地概括了心理生理学、神经生理学等方面取得的所有重要成果，大大推动了机器视觉研究的发展．Marr视觉理论中的方法论.机器视觉测量技术1.3.2视觉信息处理第一阶段(早期阶段)是将输入的原始图像进行处理，抽取图像中诸如角点、边缘、纹理、线条、边界等基本特征，这些特征的集合称为基元图.第二阶段(中期阶段)是指在以观测者为中心的坐标系中，由输入图像和基元图恢复场景可见部分的深度、法线方向、轮廓等，这些信息的包含了深度信息，但不是真正的物体三维表示，因此，称为二维半图.第三阶段(后期阶段)是在以物体为中心的坐标系中，由输入图像、基元图、二维半图来恢复、表示和识别三维物体.机器视觉测量技术¤视觉处理框架中的输入是被动的，给什么图像就处理什么图像。¤视觉处理框架中的目的是固定的，总是恢复场景中的物体位置和形状。¤没有足够地重视高层知识的交互指导应用。¤视觉处理框架基本上是自下而上，单向流动，没有反馈。1.3.3Marr视觉理论的不足机器视觉测量技术计算机视觉应用系统照明成像装置计算机视觉场景图象描述应用反馈机器视觉测量技术1.4计算机视觉的应用•零件识别与定位（工业生产线）•产品检验（纺织工业棉花质量检验）•移动机器人导航（星球机器人）•遥感图像分析（植被分析）•医学图像分析（骨骼定位）•安全鉴别、监视与跟踪（门禁系统）•国防系统（目标自动识别与目标跟踪）•其它（动画、体育、考古）机器视觉测量技术A.零件识别与定位机器视觉测量技术B.产品检验机器视觉测量技术C.机器人机器视觉测量技术机器视觉测量技术无人驾驶机器视觉测量技术D.遥感图像机器视觉测量技术制导机器视觉测量技术红外机器视觉测量技术生态环境自然灾害农业调查海岸形貌机器视觉测量技术E.医学分析、专家系统机器视觉测量技术F.安全检验、监视跟踪机器视觉测量技术机器视觉测量技术G.影视制作、虚拟环境机器视觉测量技术机器视觉测量技术三维重建机器视觉测量技术多目立体视觉机机器视觉测量技术1.5.机器视觉的研究内容(1)输入设备(inputdevice)包括成像设备和数字化设备．成象设备是指通过光学摄像机或红外、激光、超声、X射线对周围场景或物体进行探测成象，得到关于场景或物体的二维或三维数字化图像．(2)低层视觉(lowlevel)对输入的原始图像进行处理．借用图像处理技术和算法，如图像滤波、图像增强、边缘检测等，以便从图像中抽取诸如角点、边缘、线条、边界以及色彩等关于场景的基本特征；各种图像变换、图像纹理检测、图像运动检测等．机器视觉测量技术(3)中层视觉（middlelevel）主要任务是恢复场景的深度、表面法线方向、轮廓等有关场景的2．5维信息，实现的途径有立体视觉、测距成像运动估计、明暗特征、纹理特征等估计方法．系统标定、系统成像模型等研究内容一般也在这个层次上．(4)高层视觉（highlevel）主要任务是在以物体为中心的坐标系中，在原始输入图像、图像基本特征、2．5维图的基础上，恢复物体的完整三维图，建立物体三维描述，识别三维物体并确定物体的位置和方向．机器视觉测量技术(5)体系结构（systemarchitecture）在高度抽象的层次上，根据系统模型而不是根据实现设计的具体例子来研究系统的结构．好比于建筑设计中某一时期的建筑风格和根据这一风格设计出来的具体建筑之间的区别．体系结构研究涉及一系列相关的课题：并行结构、分层结构、信息流结构、拓扑结构以及从设计到实现的途径．机器视觉测量技术1.6.计算机视觉研究面临的困难（1）图像多义性：三维场景被投影为二维图像，深度和不可见部分的信息被丢失，因而会出现不同形状的三维物体投影在图像平面上产生相同图像的问题．机器视觉测量技术（2）环境影响：场景中的诸多因素，包括照明、物体形状、表面颜色、摄像机以及空间关系变化都会对成像有影响.（3）知识导引：同样的图像在不同的知识导引下，将会产生不同的识别结果．机器视觉测量技术（4）大量数据：灰度图像，彩色图像，深度图像的信息量十分巨大，需要很大的存贮空间，不易实现快速处理．机器视觉测量技术1.7机器视觉与其它学科领域（1）图像处理：图像处理通常是把一幅图像变换成另外一幅图像，也就是说，图像处理系统的输入是图像，输出仍然是图像，信息恢复任务则留给人来完成.（2）计算机图形学：通过几何基元，如线、圆和自由曲面，来生成图像，它在可视化和虚拟现实中起着很重要的作用．(计算机视觉正好是解决相反的问题—图像分析．)（3）模式识别：用于识别各种符号、图画等平面图形．模式一般指一类事物区别于其它事物所具有的共同特征。机器视觉测量技术（3）人工智能（AI）：涉及到智能系统的设计和智能计算的研究．在经过图像处理和图像特征提取过程后，用人工智能方法对场景特征进行表示，并分析和理解场景．人工智能有三个过程：感知、认知和行动．（4）生物物理学与认知科学：将人类视觉作为主要的研究对象．计算机视觉中已有的许多方法与人类视觉极为相似．希望计算机视觉更加自然化，更加接近生物视觉.机器视觉测量技术•可见光谱:380-780nm1.8人类视觉简介机器视觉测量技术人类视觉构造角膜、虹膜、瞳孔晶状体、睫状肌玻璃体视轴、光轴视网膜机器视觉测量技术机器视觉测量技术视网膜:φ6.中央黄斑φ2.中央凹φ1.1万万杆体细胞：暗视觉650万锥体细胞：明视觉430*540*570nm机器视觉测量技术机器视觉测量技术•任何一种神经细胞的输出都依赖于视网膜上的许多光感受器.•任何一个光感受器的输出将对许多神经细胞的输出有贡献.感受野：影响神经细胞的光感受细胞的全体.感受野机器视觉测量技术机器视觉测量技术视觉通路入视网膜（杆体和锥体细胞⇒神经信号→神经节细胞⇒神经信号）出视网膜→视神经束→视交叉神经纤维⇒形成新视束→中枢的各个部位；第一通路外膝体或外膝核、四叠体上丘顶盖前区和皮层等第二通路上丘和顶盖前区丘脑枕视皮层机器视觉测量技术视觉第一通路机器视觉测量技术视觉信息的并行处理机器视觉测量技术视觉视差机器视觉测量技术1)非视觉性深度线索:视觉的空间知觉眼睛聚焦调节:晶状体的调节.共焦测距.双眼视轴的幅合：视轴偏转角.三角测距.2)双眼深度线索:中央眼.机器视觉测量技术3)单眼深度线索:大小：近：成像大；远：成像小.物体遮挡：遮挡来判断物体的前后距离.光亮阴影：近：物体明亮；远：物体灰暗.颜色分布：近：黄或红；远：蓝.空气透视：近：轮廓清晰；远：模糊不清.纹理：近：纹理稀疏；远：纹理密集.运动：近：视角变化大；远：视角变化小.机器视觉测量技术视觉特性B.空间特性觉察：检测在视野中某个给定物体存在与否。定位：对两个物体相对位置精确辨别的能力。解像：对某视觉形状各组成部分之间距离的辨别能力(显示分辨)认知：综合的能力和方法，一定的解像力和定位能力。A、时间特性累积效应：视觉受光总量E∝物体可见面积S＋表面亮度L＋观察时间T光感受潜伏期：多次闪光导致闪烁知觉。视敏度：所能看到的景物细节的准确性评价。(角)机器视觉测量技术C、形状知觉轮廓：把物体与视野中的其他部分区分开来。轮廓是边界,局部概念.形状为全体概念.主观轮廓：把不完整的因素连贯起来编程简单和稳定图案的倾向.机器视觉测量技术前景背景可相互置换.前景受背景影响.D、视觉的相对性前景：视觉关心的主体。背景：与前景相关联的其它刺激。E、视觉的选择性视而不见.充耳不闻.机器视觉测量技术F、视觉的整体性亮度恒常性：宽照明变化条件,明亮度准确判断.大小恒常性：视网膜像大小的变化,反应的是距离变化.形状恒常性：投影变形透过经验加以矫正.颜色恒常性：宽照明变化条件,色彩准确判断.G、视觉的恒常性机器视觉测量技术H、视觉的组织性封闭性相似性连续性接近性机器视觉测量技术H、错视现象机器视觉测量技术机器视觉测量技术马赫带Hering方格