机器视觉1

2020年9月14日星期一1机器视觉MachineVision2020年9月14日星期一2参考教材：《计算机视觉》马颂德著，科学出版社，1999参考书目：1、《机器视觉》，贾云得著，科学出版社，2000.2、《图像处理、分析与机器视觉》（第二版）M.Sonka,V.Hlavac,R.Boyle著，艾海舟等译，人民邮电出版社，20032、《机器视觉教程》W.E.Snyder,H.Qi著林学訚等译，机械工业出版社，2005课程教材2020年9月14日星期一3第一章引论Chap1引论讲解内容1.机器视觉的研究内容、特点及其应用。2.基础理论（Marr视觉计算、成像几何基础）；3.课程学习内容。目的1.了解机器视觉的主要内容及相关知识，熟悉机器视觉与其他学科的关系；2.重点掌握Marr视觉计算理论及成像几何基础理论。2020年9月14日星期一51.1机器视觉机器视觉：机器视觉是研究用计算机来模拟生物外显或宏观视觉功能的科学和技术．其首要目标是用图像创建或恢复现实世界模型，然后认知现实世界．机器视觉系统获取的场景图像一般是灰度图像，即三维场景在二维平面上的投影．因此，场景三维信息只能通过灰度图像或灰度图像序列来恢复处理，这种恢复需要进行多点对一点的映射逆变换．在信息恢复过程中，还需要有关场景知识和投影几何知识．•从二维图象恢复三维信息；•从原始图像数值描述产生语义描述。1.1基本概念机器视觉是信息科学领域的一个重大挑战性问题：•JimGray列出的12大信息科学问题之一:Seeaswellasaperson.•BillGates：Thefutureofcomputingistomakecomputerssee,hear,speakandlearn.2020年9月14日星期一71.2Marr计算视觉理论框架从信息处理的角度综合了图像处理、心理物理学、神经生理学等理论，提出了第一个较为完善的视觉系统框架。视觉系统的研究的三个层次计算理论层次表达与算法层次硬件实现层次2020年9月14日星期一81.2Marr计算视觉理论框架计算理论层次：回答系统各个部分的计算目的与计算策略，亦即各部分的输入输出是什么，之间的关系是什么或具有什么约束。其对视觉系统的总的输入输出层次规定了一个总的目标：即输入是二维图像，输出是由二维图像重建来的三维物体的位置与形状。认为视觉系统的任务是对环境中三维物体进行识别、定位与运动分析2020年9月14日星期一9表达与算法层次：如何实现这个计算理论？输入、输出的表示是什么？表示与表示之间的变换是什么2020年9月14日星期一10硬件实现在物理上如何实现这些表示和算法？2020年9月14日星期一11视觉系统研究的三个阶段第一阶段(也称为早期阶段)是将输入的原始图像进行处理，抽取图像中诸如角点、边缘、纹理、线条、边界等基本特征，这些特征的集合称为基元图(primitivesketch)；第二阶段(中期阶段)是指在以观测者为中心的坐标系中，由输入图像和基元图恢复场景可见部分的深度、法线方向、轮廓等，这些信息的包含了深度信息，但不是真正的物体三维表示，因此，称为二维半图(2．5dimensionalsketch)；第三阶段(后期阶段)是指在以物体为中心的坐标系中，由输入图像、基元图、二维半图来恢复、表示和识别三维物体的过程。2020年9月14日星期一12表由图像恢复形状信息的表示框架名称目的基元图像光强表示图像中每一点的强度值基元图表示二维图像中的重要信息，主要是图像中的强度变化位置及其几何分布和组织结构零交叉，斑点，端点和不连续点，边缘片断，有效线段，组合群，曲线组织，边界2．5维图在以观测者为中心的坐标系中，表示可见表面的方向、深度值和不连续的轮廓局部表面朝向(“针”基元)离观测者的距离深度上的不连续点表面朝向的不连续点3维模型表示在以物体为中心的坐标系中，用由体积基元和面积基元构成的模块化多层次表示，描述形状及其空间组织形式．分层次组成若干三维模型，每个三维模型都是在几个轴线空间的基础上构成的，所有体积基元或面积形状基元都附着在轴线上．1.2.2视觉表示框架2020年9月14日星期一13视觉处理框架基本上是自下而上，没有反馈；没有足够地重视知识的应用。基于感知特征群的物体识别理论框架，主动视觉理论框架，视觉集成理论框架等等。1.2Marr视觉计算理论Marr理论的不足2020年9月14日星期一14•20世纪50年代归入模式识别----主要集中在二维图像分析和识别上，如光学字符识别，工件表面、显微图片和航空图片的分析和解释等。•60年代，Roberts积木世界理论----开创了以理解三维场景为目的的三维计算机视觉的研究。•70年代，Marr计算视觉理论----第一个较为完善的视觉系统框架，分三个层次进行处理。•80年代以后，蓬勃发展----新概念、新方法、新理论不断涌现，如基于感知特征群的物体识别理论框架，主动视觉理论框架，视觉集成理论框架等。1.1机器视觉1.3发展概况2020年9月14日星期一15主要期刊和会议•IEEET-PAMI,IJCV,IEEET-ImageProcessing,PatternRecognition,ComputerVisionandImageUnderstanding,ImageandVisionComputing,PRLetters,……•ICCV,CVPR,ICPR,ICIP,ECCV,ACCV,BMVC,MVA,……•自动化学报、计算机学报、软件学报、电子学报、中国图像图形学报、模式识别与人工智能、……机器视觉的应用2020年9月14日星期一17•零件识别与定位•产品检验•移动机器人导航•遥感图像分析•医学图像分析•安全、监控与跟踪•国防系统•其它（动画、体育、考古）应用领域Robotics2020年9月14日星期一301.4机器视觉与其它学科关系机器视觉VS图像处理•图像处理(ImageProcessing)：实现从输入图像到另一种图像的转换•图像处理：人是最终的解释者•机器视觉：计算机是图像的解释者•机器视觉系统需要图像处理模块2020年9月14日星期一311.4机器视觉与其它学科关系机器视觉VS计算机图形学•计算机图形学：从三维描述到二维图像显示•机器视觉：从二维图像数据到三维描述•在一定意义上讲，计算机视觉是计算机图形学的逆问题•两者从最初相互独立的平行发展到最近的融合是一大趋势2020年9月14日星期一32机器视觉VS模式识别•模式识别：研究各类模式的分类，其中模式可以有不同的物理意义和表现形式•图像模式的分类是计算机视觉中的一个重要问题•模式识别中的许多方法可以应用于计算机视觉中2020年9月14日星期一331.4机器视觉与其它学科关系机器视觉VS人工智能•人工智能：主要研究智能系统的设计和有关智能的计算理论与方法•AImaybeconsideredashavingthreestages:perception,cognitionandaction•计算机视觉经常被视为AI的一个分支2020年9月14日星期一341.5机器视觉的内容•为了简化计算机视觉理解的任务,通常将其分为两个层次:低层图像处理和高层图像理解•低层图像处理:包括图像压缩、噪声滤波、边缘提取和图像锐化等预处理方法•高层图像理解：取决于知识、目标以及如何达到目标的规划，与人工智能密不可分。高层视觉试图模仿人类的认知和根据包含在图像中的信息进行决策的能力。2020年9月14日星期一35一个典型的机器视觉的处理过程：图像由传感器抓取并数字化，然后进行噪声抑制，接着是增强一些与理解图像有关的物题特征；接下来是图像分割，将物体从背景中分离开来；进行描述和分类；依据图像内容的知识，如物体的大小、形状、以及图像中物体的关系，进行高层理解。1.6机器视觉的挑战2020年9月14日星期一40引论(Chap1)二值图象处理(Chap3)区域分析(Chap4)图象预处理(Chap5)边缘检测(Chap6)轮廓表示(Chap7)纹理分析(Chap8)明暗分析(Chap9)深度图(Chap11)相机标定(Chap12)运动估计(Chap14)物体识别(Chap16)1.5课程内容