第二讲-计算机视觉

课程设置：计算机视觉视觉基础底层处理中层处理高层处理视觉基础理论：神经生理学、认知科学；色度学、光学；射影几何、矩阵理论。图像处理：空域图像处理；频域图像处理；图像特征提取。图像分割；相机标定；深度估计；运动估计。三维重建；目标识别。智能机器：能够模拟人类的功能，感知外部世界并有效解决人所能解决问题的系统。在人类的感知器官中，视觉获取的信息量最大，大约80%，因此对于发展智能机器而言，赋予机器以人类视觉功能是十分重要的。计算机视觉：研究用计算机来模拟生物外显或宏观视觉功能的技术学科。计算机视觉的任务是用图像创建或恢复现实世界模型，然后认知现实世界。具体来说，让计算机具有对周围世界的空间物体进行传感、抽象、判断的能力，从而达到识别、理解的目的。分为三个阶段◦特征提取和区域分割基于轮廓,纹理,颜色…◦建模与模式表达基于各种物体的抽象化模型◦描述和理解基于景物的结构知识底层处理中层处理高层处理知识少多恢复场景的深度、表面法线方向、轮廓等有关场景的2.5维信息,并在此基础上恢复物体的完整三维图，建立物体三维描述.根据机器预先存贮的模型知识以及形状、色彩等特征,对于图像中各种物体进行识别,确定它们用于哪一类物体.建立各个图像中物体的拓扑关系图,给出图像所反映景物的结构描述.体系结构（systemarchitecture）,涉及一系列相关的课题,并行结构、分层结构、信息流结构、拓扑结构以及从设计到实现的途径．图像多义性：三维场景被投影为二维图像，深度和不可见部分的信息被丢失，因而会出现不同形状的三维物体投影在图像平面上产生相同图像的问题．另外，在不同角度获取同一物体的图像会有很大的差异．环境因素影响：场景中的诸多因素，包括照明、物体形状、表面颜色、摄像机以及空间关系变化都会对成像有影响.知识导引：同样的图像在不同的知识导引下，将会产生不同的识别结果．大量数据：灰度图像，彩色图像，深度图像的信息量十分巨大，巨大的数据量需要很大的存贮空间，同时不易实现快速处理．上世纪50年代，从统计模式识别开始，主要集中在二维图像分析与识别，主要应用包括字符识别、工件表面检测等等。上世纪60年代，拓展到三维结构，对物体的形状，物体的空间关系进行描述。通过对积木世界的研究，引出了边缘、角点等特征提取，图像明暗、纹理、运动以及成像几何等研究工作。上世纪70年代，Marr计算视觉理论，建立一个十分重要的理论框架。Marr视觉计算理论——三种层次计算理论，主要解决视觉系统的计算目的和策略是什么？输入输出是什么？用什么策略根据系统的输入求出输出？该层次的任务就是研究如何建立输入输出之间的约束和关系。表示和算法，解决输入输出信息如何来表示？如何实现计算理论所对应的功能的算法？以及如何由一种表示转换成另一种表示？硬件实现，就是具体的计算装置和一些细节配置(a)factorization-basedstructurefrommotion(TomasiandKanade1992),(b)densestereomatching(Boykov,Veksler,andZabih2001),(c)multi-viewreconstruction(SeitzandDyer1999)(d)facetracking(Matthews,Xiao,andBaker2007),(e)imagesegmentation(Belongie,Fowlkes,Chungetal.2002)(f)facerecognition(TurkandPentland1991a).(a)imagestitching:mergingdifferentviews(SzeliskiandShum1997)(b)exposurebracketing:mergingdifferentexposures;(c)morphing:blendingbetweentwophotographs(Gomes,Darsa,Costaetal.1999(d)turningacollectionofphotographsintoa3Dmodel(Sinha,Steedly,Szeliskietal.2008)图像处理：图像处理通常是把一幅图像变换成另外一幅图像，也就是说，图像处理系统的输入是图像，输出仍然是图像，信息恢复任务则留给人来完成计算机图形学：通过几何基元，如线、圆和自由曲面，来生成图像，它在可视化（Visualization）和虚拟现实(VirtualReality）中起着很重要的作用．计算机视觉正好是解决相反的问题，即从图像中估计几何基元和其它特征．因此，计算机图形学属于图像综合，计算机视觉属于图像分析．模式识别：模式一般指一类事物区别于其它事物所具有的共同特征。人工智能（AI）：涉及到智能系统的设计和智能计算的研究．在经过图像处理和图像特征提取过程后，接下来要用人工智能方法对场景特征进行表示，并分析和理解场景．人工智能有三个过程：感知、认知和行动．．神经生理学与认知科学：将人类视觉作为主要的研究对象．计算机视觉中已有的许多方法与人类视觉极为相似．许多计算机视觉研究者对研究人类视觉计算模型比研究计算机视觉系统更感兴趣，希望计算机视觉更加自然化，更加接近生物视觉零件识别与定位产品检验移动机器人导航遥感图像分析医学图像分析安全鉴别、监视与跟踪国防系统（目标自动识别ATR与目标跟踪）其它（体育、考古、动画）Sojourner火星车前部图，中部的两个小突出是两个黑白CCD摄像机勇气号火星车Rocky7火星车CMU月球探测实验车Nomad漫游者