计算机视觉

机器人与信息自动化研究所InstituteofRobotics&AutomaticInformationSystem计算机视觉孙明竹[e-mail]机器人与信息自动化研究所2/课程信息主讲人：孙明竹联系电话：23505706-211Email：[e-mail]实验室：伯苓楼机器人所602室课程成绩：平时作业(10％)＋期末考试(40％)答疑：当面、电话、邮件机器人与信息自动化研究所3/主要参考书马颂德，张正友《计算机视觉——一种理论与算法基础》，科学出版社，1998DavidForsyth，JeanPonce《计算机视觉——一种现代的方法》，清华大学出版社，2004RafaelGonzalesetal《数字图像处理(MATLAB版)》，电子工业出版社，2005MilanSonkaetal《图像处理、分析与机器视觉》，人民邮电出版社，2002期刊、会议论文……善于使用网络：官网、论坛、主页、博客、Wikipedia、google、百度……InstituteofRoboticsandAutomaticInformationSystem绪论Introduction机器人与信息自动化研究所5/主要内容第1章绪论1.1.计算机视觉（ComputerVision）的概念1.2.计算机视觉的发展1.3.Marr的计算视觉理论框架1.4.课程主要内容补充：matlab程序设计机器人与信息自动化研究所6/1.1.计算机视觉的概念WhyVision？视觉是人类最重要的感觉，人类认识外界信息80%来自视觉计算机视觉的概念利用各种成像系统代替人类的视觉器官作为输入手段，由计算机来代替大脑完成处理和解释计算机视觉的最终目标使计算机像人那样，通过视觉观察和理解世界，具有自主适应环境的能力机器人与信息自动化研究所7/1.1.计算机视觉的概念计算机视觉当前的研究目标使计算机具有通过二维图像认知三维环境的能力：感知三维环境中物体的几何信息，包括形状、位置、姿态、运动等对它们进行描述、存储、识别与理解视觉系统图像视觉信息（物体的形状、位置、姿态、运动等）机器人与信息自动化研究所8/计算机视觉与相关学科的关系图像处理(ImageProcessing)图像处理，人是最终的解释者计算机视觉，计算机是图像的解释者模式识别(PatternRecognition)根据从图像中抽取的统计特性或结构信息，把图像分成设定的类别图像处理系统图像处理过的图像模式识别系统模式分类结果人工智能计算机视觉模式识别图像处理计算机视觉、图像处理与模式识别机器人与信息自动化研究所9/计算机视觉与相关学科的关系计算机图形学（ComputerGraphics）计算机图形学是一种使用数学算法将二维或三维图形转化为计算机显示器的栅格形式的科学计算机图形学：从三维描述到二维图像显示计算机视觉：从二维图像数据到三维描述计算机视觉与机器视觉（Machinevision）基本理论框架、底层理论、算法相似研究的最终目不同计算机图形学三维模型二维显示机器人与信息自动化研究所10/1.2.计算机视觉的发展发展概况20世纪50年代：统计模式识别二维图像分析和识别，如光学字符识别、工件表面、显微图片和航空图片的分析和解释等20世纪60年代：Roberts的三维积木世界通过计算机程序从数字图像中提取出诸如立方体、楔形体、棱柱体等多面体的三维结构，并对物体形状及物体的空间关系进行描述开创了以理解三维场景为目的的三维视觉研究后人解决了由线段解释景物和处理阴影等问题机器人与信息自动化研究所11/1.2.计算机视觉的发展三维积木世界机器人与信息自动化研究所12/1.2.计算机视觉的发展发展概况（续）20世纪70年代：Marr为代表的计算理论核心是从图像恢复物体的三维形状提出要从不同层次去研究信息处理的问题对计算理论和算法实现，特别强调计算理论的重要性20世纪80年代：主动视觉(ActiveVision)主动视觉的四个特征：主动性(Active)、选择性(Selective)、目的性(Purposive)、定性性(Qualitative)对计算机视觉新的理解：根据任务，调整成像参数，选择感兴趣的区域，获取相关的图像信息机器人与信息自动化研究所13/计算机视觉的困难与问题计算机视觉是一个逆问题输入：二维灰度图像输出：三维物体的几何特征、位置视觉信息多种多样，视觉知识的表达很困难图像数据量巨大，信息存储与检索困难对生理学、神经生物学等的研究有待深入机器人与信息自动化研究所14/计算机视觉的应用自主车导航目标跟踪工业应用：产品检验、柔性装配、海洋石油开采、海底勘察医疗和军事应用：医疗外科手术……机器人与信息自动化研究所15/计算机视觉的应用VideofromICRA/IROS自主车导航高速动态场景中的运动障碍物检测显著区域检测外科手术机器人其他视频12机器人与信息自动化研究所16/1.3Marr的计算视觉理论框架视觉系统研究的三个层次计算理论层次：回答系统各个部分的计算目的与计算策略（各部分的输入输出，之间的关系变换，之间的约束）表达与算法层次：视觉系统的研究应给出各部分(各模块)的输入、输出和内部的信息表达，以及实现计算理论所规定的目标的算法硬件实现层次：如何用硬件实现以上算法机器人与信息自动化研究所17/1.3Marr的计算视觉理论框架视觉信息处理的三个阶段1）低层视觉（Low-levelvision）构成要素图（primalsketch），要素图由二维图像中的边缘点、直线段、曲线、顶点、纹理等基本几何元素或特征组成2）中层视觉（Intermediate-levelvision）构成对环境的2.5维描述，在以观察者为中心的坐标系中描述部分的、不完整的三维信息3）高层视觉（High-levelvision）从2.5维描述得到物体的完整三维描述，三维结构在以物体为中心的坐标系中表示机器人与信息自动化研究所18/1.4课程内容绪论——计算机视觉的概念数字图像处理数字图像及其性质图像预处理摄像机标定立体视觉机器人与信息自动化研究所19/补充：matlab程序设计Matlab中的矩阵运算zeros/ones利用冒号表达式：x=x0:step:xn区分“*”和“.*”善于使用help/edit对照程序功能，阅读源程序InstituteofRoboticsandAutomaticInformationSystem数字图像处理DigitalImageProcessing机器人与信息自动化研究所21/图像分析系统知识库形状表示与描述预处理分割低级处理高级处理中级处理识别与解释结果图像获取问题机器人与信息自动化研究所22/主要内容第2章数字图像及其性质2.1补充：卷积与傅立叶变换2.2数字图像的形成2.3数字图像性质第3章图像预处理3.1像素亮度变换3.2图像平滑3.3边缘检测3.4其他图像处理机器人与信息自动化研究所23/2.1.1卷积(Convolution)二维函数f和h的卷积g记为f*h，由积分定义二维离散卷积(matlab:conv2)(,)(,)(,)(,)(,)gxyfxyhxyhxyfxy(,)(,)fxaybhabdadb(,)(,)fabhxaybdadb111100(,)(,)(,)MNklgmnfklhmknl12120,1,,2;0,1,,2;mMMnNN机器人与信息自动化研究所24/2.1.1卷积原始图像与Prewitt算子h1做卷积136133134135130132132130133131131132125131131……131130130132129130131129130130……1111000111h136269403402399132264394395394-5-6-15-14-12……-1-3-3-3-3-1-2222……111000111机器人与信息自动化研究所25/2.1.2傅立叶变换(FourierTransform)二维连续傅立叶变换及其逆变换二维离散傅立叶变换(DFT)及其逆变换22,,1,,2ixuyvixuyvFuvfxyedxdyfxyFuvedudv112(//)00(,)(,)MNiumMvnNmnFuvfmne112(//)001(,)(,)MNiumMvnNuvfmnFuveMN0,1,10,1,1uMvN0,1,10,1,1mMnN机器人与信息自动化研究所26/2.1.2傅立叶变换傅立叶变换的结果F(u,v)通常为复数，令R(u,v)和I(u,v)分别表示F(u,v)的实部和虚部傅立叶频谱：相位角：若f(m,n)是实数，F(u,v)关于原点共轭对称，也关于原点对称221/2|(,)|[(,)(,)]FuvRuvIuv(,)(,)arctan[](,)IuvuvRuv(,)*(,)|(,)||(,)|FuvFuvFuvFuv机器人与信息自动化研究所27/2.1.2傅立叶变换DFT和逆DFT都是周期无穷的，周期由M和N决定(,)(,)(,)(,)(,)(,)(,)(,)FuvFuMvFuvNFuMvNfmnfmMnfmnNfmMnN二维DFT(matlab:fft2)二维逆DFT(matlab:ifft2)重排数据(matlab:fftshift)机器人与信息自动化研究所28/i=imread(‘miss.bmp’);imshow(i,[]);F=fft2(i);imshow(abs(F),[]);Fs=fftshift(F);imshow(abs(Fs),[]);Fl=log(1+abs(Fs));imshow(abs(Fl),[]);DFT变换结果原始图像对数显示fftshift结果机器人与信息自动化研究所29/2.2数字图像的形成机器人与信息自动化研究所30/图像数字化传感器获取的图像是平面上的连续函数图像数字化将连续函数采样(sampled)为M行N列的矩阵将每个连续样本量化(quantization)为一个整数值，即图像函数的连续范围被分成了K个区间采样和量化的越精细，即增大M,N,K，连续图像函数的近似性越好机器人与信息自动化研究所31/2.2.1采样连续图像函数f(x,y)可通过平面上离散的栅格点来采样图像采样点：两个相邻采样点间，在x轴和y轴上的距离分别是Δx和Δy，称距离Δx和Δy为采样间隔，采样后得到的矩阵fs(mΔx,nΔy)构成了离散图像采样图像是连续图像函数f(x,y)与采样函数s(x,y)的乘积,1,2,,,1,2,,xmxmMynynN(,)(,)(,)sfxyfxysxy11(,)(,)MNmnfxyxmxyny机器人与信息自动化研究所32/2.2.1采样傅立叶变换采样后图像的傅立叶变换是周期性重复的连续图像傅立叶变换F(u,v)之和11(,)(,)(,)MNsmnfxyfxyxmxyny1(,)(/,/)smnFuvFumxvnyxy(,)(,)fxyFuv机器人与信息自动化研究所33/2.2.1采样在一定条件下，当数字化分量F(u,v)发生重叠时，F(u,v)的周期性重复可能引起图像失真，这种现象称为混迭(aliasing)当图像函数f(x,y)是有限带宽(band-limited)的频谱，即其傅立叶变换F(u,v)在一定频率