计算机视觉课件笔记

第一讲：介绍1什么是视觉：Visionistheprocessofdiscoveringfromimageswhatispresentintheworld,andwhereitis.2研究视觉的用处：对象识别、空间定位、运动跟踪、动作识别3什么是计算机视觉：ComputerVisionisthestudyofanalysisofpicturesandvideosinordertoachieveresultssimilartothoseasbymen.即为了近似于人眼观察结果而进行的图像和视频的分析研究4MAR计算机视觉理论：将视觉过程看做一个信息加工过程，把视觉图像的形成划分为三个阶段：(3)三维模型表征（3-Dmodelrepresentation）：视觉过程的第三阶段，由输入图像、基素图、2.5维图而获得物体的三维表示。视觉过程的这一阶段，也称为后期视觉。所谓物体的三维表示指的是在以物体为中心的坐标系中，用含有体积基元（即表示形状所占体积的基元）和面积基元的模块化分层次表象，描述形状和形状的空间组织形式，其表征包括容积、大小和形状。当三维模型表征建立起来时，其最终结果是对我们能够区别的物体的一种独特的描述。第二讲：视觉通路简介1可见光谱范围：380nm~780nm2眼球基本结构和功能：1)二维基素图（2-Dsketch）：视觉过程的第一阶段，由输入图像而获得基素图。基素图主要指图像中强度变化剧烈处的位置及其几何分布和组织结构，其中用到的基元包括斑点、端点、边缘片断、有效线段、线段组、曲线组织、边界等.目的在于把原始二维图像中的重要信息更清楚地表示出来。(2)2.5维要素图：视觉过程的第二阶段，通过符号处理，将线条、点和斑点以不同的方式组织起来而获得2.5维图。视觉过程的这一阶段也称为中期视觉。2.5维图指的是在以观察者为中心的坐标系中，可见表面的法线方向、大致的深度以及它们的不连续轮廓等。其中用到的基元包括可见表面上各点的法线方向、和各点离观察者的距离（深度）、深度上的不连续点、表面法线方向上的不连续点等等。视觉的这一阶段是由一系列相对独立的处理模块组成的。这些处理模块包括：体现、运动、由表面明暗恢复形状、由表面轮廓线恢复形状、由表面纹理恢复形状等。它的作用是揭示一个图像的表面特征。Marr声称，早期视觉加工的目标就是要建立一个2.5维的要素图，这是把一个表面解释为一个特定的物体或一组物体之前的最后一步。3视网膜：将光信号转变成电脉冲信号4视觉通路概述：视束交叉：视束神经交叉的关键是内侧信号传输到对面,外侧信号传输方向不变第三讲：数学基础1线性代数知识复习：齐次坐标系、普通二维坐标和二维齐次坐标之间进行转换、行列式、行列式几何意义（二阶行列式：平面平行四边形的有向面积；三阶行列式：平行六面体的有向体积；n阶行列式：n维平行多面体的有向容积）、行列式性质、两个三维向量叉积、矩阵、任意一个矩阵其本身蕴含一个变换、矩阵与线性变换之间的关系（矩阵变换就是线性变换）、二阶矩阵对应线性变换的平面几何图形小结、矩阵的秩（初等变换不改变矩阵的秩）、矩阵的K阶子式、满秩矩阵、满秩矩阵的逆矩阵、反对称矩阵、二元/三元线性方程组解的行列式表示、Gramer(克拉姆)法则、三点共线的判定（三点的齐次坐标行列式的值为0）、光线---------1光感受体：包括视锥细胞和视杆细胞。作用是将光信号转换为电脉冲信号。视锥细胞：亮视觉视杆细胞：暗视觉2中间层：构成视觉信息传输的直接和间接通道。3神经节细胞层：视觉信息在这里形成纤维束,离开人眼。视网膜外侧膝状体视皮层视觉传导通路：光线—角膜—瞳孔—晶状体—玻璃体—视网膜色素上皮细胞层—视锥视杆细胞层—双极神经原—节细胞—视神经—视交叉—视束—外侧膝状体—视辐射—大脑半球枕叶皮质。视觉反射通路：光线—角膜—瞳孔—晶状体—玻璃体—视网膜色素上皮细胞层—视锥视杆细胞层—双极神经原—节细胞—视神经—视交叉—视束—外侧膝状体—上丘臂—双侧上丘—中脑动眼神经副交感核—动眼神经—睫状神经节—节后纤维—瞳孔、睫状体—调节瞳孔对光反射和视觉反射3视觉通道假说模型大量的动物实验表明,灵长类动物视觉系统将图像的不同特征(例如,形状、运动、颜色、空间位置等)分成不同通路并行处理,各通路为串行的等级结构.在所有并行处理通路中,最重要的两条通路是背侧通路(DorsalPathway)和腹侧通路(VentralPathway).前者完成“在哪儿(Where)”功能,后者完成“是什么(What)”功能.***反对称矩阵***性质(1)对任意两个三维向量x1,x2：(2)(3)***结束******二阶矩阵对应线性变换的平面几何图形小结******结束******矩阵蕴含变换***3*3矩阵A把一个三维向量d映射到一个三维向量e；2*3矩阵A把一个三维向量d映射到一个二维向量e;1*3矩阵A把一个三维向量d映射到一个一维向量e；***结束******关于向量叉积***向量的叉积：假设存在向量u(ux,uy,uz),v(vx,vy,vz),求同时垂直于向量u,v的向量w(wx,wy,wz).因为w与u垂直，同时w与v垂直，所以w.u=0,w.v=0;即uxwx+uywy+uzwz=0;vxwx+vywy+vzwz=0;分别削去方程组的wy和wx变量的系数，得到如下两个等价方程式：(uxvy-uyvx)wx=(uyvz-uzvy)wz(uxvy-uyvx)wy=(uzvx-uxvz)wz于是向量w的一般解形式为：w=(wx,wy,wz)=((uyvz-uzvy)wz/(uxvy-uyvx),(uzvx-uxvz)wz/(uxvy-uyvx),wz)=(wz/(uxvy-uyvx)*(uyvz-uzvy,uzvx-uxvz,uxvy-uyvx))因为：ux(uyvz-uzvy)+uy(uzvx-uxvz)+uz(uxvy-uyvx)=uxuyvz-uxuzvy+uyuzvx-uyuxvz+uzuxvy-uzuyvx=(uxuyvz-uyuxvz)+(uyuzvx-uzuyvx)+(uzuxvy-uxuzvy)=0+0+0=0vx(uyvz-uzvy)+vy(uzvx-uxvz)+vz(uxvy-uyvx)=vxuyvz-vxuzvy+vyuzvx-vyuxvz+vzuxvy-vzuyvx=(vxuyvz-vzuyvx)+(vyuzvx-vxuzvy)+(vzuxvy-vyuxvz)=0+0+0=0由此可知，向量(uyvz-uzvy,uzvx-uxvz,uxvy-uyvx)是同时垂直于向量u和v的。为此，定义向量u=(ux,uy,uz)和向量v=(vx,vy,vz)的叉积运算为：uxv=(uyvz-uzvy,uzvx-uxvz,uxvy-uyvx)上面计算的结果可简单概括为：向量uxv垂直于向量u和v。2121][xxxx0][,0][xxxxT0][yxyT根据叉积的定义，沿x坐标轴的向量i=(1,0,0)和沿y坐标轴的向量j=(0,1,0)的叉积为：ixj=(1,0,0)x(0,1,0)=(0*0-0*1,0*0-1*0,1*1-0*0)=(0,0,1)=k同理可计算jxk:jxk=(0,1,0)x(0,0,1)=(1*1-0*0,0*0-0*1,0*0-0*0)=(1,0,0)=i以及kxi:kxi=(0,0,1)x(1,0,0)=(0*0-1*0,1*1-0*0,0*0-0*0)=(0,1,0)=j由叉积的定义，可知：vxu=(vyuz-vzuy,vzux-vxuz,vxuy-vyux)=-(uxv)***结束***2无穷远点：齐次坐标：x,y至少有一个不是0；无穷远点没有欧式坐标；无穷远点被视为“理想点”无穷远直线：齐次坐标平面上所有无穷远点构成的直线通常的直线加一个无穷远点就是无穷远直线直线平行：通过同一无穷远点的所有直线平行。一平面内两条平行的直线交于无穷远点。无穷远点和无穷远直线的引入打破了原本只有两条直线不平行才可求交点的限制。3射影平面（二维射影空间）：欧式平面与无穷远直线的并集所形成的扩展平面对偶原理：在射影平面内，点和线是一对互为对偶元素。在包含“点”和“线”元素的命题中如果将两个元素的角色互换，则对应的命题也成立，并称它们是一对互为对偶命题。如果p1,p2是射影平面上的两个点，则表示通过这两点的直线。命题1.1：两点p1,p2连线的坐标是三点共线的充要条件是命题1.2：两直线p1,p2的交点坐标是三线共点的充要条件是4共线点的参数化：直线上的点只有一个自由度因此用二维齐次坐标来表示。给定直线l上两个不同点的齐次坐标p1,p2，则直线上任何一个点p的坐标均可以表示为：直线上所有点都可以用二维向量表示：此二维向量为直线上点的参数化表示。显然P1的参数化为P2的参数化为这种参数化过程实际上是建立直线坐标系的过程，直线上点的参数化不唯一，不同的参数化对应不同的坐标系。5共线点的交比：设为四个共线点，他们在某种参数化的其次坐标分别为交比定义：共线点的交比不依赖点的参数化选择，直线坐标系的选择将p3,p4在平面上的其次坐标分别表示为常用的交比计算公式6共点直线的交比：给定共点直线束的两条不同直线的齐次坐标，则直线束中任一条直线l的坐标都可以表示为，这样利用直线束中的两条直线，其他的直线都可以用二维向量来表示：设为四个共线点，他们在某种参数化的其次坐标分别为命题1.3:如果四条有穷点直线的斜率分别为，则他们的交比为：命题1.4：如果4条直线被任意直线截于四点则交比是射影变换的不变量7二次曲线：二次曲线方程表示：Tyxp)0,,(Tl)1,0,0(21ppl21][ppl0][312pppT21][llp0][312lllT21vpuppTvup),(Tp)0,1(1Tp)1,0(24321,,,pppp4,3,2,1,),(jvupTjjj),det(),det(:),det(),det(),;,(424132314321pppppppppppp21424132314321),det(),det(:),det(),det(),;,(pppppppppppp;;22142113ppppppTTTTpppp),1(,),1(,)0,1(,)0,1(241321l21blallTbal),(ˆ4321,,,llll4,3,2,1,),(ˆjbalTjjj)ˆ,ˆdet()ˆ,ˆdet(:)ˆ,ˆdet()ˆ,ˆdet(),;,(:424132314321llllllllllll定义直线的交比为;;:22142113llllll一般表示214321),;,(llll4321,,,llll4321,,,kkkk424132314321:),;,(kkkkkkkkllll4321,,,llll4321,,,pppp),;,(),;,(43214321ppppllll022222feydxcxybyax矩阵形式：令：则C为一个对称阵，二次曲线的矩阵表示：二次曲线的维度：5个，需要确定的5个参数：a/f,b/f,c/f,d/f,e/f非退化二次曲线：就是正常的二次曲线，C是满秩；P为非退化二次曲线C上一点，则过该点的直线l为C的切线，l=Cp退化二次曲线：C不满秩，由两条直线构成或是两条重合直线构成8二维射影变换：射影变换是射影平面上的可逆齐次线性变换，可以由3X3的矩阵来表示：9变换群与不变量等距变换：保持距离不变的变换。相当于是平移变换和旋转变换的复合。R={{r11,r12,tx},{r21,r22,ty},{0,0,1}}三个自由度：旋转、x方向平移、y方向平移不变量：两点的距离，两线的夹角，图形的面积等距变换群：等距变换的逆变换、合成变换都是等距变换，等距变换的全体构成一个等距变换群相似变换：等距变换和均匀伸缩变换的合成变换S=