肖学中--计算机视觉基础

计算机视觉基础南京邮电大学-计算机学院肖学中目录1.概述2.成像模型3.图像滤波4.边缘检测5.特征检测与识别6.光流7.迹线几何与立体视觉8.StructurefromMotion9.大数据驱动的视觉计算21.概述3相关研究领域计算机图形学：模型→图像4相关研究领域计算摄影学：图像→图像5计算机视觉图像→模型让计算机“看懂”图像和视频这是何种场景?汽车在哪里?建筑物有多远?…6视觉是自然智能不可思议的技艺猕猴的大脑皮层中视觉部分占据大约50%人脑中有关视觉的部分所占比重最大这是皇后还是象?视觉7安全健康监控家务进入娱乐计算机视觉为什么重要？81966:Minsky给本科生布置了一个计算机视觉的暑假作业1960’s:合成的虚拟世界的理解1970’s:图像理解方面的进步1980’s:几何和精度1990’s:人脸识别;统计分析开始流行2000’s:更多的识别;大规模标记数据集可用;开始视频处理Guzman‘68OhtaKanade‘78TurkandPentland‘91计算机视觉简史9计算机视觉的应用：OCR数字识别,AT&T实验室~yann/将扫描文档转换成文本的技术•若你有一台扫描仪，则它很可能带有OCR软件车牌识别计算机视觉的应用：人脸检测目前许多数码相机都能检测人脸Canon,Sony,Fuji,…11计算机视觉的应用：笑脸检测SonyCyber-shot®T70DigitalStillCamera12计算机视觉的应用：由成千上万的图像重建三维13计算机视觉的应用：物体识别(超市中)LaneHawkbyEvolutionRobotics“Asmartcameraisflush-mountedinthecheckoutlane,continuouslywatchingforitems.Whenanitemisdetectedandrecognized,thecashierverifiesthequantityofitemsthatwerefoundunderthebasket,andcontinuestoclosethetransaction.Theitemcanremainunderthebasket,andwithLaneHawk,youareassuredtogetpaidforit…“14计算机视觉的应用：基于视觉的生物测量12岁30岁15计算机视觉的应用：无密码登录笔记本电脑和其他设备上的指纹扫描仪人脸识别系统16计算机视觉的应用：物体识别(手机上)17黑客帝国计算机视觉的应用：特效--形状捕获18加勒比海盗计算机视觉的应用：特效--运动捕获19计算机视觉的应用：体育SportvisionfirstdownlineNiceexplanationon计算机视觉的应用：智能汽车Mobileye汽车上的视觉系统，如BMW、GM、Volvo等21计算机视觉的应用：Google汽车22计算机视觉的应用：太空视觉视觉系统的几项任务：•全景图缝合•三维地形建模•障碍检测，位置跟踪•其他(参阅Matthies等人的“ComputerVisiononMars”)NASA的火星探索计划：2007年精神号漫游车23计算机视觉的应用：工业机器人视觉引导的机器人给汽车上定位螺母24计算机视觉的应用：机器人机器人足球赛NASA的火星漫游车斯坦福生活机器人（洗碗）25计算机视觉的应用：医学成像手术导航3D核磁共振、CT262.成像模型27计算机视觉的相关研究领域计算机图形学：模型-图像计算摄影学：图像-图像计算机视觉：图像-模型28图像形成设计一个相机：思路1:将底片放在物体前方我们能得到一幅合适的照片吗？29针孔相机思路2:增加一个障碍物阻止大多数的光线–减少模糊–光圈控制光线量30针孔相机ff=焦距c=相机中心c31暗箱:相机前身中国（公元前470年）和希腊（公元前390年）暗箱UNCChapelHill的暗室PhotobySethIlys32第一张照片现存的最老照片–花了8小时在锡盘上成像JosephNiepce,1826第一张照片的照片保存在UTAustin33Pointofobservation维度降低的机器（3D到2D）3D世界2D图像34投影的欺骗性…35射影几何丢失了什么?长度哪个球更近些?谁更高?36长度没有被保留B’C’A’37射影几何丢失了什么?长度角度垂直?平行?38射影几何什么被保留?直线依然是直线39消逝点和消逝线物理世界中的平行线在图像中相交于“消逝点”40消逝点和消逝线o消逝点1o消逝点2消逝线41消逝点和消逝线消逝点消逝线消逝点垂直消逝点(无穷远处)42消逝点和消逝线43投影：世界坐标图像坐标CameraCenter(tx,ty,tz)ZYXP...fZYvup.OpticalCenter(u0,v0)vu44齐次坐标变换齐次图像坐标齐次场景坐标由齐次坐标转换回来：转换到齐次坐标：45齐次坐标齐次坐标是缩放不变量笛卡尔坐标中的点在齐次坐标中是一条射线wywxkwkykwkxkwkykxwyxk齐次坐标笛卡尔坐标46投影矩阵（针孔相机模型）XtRKxx:图像坐标(u,v,1)K:内部矩阵(3x3)R:旋转矩阵(3x3)t:平移量(3x1)X:世界坐标(X,Y,Z,1)OwiwkwjwR,T49投影矩阵X0IKx101000000001zyxffvuwK内部假设：•单位宽高比•光心坐标(0,0)•无倾斜外部假设：•无旋转•相机坐标(0,0,0)50移除“已知光心”的假设X0IKx101000000100zyxvfufvuw内部假设：•单位宽高比•无倾斜外部假设：•无旋转•相机坐标(0,0,0)51移除“正方形像素”假设X0IKx101000000100zyxvuvuw内部假设：•无倾斜外部假设：•无旋转•相机坐标(0,0,0)52移除“无倾斜”的假设X0IKx10100000100zyxvusvuw内部假设：外部假设：•无旋转•相机坐标(0,0,0)53允许相机移动XtIKx110001000110000100zyxtttvuvuwzyx内部假设：外部假设：•无旋转54点的三维旋转围绕坐标轴的逆时针旋转：1000cossin0sincos)(cos0sin010sin0cos)(cossin0sincos0001)(zyxRRRpp’yz55允许相机旋转XtRKx11000133323123222113121100zyxtrrrtrrrtrrrvusvuwzyx56自由度XtRKx11000133323123222113121100zyxtrrrtrrrtrrrvusvuwzyx5657正射投影透视投影的特例正交投影的中心到图像平面的距离为无穷大也称作“平行投影”其投影矩阵是什么?ImageWorld11000001000011zyxvuw59比例缩放的正射投影透视投影的特例物体面积相对于到相机的距离来说很小也称为“弱透视”其投影矩阵是什么?ImageWorldSlidebySteveSeitz10000000001zyxsffvuw60视场(缩放)61假设有两个三维的立方盒子放在地上，面朝观察者，一个近，一个远1.透视图中它们看起来是什么样子？2.在弱透视中它们看起来又是什么样子？62针孔相机之外:径向失真桶形失真校正无失真桶形失真枕形失真633.图像滤波64图像滤波空间域图像滤波直接对像素进行操作平滑化、锐化频率域图像滤波修改图像的频率去噪、采样、图像压缩模板和图像金字塔将模板匹配到图像检测、粗糙到精细65Imagefiltering图像滤波：计算每个位置处局部邻域的函数值滤波很重要!图像增强去噪、调整大小、对比度增强，等等从图像中提取信息纹理、边缘、特征点，等等检测模式模板匹配66例：箱式滤波器111111111],[g6700000000000000000000000909090909000000909090909000000909090909000000900909090000009090909090000000000000009000000000000000000000000000000000000000000909090909000000909090909000000909090909000000900909090000009090909090000000000000009000000000000000000],[],[],[,lnkmflkgnmhlk[.,.]h[.,.]f111111111],[g680000000000000000000000090909090900000090909090900000090909090900000090090909000000909090909000000000000000900000000000000000001000000000000000000000000909090909000000909090909000000909090909000000900909090000009090909090000000000000009000000000000000000[.,.]h[.,.]f111111111],[g],[],[],[,lnkmflkgnmhlk69000000000000000000000009090909090000009090909090000009090909090000009009090900000090909090900000000000000090000000000000000000102000000000000000000000000909090909000000909090909000000909090909000000900909090000009090909090000000000000009000000000000000000[.,.]h[.,.]f111111111],[g],[],[],[,lnkmflkgnmhlk7000000000000000000000000909090909000000909090909000000909090909000000900909090000009090909090000000000000009000000000000000000010203000000000000000000000000909090