视频处理与宽带通信2

2019/8/15数字媒体基础清华大学自动化季向阳-2-提纲视频处理基础概念一颜色空间二视频信号的频域特性三HVS系统四-3-提纲视频处理基础概念一颜色空间二视频信号的频域特性三HVS系统四-4-数字媒体数字媒体:文字、图形、图像、声音、视频和动画数字媒体技术：表示、记录、处理、存储、传输、显示、管理-5-计算机视觉计算机图形学信号处理涉及学科-6-6可见光敏感器视觉感知视频数据场景成像过程-7-计算机图形学是利用计算机研究图形的表示、生成、处理、显示的学科如何在计算机中表示图形、以及利用计算机进行图形的计算、处理和显示的相关原理与算法，构成了计算机图形学的主要研究内容图形硬件、图形标准、图形交互技术、光栅图形生成算法、曲线曲面造型、实体造型、真实感图形计算与显示算法，以及科学计算可视化、计算机动画、自然景物仿真、虚拟现实等计算机图形学-8-用计算机来模拟人的视觉机理获取和处理信息计算机视觉的最终研究目标就是使计算机能象人那样通过视觉观察和理解世界，具有自主适应环境的能力计算机视觉-9-图像的基本属性空间分辨率位深度颜色空间-10-两种常用的图像表示方法矢量图:由数学计算得到的线条和曲线组成，根据图像的几何特性描绘图像文件小图像放大或缩小不影响图像的分辨率图像的分辨率不依赖于输出设备位图：点阵图像，由像素点组成逼真度高-11-提纲视频处理基础概念一颜色空间二视频信号的频域特性三HVS系统四-12-图象的彩色模型光源的种类――有源物体（照明光源），无源物体（反射光源）图像彩色模型的生成――相加混色原理和相减混色原理彩色空间的线性变换标准-13-图象的彩色模型-光源的种类有源物体一个能发出光波的物体称为有源物体，它的颜色由该物体发出的光波决定，使用RGB相加混色模型无源物体一个不发光波的物体称为无源物体，它的颜色由该物体吸收或者反射哪些光波决定，用CMY《青色(Cyan)、品红(Magenta)和黄色(Yellow)》相减混色模型-14-图像彩色模型的生成—相加混色原理一幅彩色图像可以看成由许许多多的点组成的。图像中的单个点称为像素(pixel)，每个像素都有一个值，称为像素值，它表示特定颜色的强度一个像素值往往用R、G、B三个分量表示。如果每个像素的每个颜色分量用二进制的1位来表示，那末每个颜色的分量只有“1”和“0”这两个值。每种颜色的强度是100%，或者是0%每个像素所显示的颜色是8种可能出现的颜色之一-15-图像彩色模型的生成—相减混色原理用彩色墨水或颜料进行混合，这样得到的颜色称为相减色。任何一种颜色都可以用三种基本颜料按一定比例混合得到这三种颜色是青色C、品红M和黄色Y，称为CMY模型用这种方法产生的颜色之所以称为相减色，乃是因为它减少了为视觉系统识别颜色所需要的反射光-16-图像彩色模型的生成—加减混色示意-17-图像彩色模型的生成—相加混色原理相加混色原理：组合红(Red)、绿(Green)和蓝(Blue)三种波长的光，以产生特定颜色称为相加混色，称为RGB相加模型。相加混色是计算机应用中定义颜色的基本方法-18-图像彩色模型颜色模型RGB：彩色最基本模型，适合于计算机系统CMY：印刷YUV：PAL制式彩色电视信号YIQ：NTSC制式彩色电视信号（日本/北美）YCbCr：数字视频常用的颜色模型品红黄青-19-彩色空间的线性变换标准为了使用人的视角特性以降低数据量，通常把RGB空间表示的彩色图像变换到其他彩色空间。目前采用的彩色空间变换有三种：YIQ,YUV和YCrCb每一种彩色空间都产生一种亮度分量信号和两种色度分量信号，而每一种变换使用的参数都是为了适应某种类型的显示设备其中，YIQ适用于NTSC彩色电视制式，YUV适用于PAL和SECAM彩色电视制式，而YCrCb适用于计算机用的显示器-20-YUV与YIQ模型在彩色电视制式中，使用YUV和YIQ模型来表示彩色图像在PAL彩色电视制式中使用YUV模型，其中的YUV不是那几个英文单词的组合词，而是符号，Y表示亮度，UV用来表示色差，U、V是构成彩色的两个分量在NTSC彩色电视制式中使用YIQ模型，其中的Y表示亮度，I、Q是两个彩色分量-21-YUV与YIQ模型YUV表示法的重要性是它的亮度信号(Y)和色度信号(U、V)是相互独立的，也就是Y信号分量构成的黑白灰度图与用U、V信号构成的另外两幅单色图是相互独立的由于Y、U、V独立，所以可以对这些单色图分别进行编码黑白电视能接收彩色电视信号也就是利用了YUV分量之间的独立性-22-YUV与YIQ模型YUV表示法的另一个优点是可以利用人眼的特性来降低数字彩色图像所需要的存储容量。人眼对彩色细节的分辨能力远比对亮度细节的分辨能力低若把人眼刚能分辨出的黑白相间的条纹换成不同颜色的彩色条纹，那么眼睛就不再能分辨出条纹来把彩色分量的分辨率降低而不明显影响图像的质量，就可以把几个相邻像素不同的彩色值当作相同的彩色值来处理，从而减少所需的存储容量-23-YUV与YIQ模型例如，要存储RGB8∶8∶8的彩色图像，即R、G和B分量都用8位二进制数表示，图像的大小为640×480像素，那末所需要的存储容量为921600字节如果用YUV来表示同一幅彩色图像，Y分量仍然为640×480，并且Y分量仍然用8位表示，而对每四个相邻像素(2×2)的U、V值分别用相同的一个值表示，那末存储同样的一幅图像所需的存储空间就减少到460800字节是图像压缩技术的一种方法-24-YUV与RGB彩色空间变换在考虑人的视觉系统和阴极射线管CRT(cathoderaytube)的非线性特性之后，RGB和YUV的对应关系可以近似地用下面的方程式表示：Y=0.299R+0.587G+0.114BU=-0.147R-0.289G+0.436BV=0.615R-0.515G-0.100B或者写成矩阵的形式，-25-YIQ与RGB彩色空间变换RGB和YIQ的对应关系用下面的方程式表示：Y=0.299R+0.587G+0.114BI=0.596R-0.275G-0.321BQ=0.212R-0.523G+0.311B或者写成矩阵的形式，-26-图像彩色模型的生成—相加混色原理CRT是阴极射线管。LED,即发光二极管，是一种半导体固体发光器件，LED可以直接发出红、黄、蓝、绿、青、橙、紫、白色的光LCD，液晶显示器，是一种数字显示技术，可以通过液晶和彩色过滤器过滤光源，在平面面板上产生图象。PDP是PlasmaDisplayPanel等离子显示器-27-提纲视频处理基础概念一颜色空间二视频信号的频域特性三HVS系统四-28-视频信号的频域特性空间频率fs（二维为例）22,arctan(/)mxyyxfffff图像平面上图像亮度或色度变化快慢的一个度量两正交方向构成二维空间向量水平方向fx垂直方向fy频率合成-29-空间频率示例二维正弦信号，单位面积左下右上左上)10,0(),(yxff)0,5(),(yxff)10,5(),(yxff-30-空间频率为：(,)(5,10)xyffarctan(/)arctan264yxff2.111052222yxfff合等效为沿方向的频率空间频率示例-31-由于人类视网膜的结构特点，人眼所能感知的信号变化速度随着观察距离的增加而增加更符合人类视觉系统的空间频率测量是根据每度观测角的周期数(CPD)测量空间频率：角频率角频率-32-1802arctan(/2)()/()()hhdhdd弧度弧度度(/)180ssfdffh周期度由空间频率和观测距离确定角频率-33-时间频率（每秒周期数）依赖于二维空间位置；对某一个固定的二维空间位置（x,y），它的时间频率被定义为每秒变化的周期数（单位：Hz)依赖于图像场景的变化速度由摄像机或物体的运动造成，或由二者共同造成视频信号的频域特性-34-由线性运动产生的时间频率设零时刻成像图形0(,)xy则t时刻成像图形0(,,)(,)xyxytxvtyvt视频信号的频域特性-35-由线性运动产生的时间频率作连续空间傅立叶变换000(,,)(,,)exp(2())(,)exp(2(()()))exp(2())(,)exp(2())(,)()xytxytxyxxyytxxyyxytxxyyxytxxyyfffxytjfxfyftdxdydtxvtyvtjfxvtfyvtdxdyjffvfvtdtffjffvfvtdtffffvfv-36-运动速度、空间频率和时间频率构成如下关系式：txxyyffvfv运动对象时间频率不仅取决于对象的运动速度，还取决于对象的空间频率由线性运动产生的时间频率-37-图示-38-重要结论当fx=fy=0时，不论vx,vy何值，都有ft=0,表明在对象具有完全无变化的图案，如整个平面就一种颜色时，则无论对象沿时间平面运动有多快，人眼都观察不到在时间上的改变如果运动方向(vx,vy)与空间频率方向(fx,fy)是互相垂直的，则时间频率ft=0。沿着空间频率方向ft变化速度最快。沿着空间频率方向(fx,fy)的垂直方向则无空间变化。表明一个对象在其图案不变化的方向上运动不产生任何时间频率上的改变。时间频率最大的是当对象在空间频率改变最大的方向上运动时-39-提纲视频处理基础概念一颜色空间二视频信号的频域特性三HVS系统四-40-人类视觉系统任何视频系统从根本上说是给人看的。因此，理解人类视觉系统（HumanVisualSystem，简称HVS）如何感知视频信号是极其重要的HVS对视觉信号的敏感度依赖于信号的时间频率和空间频率视觉频率响应的知识在设计视频系统中是非常重要的。例如，时间和空间截止频率是确定视频摄取和显示系统的帧率和行率的基础。深刻地理解HVS，也有利于利用视觉冗余压缩视频信息图像亮度的时间和空间变化的感觉-41-人类视觉系统基本概念和特性对比灵敏度，视觉惰性，马赫带效应，隐藏时间频率响应空间频率响应时空频率响应人眼平滑跟踪-42-对比灵敏度（ContrastSensitivity)韦伯法则(Weber’slaw)：人类视觉系统处理图像过程中，亮度相对周围环境的变化量比起绝对亮度更能引起感官知觉的反应-43-对比灵敏度数学上定义韦伯比/CLL∆L表示在背景亮度L下，人眼主观上刚刚可辨别亮度差别所需的最小光强，也称为亮度的辨别阈值（visibilitythreshold）韦伯法则只是实际感官知觉的近似规律，但基于它的对比度度量方法——韦伯比被广泛应用于视觉科学领域-44-对比灵敏度对比灵敏度的定义：辨别阈值的倒数对比灵敏度取值依赖于刺激物颜色、空间频率、时间频率、物体运动等等因素对比灵敏度函数(Contrastsensitivityfunction，简称CSF)：研究HVS的主要手段-45-视觉惰性（VisualPersistence）实验表明，亮度感觉不会随着光刺激的消失而消失，而是以接近指数的规律减少，这种现象称为视觉惰性，或称为视觉暂留，是现代电影、电视的理论基础视觉暂留是由人类视觉系统的时间相加机制引起的，它对进入人眼的光进行积分。根据布劳赫法则（Bloch’slaw），积分或维持时间与光的强度成反比。光源越亮，积分时间越短。当显示较亮时，它给予人眼以较高的时间灵敏度视觉惰性是研究HVS时间频率响应得到的衍生结果-46-视觉惰性数数有多少黑点-47-视觉惰性试着将头前后移动观察此图-48-马赫带效应（Machbandeffect)指当亮度发生跃变时，会有一种边缘增强的感觉，视觉上会感到边缘的亮侧更亮，暗侧更暗右侧：均匀灰度级下的马赫带，仔细观察相邻灰度级边缘，会察觉边缘存在对比度增强的效果，能很清楚地看到交线-49-马赫带效应由视觉