3视频时空域采样

视频时空域采样21视频处理流程2基本概念3图像速率4空间转换5图像子采样6SAA7110介绍3数字视频采集3数字视频处理与控制部分输出处理部分输入处理部分CPU计算机模拟视频数字视频接口电视视频信号数字视频信号模拟视频接口1视频处理流程4(1)视频采集(2)视频采集卡(3)采样结构(4)采样格式(5)采样标准(6)视频序列2基本概念5•将视频转换成PC机可使用的数字格式。•为了存储视觉信息，模拟视频信号必须通过模拟/数字(A/D)转换为数字的0或1。即视频捕捉(视频采集)。•若要在模拟电视机上观看数字视频，则需要一个数字/模拟(D/A)将二进制信息变换成模拟信号，才能进行播放。(1)视频采集6•20世纪80年代初，国际无线电咨询委员会(InternationalRadioConsultativeCommittee)制定彩色电视图像数字化标准CCIR601标准，现改为ITU-RBT.601标准。规定彩色电视图像转换成数字图像时使用的采样频率、RGB和YCbCr两个彩色空间转换关系等。7•视频采集卡将视频信号经A/D转换后，经PCI总线实时传到内存。•由于采集卡传送数据采用PCIMasterBurst方式，传送速度高达33MB/S，可实现摄像机视频到计算机内存的可靠实时传送，几乎不占用CPU时间，留给CPU更多时间去做数字视频高级处理。(2)视频采集卡8基于PC平台的视频采集体系结构9•视频采集就是将视频源的模拟信号通过处理转变成数字信息，并将这些数字信息存储在硬盘上的过程。•模拟数字的转变是通过视频采集卡上的采集芯片进行的。•采集芯片有SAA7110、BT878、TDA8708、AD9883、VPC3230等。10•通常在采集过程，对数字信息还进行一定形式的实时压缩处理，较高档的采集卡依靠特殊的处理芯片进行硬件实时数据压缩处理。•某些卡通过CPU进行数字视频软件压缩的处理。11•对于开始流行的数码摄像机这类数码视频源，通过IEEE1394端口、USB，不必再添加采集卡，就可以用PC的IEEE1394端口、USB进行视频采集。12(3)采样结构1314•电视信号具有不同的制式而且采用复合的YUV信号方式，而计算机工作在RGB空间；电视机是隔行扫描，计算机显示器采用逐行扫描；电视图像的分辨率与显示器的分辨率也不尽相同。模拟视频的数字化主要包括色彩空间的转换、光栅扫描的转换以及分辨率的统一三大部分。15•从复合彩色电视图像中分离出彩色分量，然后数字化。大多数电视信号源都是彩色全电视信号。首先把模拟的全彩色电视信号分离成YC/YUV/YIQ或RGB彩色空间中的分量信号，然后用二/三个A/D转换器分别对它们数字化。•用一个高速A/D转换器对全电视信号进行数字化，然后在数字域中进行分离，以获得YUV/YIQ或RGB分量数据。16•梳状滤波器一般由延时、加法器、减法器、带通滤波器组成。对于静止图像，梳状滤波在帧间进行，即三维梳状滤波。对活动图像，梳状滤波在帧内进行，即二维梳状滤波。高档数字电视机采用行延迟的梳状滤波器与带通滤波器级联。Y/C分离就可获得满意图像质量。17•使用梳状滤波器能使图像质量明显提高。解决色串亮及亮串色造成的干扰光点、干扰花纹；消除了色度正交分量U、V色差信号混迭造成的彩色边缘蠕动；消除了亮、色镶边，消除了高频信号的色彩错误和灰度值表示错误。18Colorsubcarrierlinefrequency5.5MHzfYYYYYYYYYYCCCCCY19Y/C分离2021colorsubcarrier•NTSC:3.58MHz•PAL:4.433MHzlinefrequency5.5MHzfYYYYYYYYYYCCCCCYY=Luminance=BrightnessC=Chrominance=ColorDistanceofLineFrequencybetweenpackets•BandpassDatatreatedasC•ContainsResidualY•NotchedDatatreatedasY•ContainsResidualCTheresidualYandCwhichdoesnotgetremovedherecauseseriousartefactsinthepicturesuchas“dotcrawl”5.5MHzfYYYYYYYYYYCCCCCY5.5MHzfYYYYYYYYYYCCCCCYSeparatedYSeparatedC221)NotchFilter2)SimpleCombFilter231)NotchFilter2)SimpleCombFilter2425基于行延迟的梳状滤波器2627梳状滤波器性能比较28梳状滤波器效果比较一29梳状滤波器效果比较二30•根据电视信号的特征，亮度信号的带宽是色度信号带宽的两倍多。因此数字化时可采用幅色采样法，即对信号的色差分量的采样率低于对亮度分量的采样率。用Y：U：V来表示YUV三分量的采样比例，则数字视频的采样格式主要有4:1:1、4:2:2和4:4:4三种。(4)采样格式31•电视图像既是空间的函数，也是时间的函数，而且又是隔行扫描，所以其采样方式比扫描仪扫描图像的方式要复杂得多。分量采样时采到的是隔行样本点，要把隔行样本组合成逐行样本，然后进行样本点的量化，YUV到RGB色彩空间的转换等，最后才能得到数字视频RGB数据。32•数字分量视频常使用“共结点”模型的4:2:2采样结构。因为每个彩色象素点由3个采样来描述：一个亮度采样，两个色差形成的色度采样。三个采样在时间上是重合的，所以称作“共结点”。•在525行系统中，每帧有483个有效行，每行有720个象素点；在625行系统中，每帧有576个有效行。33•为了在PAL、NTSC和SECAM电视制式之间确定共同的数字化参数，CCIR制定了广播级质量的数字电视编码标准，称为CCIR601标准。在该标准中，对采样频率、采样结构、色彩空间转换等都作了严格的规定。(5)采样标准34•若函数f(x,y)的付氏变换F(u,v)在频域中的一个有限区域外处处为零,只要取样间隔就能由f(x,y)的取样值精确重建f(x,y)。•奈奎斯特条件：采样定理ccvyux2121和c2v1y21cux35采样频率一般为fs＝13.5MHz•对PAL制、SECAM制，采样频率fs为fs=625×25×N=15625×N=13.5MHz,N=864，每一扫描行上的采样数目。•对NTSC制，采样频率fs为fs=525×29.97×N=15734×N=13.5MHzN=858，每一扫描行上的采样数目。36有效显示分辨率•对PAL和SECAM的亮度信号，每条扫描行采样864个样本；•对NTSC亮度信号，每条扫描行采样858个样本；•对所有制式，每个扫描行的有效样本数为720个。分辨率与帧率电视制式分辨率帧率NTSC640×48030PAL/SECAM768×5762537•ITU-RBT.601推荐使用4∶2∶2的彩色电视图像采样格式。使用这种采样格式时，Y用13.5MHz的采样频率；Cr、Cb用6.75MHz的采样频率。•采样时，采样时钟信号要与场同步和行同步信号同步。3839•为了既可用625行的电视图像又可用525行的电视图像，CCITT规定了称为公用中分辨率格式CIF(CommonIntermediateFormat)，1/4公用中分辨率格式(Quarter-CIF，QCIF)和(Sub-QuarterCommonIntermediateFormat，SQCIF)格式。40•CIF格式具有如下特性：(1)电视图像的空间分辨率为家用录象系统(VHS)的分辨率，即352×288。(2)使用非隔行扫描(non-interlacedscan)。(3)使用NTSC帧速率，电视图像的最大帧速率为30000/1001≈29.97幅/秒。41(4)使用1/2的PAL水平分辨率，即288线。(5)对亮度和两个色差信号(Y、Cb和Cr)分量分别进行编码，它们的取值范围同ITU-RBT.601。即黑色=16，白色=235，色差的最大值等于240，最小值等于16。4243•通常用时间码来识别和记录视频数据流中的每一帧，从一段视频的起始帧到终止帧，其间的每一帧都有一个唯一的时间码地址。•根据动画和电视工程师协会SMPTE（SocietyofMotionPictureandTelevisionEngineers）使用的时间码标准，其格式是小时:分钟:秒:帧，或hours:minutes:seconds:frames。(6)视频序列44•一段长度为00:02:31:15的视频片段的播放时间为2分钟31秒15帧，如果以每秒30帧的速率播放，则播放时间为2分钟31.5秒。•根据电影、录像和电视工业中使用的帧率的不同，各有其对应的SMPTE标准。由于技术的原因，NTSC制式实际使用的帧率是29.97fps而不是30fps，因此在时间码与实际播放时间之间有0.1%的误差。45•为了解决这个误差问题，设计出丢帧（drop-frame）格式，也即在播放时每分钟要丢2帧（实际上是有两帧不显示而不是从文件中删除），这样可以保证时间码与实际播放时间的一致。46•帧图像大小(ImageSize)：W×H(长×宽)---必须首先了解需要采集多大的图象尺寸?•颜色深度：d(比特数)---希望采集到的图象颜色(8Bit灰度图象?还是16/24/32Bit真彩色?)3图象速率47•帧速：f--标准PAL制当然就是25帧，非标准就没准！500-1000帧都有可能。高速采样提高了图像的解像度，从而使图像的运动细节更加清晰细致。•数据量：Q(MB)---图象信号的数据量。48•采样率：A(MB)---采集卡的采样率，通过其产品手册可知。•计算公式：Q=W×H×f×d/8。•判断标准：如果AQ×1.2，则该采集卡能够胜任采集工作。49•经典的彩色空间转换：Y=0.299R+0.587G+0.114BCr=(0.500R-0.4187G-0.0813B)+128Cb=(-0.1687R-0.3313G+0.500B)+128•视频采集的彩色空间转换：Y=0.212R+0.70G+0.08B•高清晰度电视（HDTV）系统所用荧光粉中绿色的主波长移向人眼最灵敏段。4空间转换50(1)基本定义(2)基本原理(3)4:4:4YCbCr格式(4)4:2:2YCbCr格式(5)4:1:1YCbCr格式(6)4:2:0YCbCr格式5图像子采样51•对彩色电视图像进行采样时，可以采用两种采样方法。一种是使用相同的采样频率对图像的亮度信号和色差信号进行采样，另一种是对亮度信号和色差信号分别采用不同的采样频率进行采样。•如果对色差信号使用的采样频率比对亮度信号使用的采样频率低，这种采样就称为图像子采样(subsampling)。(1)基本定义52•图像子采样在数字图像压缩技术中得到广泛应用。可以说，在彩色图像压缩技术中，最简单的图像压缩技术要算图像子采样。•试验表明，使用4:4:4/4:2:2/4:1:1/4:2:0，人的视觉系统对采样前后显示的图像质量没有感到明显差别。(2)基本原理53•人的视觉系统具有两条特性：人眼对色度信号的敏感程度比对亮度信号的敏感程度低，可把图像中表达颜色的信号去掉一些而使人不察觉；人眼对图像细节的分辨能力有一定的限度，利用这个特性可把图像中的高频信号去掉而使人不易察觉。•子采样也就是利用人的视觉系统这两个特性来压缩彩色电视信号。54(3)4:4:4YCbCr格式55•对每个采样点，Y、Cb和Cr各取一个样本。对于消费类和计算机应用，每个分量的每个样本精度为8比特；对于编辑类应用，每个分量的每个样本的精度为10比特。因此每个像素的样本需要24或30比特。56(4)4:2:2YCbCr格式57•在水平扫描方向上，每2个Y样本有1个Cb样本和1个Cr样本。对于消费类和计算机应用，每个分量的每个样本的精度为8比特；对于编辑类应用，每个分量的每个样本精度为10比特。因此每