多媒体技术阅读资料

1一、数字视频的概述数字视频就是先用摄像机之类的视频捕捉设备,将外界影像的颜色和亮度信息转变为电信号，再记录到储存介质（如录像带）。播放时，视频信号被转变为帧信息，并以每秒约30帧的速度投影到显示器上，使人类的眼睛认为它是连续不间断地运动着的。电影播放的帧率大约是每秒24帧。如果用示波器（一种测试工具）来观看，未投影的模拟电信号看起来就像脑电波的扫描图像，由一些连续锯齿状的山峰和山谷组成。为了存储视觉信息，模拟视频信号的山峰和山谷必须通过数字/模拟（D/A）转换器来转变为数字的“0”或“1”。这个转变过程就是我们所说的视频捕捉（或采集过程）。如果要在电视机上观看数字视频，则需要一个从数字到模拟的转换器将二进制信息解码成模拟信号，才能进行播放。模拟视频的数字化包括不少技术问题,如电视信号具有不同的制式而且采用复合的YUV信号方式，而计算机工作在RGB空间；电视机是隔行扫描，计算机显示器大多逐行扫描；电视图像的分辨率与显示器的分辨率也不尽相同等等。因此，模拟视频的数字化主要包括色彩空间的转换、光栅扫描的转换以及分辨率的统一。模拟视频一般采用分量数字化方式，先把复合视频信号中的亮度和色度分离，得到YUV或YIQ分量,然后用三个模／数转换器对三个分量分别进行数字化，最后再转换成RGB空间。二、数字视频的发展谈到数字视频的发展历史，不能不回顾计算机的发展历程，它实际上是与计算机所能处理的信息类型密切相关的，自上个世纪40年代计算机诞生以来，计算机大约经历了以下几个发展阶段：数值计算阶段。这是计算机问世后的“幼年”时期。在这个时期计算机只能处理数值数据，主要用于解决科学与工程技术中的数学问题。实际上，世界上第一台电子计算机ENIAC就是为美国国防部解决弹道计算问题和编制射击表而研制生产的。数据处理阶段。50年代发明了字符发生器，使计算机不但能处理数值，也能表示和处理字母及其它各种符号，从而使计算机的应用领域从单纯的数值计算进入了更加广泛的数据处理。这是由世界上第一个批量生产的商用计算机UNIAC—1首开先河的。多媒体阶段。随着电子器件的进展，尤其是各种图形、图像设备和语音设备的问世，计算机逐渐进入多媒体时代，信息载体扩展到文、图、声等多种类型，使计算机的应用领域进一步扩大。由于视觉，即图形、图像，最能直观明了、生动形象地传达有关对象的信息，因而在多媒体计算机中占有重要的地位。在多媒体阶段，计算机与视频就产生了联姻。数字视频的发展主要是指在个人计算机上的发展，可以大致分为初级、主流和高级几个历史阶段。第—阶段是初级阶段，其主要特点就是在台式计算机上增加简单的视频功能，利用电脑来处理活动画面，这给人展示了一番美好的前景，但是由于设备还未能普及，都是面向制作视频制作领域的专业人员。在普通PC用户还无法奢望在自己的电脑上实现视频功能。第二个阶段为主流阶段，在这个阶段数字视频在计算机中得到广泛应用，成为主流。初期数字视频的发展没有人们期望的那么快，原因很简单，就是对数字视频的处理很费力，这是因为数字视频的数据量非常之大，1分钟的满屏的真彩色数字视频需要1．5GB的存储空间，而在早期—般台式机配备的硬盘容量大约是几百兆，显然无法胜任如此大的数据量。虽然在当时处理数字视频很困难，但它所带来的诱惑促使人们采用折衷的方法。先是用计算机捕获单帧视频画面，可以捕获一帧视频图像并以一定的文件格式存储起来，可以利用图像处理软件进行处理，将它放进准备出版的资料中；后来，在计算机上观看活动的视频成为可能。虽然画面时断时续，但毕竟是动了起来，带给人们无限的惊喜。而最有意义的突破是计算机有了捕获活动影像的能力，将视频捕获到计算机中，随时可以从硬盘上播放视频文件。能够捕获视频得益于数据压缩方法，压缩方法有两种：纯软件压缩和硬件辅助压缩纯软件压缩方便易行，只用一个小窗口显示视频，有很多这方面的软件。硬件压缩花费高，但速度快。在这一过程中，虽然能够捕获到视频，但是缺乏一个统一的标2准，不同的计算机捕获的视频文件不能交换。虽然有过一个所谓的“标准”，但是它没有得到足够的流行，因此没有变成真正的标准，它就是数字视频交互(DVI)。DVI在捕获视频时使用硬件辅助压缩，但在播放时却只使用软件，因此在播放时不需要专门的设备。但是DVI没有形成市场，因此没有被广泛的了解和使用。因此就难以流行。这就需要计算机与视频再做一次结合，建立一个标准，使得每台计算机都能播放令人心动的视频文件。这次结合成功的关键是各种压缩解压缩Codec技术的成熟。Codec来自于两个单词Compression(压缩)和Decompression(解压)，它是一种软件或者固件(固化于用于视频文件的压缩和解压的程序芯片)。压缩使得将视频数据存储到硬盘上成为可能。如果帧尺寸较小帧切换速度较慢，再使用压缩和解压，存储1分钟的视频数据只需20MB的空间而不是1．5GB，所需存储空间的比例是20：1500，即1：75。当然在显示窗口看到的只是分辨率为160×120邮票般大小的画面，帧速率也只有15帧／s，色彩也只有256色，但画面毕竟活动起来了。Quicktime和VideoforWindows通过建立视频文件标准MOV和AVI使数字视频的应用前景更为广阔，使它不再是一种专用的工具，而成为每个人电脑中的必备成分。而正是数字视频发展的这一步，为电影和电视提供了一个前所未有的工具，为影视艺术带来了影响空前的变革。第三阶段是高级阶段，在这一阶段，普通个人计算机进入了成熟的多媒体计算机时代。各种计算机外设产品日益齐备，数字影像设备争奇斗艳，视音频处理硬件与软件技术高度发达，这些都为数字视频的流行起到了推波助澜的作用。三、数字视频的采样根据电视信号的特征，亮度信号的带宽是色度信号带宽的两倍。因此其数字化时可采用幅色采样法，即对信号的色差分量的采样率低于对亮度分量的采样率。用Y:U:V来表示YUV三分量的采样比例,则数字视频的采样格式分别有4:1:1、4:2:2和4:4:4三种。电视图像既是空间的函数,也是时间的函数,而且又是隔行扫描式,所以其采样方式比扫描仪扫描图像的方式要复杂得多。分量采样时采到的是隔行样本点,要把隔行样本组合成逐行样本,然后进行样本点的量化,YUV到RGB色彩空间的转换等等,最后才能得到数字视频数据。数字视频的标准为了在PAL、NTSC和SECAM电视制式之间确定共同的数字化参数，国家无线电咨询委员会（CCIR）制定了广播级质量的数字电视编码标准，称为CCIR601标准。在该标准中，对采样频率、采样结构、色彩空间转换等都作了严格的规定，主要有：1、采样频率为fs＝13.5MHz；2、分辨率与帧率；;3、根据fs的采样率，在不同的采样格式下计算出数字视频的数据量：这种未压缩的数字视频数据量对于目前的计算机和网络来说无论是存储或传输都是不现实的,因此在多媒体中应用数字视频的关键问题是数字视频的压缩技术。SMPTE表示单位通常用时间码来识别和记录视频数据流中的每一帧,从一段视频的起始帧到终止帧,其间的每一帧都有一个唯一的时间码地址。根据动画和电视工程师协会SMPTE（SocietyofMotionPictureandTelevisionEngineers）使用的时间码标准,其格式是:小时:分钟:秒:帧,或hours:minutes:seconds:frames。一段长度为00:02:31:15的视频片段的播放时间为2分钟31秒15帧,如果以每秒30帧的速率播放,则播放时间为2分钟31.5秒。根据电影、录像和电视工业中使用的帧率的不同，各有其对应的SMPTE标准。由于技术的原因NTSC制式实际使用的帧率是29.97fps而不是30fps，因此在时间码与实际播放时间之间有0.1%的误差。为了解决这个误差问题，设计出丢帧（drop-frame）格式，也即在播放时每分钟要丢2帧（实际上是有两帧不显示而不是从文件中删除），这样可以保证时间码与实际播放时间的一致。与丢帧格式对应的是不丢帧（nondrop-frame）格式，它忽略时间码与实3际播放帧之间的误差。四、视频压缩基本概念视频压缩的目标是在尽可能保证视觉效果的前提下减少视频数据率。视频压缩比一般指压缩后的数据量与压缩前的数据量之比。由于视频是连续的静态图像,因此其压缩编码算法与静态图像的压缩编码算法有某些共同之处，但是运动的视频还有其自身的特性，因此在压缩时还应考虑其运动特性才能达到高压缩的目标。在视频压缩中常需用到以下的一些基本概念：（一）有损和无损压缩:在视频压缩中有损（Lossy）和无损（Lossless）的概念与静态图像中基本类似。无损压缩也即压缩前和解压缩后的数据完全一致。多数的无损压缩都采用RLE行程编码算法。有损压缩意味着解压缩后的数据与压缩前的数据不一致。在压缩的过程中要丢失一些人眼和人耳所不敏感的图像或音频信息,而且丢失的信息不可恢复。几乎所有高压缩的算法都采用有损压缩,这样才能达到低数据率的目标。丢失的数据率与压缩比有关,压缩比越小，丢失的数据越多,解压缩后的效果一般越差。此外,某些有损压缩算法采用多次重复压缩的方式,这样还会引起额外的数据丢失。（二）帧内和帧间压缩：帧内（Intraframe）压缩也称为空间压缩（Spatialcompression）。当压缩一帧图像时，仅考虑本帧的数据而不考虑相邻帧之间的冗余信息，这实际上与静态图像压缩类似。帧内一般采用有损压缩算法，由于帧内压缩时各个帧之间没有相互关系，所以压缩后的视频数据仍可以以帧为单位进行编辑。帧内压缩一般达不到很高的压缩。采用帧间（Interframe）压缩是基于许多视频或动画的连续前后两帧具有很大的相关性，或者说前后两帧信息变化很小的特点。也即连续的视频其相邻帧之间具有冗余信息,根据这一特性，压缩相邻帧之间的冗余量就可以进一步提高压缩量，减小压缩比。帧间压缩也称为时间压缩（Temporalcompression），它通过比较时间轴上不同帧之间的数据进行压缩。帧间压缩一般是无损的。帧差值（Framedifferencing）算法是一种典型的时间压缩法，它通过比较本帧与相邻帧之间的差异，仅记录本帧与其相邻帧的差值，这样可以大大减少数据量。（三）对称和不对称编码：对称性（symmetric）是压缩编码的一个关键特征。对称意味着压缩和解压缩占用相同的计算处理能力和时间，对称算法适合于实时压缩和传送视频，如视频会议应用就以采用对称的压缩编码算法为好。而在电子出版和其它多媒体应用中，一般是把视频预先压缩处理好，尔后再播放,因此可以采用不对称（asymmetric）编码。不对称或非对称意味着压缩时需要花费大量的处理能力和时间，而解压缩时则能较好地实时回放，也即以不同的速度进行压缩和解压缩。一般地说,压缩一段视频的时间比回放（解压缩）该视频的时间要多得多。例如，压缩一段三分钟的视频片断可能需要10多分钟的时间，而该片断实时回放时间只有三分钟。（四）数字视频压缩说明：如果使用数字视频，需要考虑的一个重要因素是文件大小，因为数字视频文件往往会很大，这将占用大量硬盘空间。解决这些问题的方法是压缩—让文件变小。使用文本文件，大小问题就显得不那么重要了,因为这样的文件充满了“空格”，可以大幅度压缩—一个文本文件至少可以压缩90%,压缩率是相当高的（压缩率是指已压缩数据与未压缩数据之比值）。其他类型的文件，如MPEG视频或JPEG照片几乎无法压缩，因为它们是用非常紧密的压缩格式制成的。为什么数字视频要压缩？数字视频之所以需要压缩，是因为它原来的形式占用的空间大得惊人。视频经过压缩后,存储时会更方便。数字视频压缩以后并不影响作品的最终视觉效果，因为它只影响人的视觉不能感受到的那部分视频。例如,有数十亿种颜色,但是我们只能辨别大约1024种。因为我们觉察不到一种颜色与其邻近颜色的细微差别，所以也就没必要将每一种颜色都保留下来。还有一个冗余图像的问题—如果在一个60秒的视频作品中每帧图像中都有位于同一位置的同一把椅子,有必要在每帧图像中都保存这把椅子的数据吗?4压缩视频的过程实质上就是去掉我们感觉不到的那些东西的数