第三章多媒体数据压缩技术

第三章多媒体数据压缩技术第一节多媒体数据压缩技术概述第二节静态图像压缩编码国际标准—JPEG第三节运动图像压缩编码国际标准—MPEG一、多媒体数据压缩编码的必要性二、多媒体数据压缩的可能性三、数据压缩技术的分类四、数据压缩技术的性能指标第一节多媒体数据压缩技术概述信息时代的重要特征是信息的数字化。早期的计算机系统采用模拟方式表示信息，但存在着明显的缺点：①经常会产生噪音和信号丢失，并且在复制过程中逐步积累噪音和误差。②模拟信号不适合数字计算机加工处理。一、多媒体数据压缩编码的必要性数字化后未经压缩的视频和音频等媒体信息的数据量是非常大的。1.图像数据量的大小可用下面的公式来计算：图像数据量＝图像的总像素×色彩深度÷8（单位为Byte，简写为B）例如，一幅640×480、24位（bit）真彩色的图像，其文件大小为：640×480×24÷8＝921.6KB一、多媒体数据压缩编码的必要性2.双通道立体声激光唱盘，采用脉冲码调制采样，采样频率为44.1KHz，采样精度16位，其一秒钟时间内的采样数据量为：44.1×1000×16×2÷8＝176.4KB一个650MB的CD—ROM，大约可存1小时的音乐。一、多媒体数据压缩编码的必要性3.对动态图形和视频图像。例如对于彩色电视信号，设代表光强Y的带宽为4.2MHz、色彩I为1.5MHz和色饱和度Q为0.5MHz，采样频率＞2倍原始信号频率，各分量均被数字量化为8位，从而1秒钟电视信号的数据量为：（4.2＋1.5＋0.5）×2×8×1000000÷8＝12.3MB一、多媒体数据压缩编码的必要性容量为650MB的CD—ROM仅能存1分钟的原始电视数据。若为高清晰度电视（HDTV）其1秒钟数据量约为150MB（1.2Gbps÷8），一张CD—ROM还存不下5秒钟的HDTV图像。巨大数字化信息的数据量对计算机存储资源和网络带宽有很高的要求，解决的办法就是要对视、音频的数据进行大量的压缩。播放时，传输少量被压缩的数据，接收后再对数据进行解压缩并复原。1.空间冗余一幅图像中一般都有连续的有规则物体和规则背景的颜色分布，使图像数据在空间上表现出相关性，我们可以通过改变物体表面颜色的像素存储方式来利用空间相关性，达到减少数据量的目的。例:图象中的“A”是一个规则物体。光的亮度、饱和度及颜色都一样，因此，数据A有很大的冗余。二、多媒体数据压缩的可能性2.时间冗余图像序列中的相邻帧图像往往包含相同的背景和移动物体，只不过移动物体所在的空间位置略有不同。我们把一帧图像中的某物体或场景可以由其他帧图像中的物体或场景进行处理后重构出来，可以大大减少时间冗余。3.结构冗余有些图像从大体上看存在着非常强的纹理结构，这些纹理具有较强的相似性称此为结构冗余。如草席图结构上存在冗余。二、多媒体数据压缩的可能性4.知识冗余有许多图像的理解与某些基础知识有相当大的相关性。这类规律性的结构可由先验知识和背景知识得到，我们称此类冗余为知识冗余。例:人脸的图像有同样的结构：嘴的上方有鼻子，鼻子上方有眼睛，鼻子在中线上……5.视觉冗余人类视觉系统对图像场的敏感性是非均匀和非线性的，人眼并不能察觉图像场的所有变化，人类视觉系统的分辨能力约为64灰度等级，而一般图像量化采用256灰度等级，这类冗余称视觉冗余。二、多媒体数据压缩的可能性6.听觉冗余人耳对不同频率的声音的敏感性是不同的，并不能察觉所有频率的变化，对某些频率不必特别关注，因此存在听觉冗余。二、多媒体数据压缩的可能性根据多媒体数据冗余类型的不同，解码后数据与原始数据是否完全一致、质量有无损失来进行分类，压缩方法可被分为有失真编码和无失真编码两大类。无失真压缩法也称无损压缩，一般是利用数据的统计特性来进行数据压缩，对数据流中出现的各种数据进行概率统计编码，使得数据流经压缩后形成的代码流总位数大大减少。无失真压缩的特点是压缩比较小，大约在2∶l至5∶l之间，主要用于文本数据、程序代码和某些要求严格不丢失信息的环境中，常用的无失真压缩编码有如哈夫曼编码等。三、数据压缩技术的分类三、数据压缩技术的分类有失真压缩法也称有损压缩，允许一定程度的失真，会丢失一些人眼和人耳所不敏感的图像或音频信息，而且丢失的信息不可恢复，即解压缩后并不能完全恢复成原来的数据，但是根据人的视觉和听觉的主观评价是可以接受的，有失真压缩法的冗余压缩取决于初始信号的类型、前后的相关性、信号的语义内容等，压缩比可以从几到几百倍。常用的有失真压缩编码技术有预测编码、变换编码、模型编码、混合编码方法等。主要用于压缩图像、声音等信息。常用的图像和视频压缩方法如图2-1所示：哈夫曼编码行程编码算术编码LZW编码图像和视频压缩方法DCT编码小波变换子带编码无失真压缩有失真压缩预测编码变换编码模型编码运动补偿混合编码分形编码JPEGMPEGH.261三、数据压缩技术的分类四、数据压缩技术的性能指标节省图象或视频的存储容量，增加访问速度，使数字视频能在PC机上实现，需要进行视频和图象的压缩。有三个关键参数评价一个压缩系统压缩比图象质量压缩和解压的速度另外也必须考虑每个压缩算法所需的硬件和软件。1．压缩比压缩性能常常用压缩比定义（输入数据和输出数据比）例：512×480，24bit/pixel(bpp)输出15000byte输入＝737280byte压缩比＝737280/15000＝492．图象质量压缩方法：无损压缩（图象质量不变）有损压缩有损压缩：失真情况很难量化，只能对测试的图象进行估计。–模拟图象质量的指标：信噪比、分辨率–必须观察实际图象以后估计。3．压缩解压速度在许多应用中，压缩和解压可能不同时用，在不同的位置不同的系统中。所以，压缩、解压速度分别估计。静态图象中，压缩速度没有解压速度严格；动态图象中，压缩、解压速度都有要求，因为需实时地从摄像机或VCR中抓取动态视频。4．硬软件系统有些压缩解压工作可用软件实现。设计系统时必须充分考虑：算法复杂－压缩解压过程长算法简单－压缩效果差目前有些特殊硬件可用于加速压缩/解压。硬接线系统速度快，但各种选择在初始设计时已确定，一般不能更改。因此在设计硬接线压缩/解压系统时必须先将算法标准化。2.2静态图像压缩国际标准--JPEG2.2.1静态图像压缩编码JPEG概况2.2.2JPEG压缩编码的基本系统（1）数据块准备（2）离散余弦正变换DCT（3）量化（4）DCT系数Z形扫描（5）DC系数编码（6）AC系数编码2.2.3JPEG压缩编码的扩展系统2.2.1静态图像压缩编码JPEG概况JPEG(JointPhotographicExpertsGroup)是一个由ISO和IEC两个组织机构联合组成的一个专家组，负责制定静态的数字图象数据压缩编码标准，因此又称为JPEG标准。JPEG是一个适用范围很广的静态图象数据压缩标准，适应于彩色和单色多灰度或连续色调静止数字图像的压缩标准。JPEG是国际上彩色、灰度、静止图像的第一个国际标准。用来在低分辨率到高分辨率的较宽范围内支持较高的图像分辨率。它不仅适用于黑白、彩色照片和印刷图片（高分辨率）等静止图像的压缩，而且适用于传送彩色传真、电话会议、新闻图片（低分辨率）的静止图像的压缩，以及电视图像序列的帧内图像的压缩编码也常采用JPEG压缩标准。2.2.1静态图像压缩编码JPEG概况2.2.1静态图像压缩编码JPEG概况它满足以下要求：（1）达到或接近当前压缩比图像保真度的技术水平，能覆盖一个较宽的图像质量等级范围，能得到“很好”到“极好”的评估，与原始图像相比，人的视觉难以区分。（2）能适用于任何种类的连续色调的图像，且长宽比都不受限制，同时也不受限于景物内容、图像的复杂程度和统计特性等。（3）计算机的复杂性是可控制的，其软件可在各种CPU上完成，算法也可用硬件实现。（4）JPEG算法具有4种操作方式。第一，为顺序编码，每个图像分量按从左到右，从上到下扫描，一次扫描完成编码；第二，累进编码，图像编码在多次扫描中完成，接收端收到图像是一个由粗糙到清晰的过程；第三，无失真编码；第四，分层编码，对图像按多个分辨率编码，接收端按其显示分辨率有选择地解码。变换编码的基本思路：1．编码时略去某些能量很小的高频分量以降低码率。2．变换编码还可以根据人眼对不同频率分量的敏感程度而对不同系数采用不同的量化台阶，以进一步提高压缩比。JPEG开发的压缩编码算法有三种工作方式：1．基本系统（单次扫描）。2．扩展系统（常采用累进编码或分层编码方式）。3．无损压缩编码。2.2.1静态图像压缩编码JPEG概况2.2.2JPEG压缩编码的基本系统下面是一个基于离散余弦正变换DCT的有失真JPEG编码的工作原理，图2-11是基于DCT的JPEG编码的过程框图。2.2.2JPEG压缩编码的基本系统顺序编码运行方式2.2.3JPEG压缩编码的扩展系统1.基于DCT的累进编码运行方式累进编码方式要扫描多次2.2.3JPEG压缩编码的扩展系统2.分层编码运行方式水平方向和垂直方向分辨率以2的倍数因子下降（降低原始图像的空间分辨率），导出若干低分辨率的原图像，分层后再采用JPEG的压缩编码方法进行编码，随后以上重复步骤，直到图像达到完整的分辨率编码为止。2.2.3JPEG压缩编码的扩展系统3.无损压缩预测编码运行方式源图像数据表说明预测器熵编码器压缩后图像数据无损压缩预测编码运行方式Pxabcx选择值预测选择值预测0不预测4a＋b－c1a5a＋（b－c）/22b6b＋（a－c）/23c7（a＋b）/22.3运动图像压缩编码的国际标准—MPEG2.3.1运动图像压缩编码—MPEG概况2.3.2MPEG标准简介2.3.3MPEG标准化算法帧间编码技术运动补偿技术2.3.4MPEG视频压缩数据流结构2.3.5MPEG音频简述MPEG本是MovingPicturesExpertsGroup,动态图象专家组的英文缩写，这个专家组始建于1988年，专门负责为CD建立视频和音频标准，其成员均为视频、音频及系统领域的技术专家。对于今天我们所范指的MPEG-X版本，是指一组由ITU(InternationalTelecommunicationsUnion)和ISO(InternationalStandardsOrganization)制定发布的视频、音频、数据的压缩标准。2.3.1运动图像压缩编码—MPEG概况2.3.1运动图像压缩编码—MPEG概况MPEG的缔造者们原先打算开发四个版本：MPEG1-MPEG4，以适用于不同带宽和数字影像质量的要求。后由于MPEG3被放弃，所以现存只有三个版本的MPEG：MPEG-1，MPEG-2，MPEG-4。总体来说，MPEG在三方面优于其他压缩/解压缩方案。首先，它做为一个国际化的标准，MPEG具有很好的兼容性。其次，MPEG能够比其他算法提供更好的压缩比，最高可达200:1。再次，MPEG在提供高压缩比的同时，对数据的损失很小。2.3.1运动图像压缩编码—MPEG概况MPEG专家组工作将整个过程分为三步：①要求提出要求有双重的目的：目标,竞争的原则。②竟争提出了14个不同的方案。③集中测试和评价，并综合出一个最佳方案。2.3.2MPEG标准简介MPEG标准有：MPEG-1：1992年正式发布的数字电视标准;MPEG-2：数字电视标准;MPEG-3：于1992年合并到高清晰度电视（HDTV）工作组;MPEG-4：1999年发布的多媒体应用标准;MPEG-7：多媒体内容描述接口标准，活动图像专家组在91年11月提出了“用于数据速率大约高达1.5MB/s的数字存储媒体的电视图像和伴音编码”，作为ISO11172号建议，于92年通过，习惯上通称MPEG-1标准。此标准主要是针对当时具有这种数据舆率的CD-ROM开发的，用于在CD-ROM上存储数字影视和上传