第六章多媒体压缩编码及传输技术

第六章多媒体压缩编码及其传输技术内容6.1多媒体传输与压缩编码基础6.2图像压缩编码技术6.3视频压缩编码技术6.4音频压缩编码技术6.5实时媒体流的差错控制技术6.6视频编码传输中的控制技术6.7小结6.1多媒体传输与压缩编码基础6.1.1多媒体传输对压缩编码的需求通信带宽对传输数据量的限制，需要研究压缩编码技术以减少数据量；通信错误对传输准确率的影响，需要研究差错控制技术来解决传输错误带来的多媒体质量下降问题。6.1多媒体传输与压缩编码基础6.1.1多媒体传输对压缩编码的需求多媒体信息通信传输系统框图原始多媒体信息与接收多媒体信息原始多媒体信息是指待传输的多媒体信息，以多媒体信号形式承载要传输的信息。多媒体信息传输的目的是使得接收信息尽可能与原始信息一致，使得当前信道条件下传输过程中信息损失最小。预处理与后处理预处理是在发送端对多媒体源信号进行处理，以适合于后续的信源编码。接收端的后处理技术用于提高接收多媒体信息视觉或听觉质量，从而提高多媒体信息的性能。信源编码与信源解码是指去掉信源中信息的多余数据，目的是提高传输的效率，减少对传输带宽的要求。这就是一般意义上的多媒体压缩技术，压缩的逆过程则是信源解码。信道编码与信道解码为了抑制信道噪声对信号的干扰，需要对信号进行再编码。形成不宜受干扰并能够从传输错误中恢复的特定信号组织形式，称为信道编码，其目的是提高传输的可靠性。信道编码的逆过程称为信道解码。调制与解调将信源编码和信道编码后的待传输信号根据传输信道特点进行频域上的操作，以减少信号传输过程中在信道上的衰减，增加传输距离。多媒体信息，特别是图像和视频信息，数字化信号数据量非常大，对存储和传输都提出了很高的资源要求。对于35mm的电影胶片，电影图像分辨率为3656X2664像素，如果每个像素3个颜色，每个颜色8位，则每幅电影图像大约需要233Mbit的存储空间，非压缩下一张4.8GDVD光盘只能保存21幅电影图像。因此，在多媒体通信中，数据压缩是一个更加值得关注的问题。多媒体压缩编码技术的目的是为减少表示多媒体信息所需要的数据，但同时又不能够严重地降低多媒体的质量，不能严重地降低多媒体信号的视觉效果。信道编码技术研究在有错信道上如何可靠传输数据的方法。其研究集中在两个方面：一是如何检测出接收数据存在错误；二是存在错误接收的情况下如何处理才能获得正确的传输数据。需要注意的是，与文本数据不同，多媒体信息在数据比特位置上的错误容忍度较高，即多媒体数据中，少数几个字节的传输错误可能并不影响这些数据所要表达的信息。所以，在多媒体数据传输过程中，可以采取与传统方法不同的更加有效的信道编码技术。6.1多媒体传输与压缩编码基础6.1.2多媒体压缩基础1.信息的度量一个事件所表示的信息量和这个事件出现的概率成反比，如果这个事件出现的概率大，则这个事件所表示的信息量小，出现的概率小，则事件表示的信息量大。))(1(log)(2iipI6.1多媒体传输与压缩编码基础6.1.2多媒体压缩基础2.多媒体信息源模型能够产生信息的事物称为信源，在数学上可以用概率场来描述。数字多媒体信源可以看成是一个离散的随机序列，对于其中每个随机变量，其取值范围由符号集确定。离散无记忆信源：信源中各个符号相互独立))(1(log)()(21iNiiapapXH6.1多媒体传输与压缩编码基础6.1.2多媒体压缩基础3.信道容量条件熵：互信息量：信道容量：)/(log),()/()()/(111jininjjinjjjyxpyxpyXHypYXH)()(),(log)()/(log),(jijiijijiypxpyxpxpyxpyxIninjjijiypxpyxpYXI11)()(),(log),(),(maxYXIC6.1多媒体传输与压缩编码基础6.1.2多媒体压缩基础4.信息率失真函数失真函数：平均失真：信息率失真函数：jidjiyxdijji00),(),()/()(11jiijninjiyxdxypxpd)],([min)()/(YXIDRDijPxyp6.1.2多媒体压缩基础5.多媒体信息的冗余性多媒体数据的压缩效率取决于其自身的信息量和所容许的失真程度。从信息量的角度看，信源信息量越大，可以压缩的余地越小。信源的信息量与信源集当中的事件符号的分布有关，如果原始信号中出现大量相同或相似的数据，则信源的信息量比较少，有利于压缩编码。从信息率失真函数可以看出，如果容许的失真越大，则压缩比可以提高更多。这种信号分布的相似性和信息失真的容忍性统称为信息表示的冗余性。6.1.2多媒体压缩基础5.多媒体信息的冗余性时空冗余：空间或时间邻近取样点之间的相似性，以及空间结构上的相似性。频域冗余：频域分布中的相似性。心理冗余：人类感知特性决定的生理冗余。知识冗余：特定先验知识带来的规律性。时空冗余存在于多媒体信号的时空分布中。最基本的时空冗余是像素级别上的相关性，多媒体信号中的空间（如图像信号）或者时间（如音频、视频信号）临近取样点之间存在很大的相似性。其他还包括信号空间结构上的相似性，如图像的形状和纹理上的相似性等。频域冗余从频域上来看，多媒体信号相邻频带之间存在与相邻空间位置一样的相似性。心理冗余由人类的感知特性决定的，生理基础是人类视觉系统和听觉系统的特点。如人类心理感知的一个基本生理特征是人眼和人耳对多媒体信号中某种信息敏感，而对另外一些信息不敏感。知识冗余某类多媒体信号所表达的信息与特定先验知识有很大的相关性。例如，人脸图像有同样的结构：嘴的上方有鼻子，鼻子上方有眼睛，鼻子在正脸图像的中线上等。时空冗余和频域冗余统称为统计冗余，是一般数据压缩的基础，从统计冗余出发可以构造无损压缩方法。心理冗余是多媒体压缩与传统数据压缩的重要区别，因为人类对信号的感知灵敏度有限，在一定程度的失真条件下，人眼或人耳无法感知失真前后多媒体信号的质量损失。多媒体压缩算法分为两类：1）无损压缩：多媒体信息经过压缩后质量没有任何失真，解压后，信息与原始数据没有任何区别。2）有损压缩：允许信息质量存在一定程度的失真，其目的是换取更大的压缩比，在有损压缩中存在压缩比与压缩质量之间的平衡问题。6.1多媒体传输与压缩编码基础6.1.3变换压缩编码变换器（T）：是一个一对一的变换函数，将多媒体数据从常规空域表示空间变换到其他表示空间上，用另外一种形式来表示。变换目的是使多媒体数据能量更加集中，有利于数据压缩。方式有线性预测变换、离散余弦变换DCT、小波变换。量化器（Q）：量化是指用有限长度的符号来表示连续系数，是一个多对一的映射变换，不可逆。量化分为两种：一种是标量量化，对单个系数逐一进行；另一种是矢量量化，是指将一块数据作为一个矢量整体进行量化。编码器（C）：编码是指将量化器的输出符号用二进制码字表示，形成二进制码流。分为定长编码和变长编码。变长编码对不同的符号用不同的长度码字表示，使得整体的编码长度最小，其基本原理是将长度较短的码字给那些出现概率较大的符号。变换器T和编码器C都是可逆的，而量化器Q是不可逆的，因此T和C没有质量损耗，Q则是存在质量损耗的，所以无损压缩与有损压缩的区别在于是否包含量化过程。从冗余性角度来看，无损压缩利用了时空冗余和频域冗余等统计冗余，而有损压缩则加上了心理冗余。因此，无损压缩的压缩比较小，为2：1或5：1，而有损压缩的压缩比能够达到几十到上百的量级。6.1多媒体传输与压缩编码基础6.1.4信号变换技术离散余弦变换：具有很强的“能量集中”特性，大多数的多媒体信号能量都集中在离散余弦变换后的低频部分，而且当信号具有接近马尔可夫过程的统计特性时，去相关性接近于K-L变换的性能。离散小波变换：6.1多媒体传输与压缩编码基础6.1.5量化标量量化器：L,1,i],,()(1iiiddsrsQ6.1多媒体传输与压缩编码基础6.1.6熵编码1.前缀编码任何一个符号的编码，都不是另一个符号编码的前缀。符号前缀编码A1B01C001D0001E000016.1多媒体传输与压缩编码基础6.1.6熵编码2.定长编码不管符号概率的差异，将所有的符号都用同样长度的码字位流来表示。符号自然码Gray码a10000a20101a31011a411106.1多媒体传输与压缩编码基础6.1.6熵编码3.huffman编码编码原则：对于出现概率大的信息符号以短字长码字表示，对于出现概率小的信息符号以长字长码字表示，码字的长度严格按照符号概率大小的相反顺序排列。6.1多媒体传输与压缩编码基础6.1.6熵编码3.huffman编码排列过程：（1）首先把信源符号集各个符号按概率大小顺序排列；（2）将概率最小的两个符号合并成一个新符号，概率相加，并把结果作为成新符号的概率；（3）然后与其它符号概率一起再按从大到小的顺序排列；（4）重复上述步骤，直到概率的和为1为止。6.1多媒体传输与压缩编码基础6.1.6熵编码3.huffman编码编码过程：每一步有二分树，各赋予一个二进制码，例如对概率大的赋予码0，概率小的赋予码1。这样就能够保证Huffman编码符合“前缀编码”的要求。6.1多媒体传输与压缩编码基础6.1.6熵编码3.huffman编码按照上面的编“1”，下面的编“0”a81a7000a6001a5011a40101a301001a2010001a1010000平均码长2.47位6.1多媒体传输与压缩编码基础6.1.6熵编码4.算术编码编码原则：将被编码的符号序列表示成实数0和1之间的一个间隔。此间隔与符号序列出现的概率对应，符号序列越长，出现的概率越小，则对应的间隔就越小，表示这一间隔所需的二进制位数就越多。6.1多媒体传输与压缩编码基础6.1.6熵编码4.算术编码编码步骤：6.1多媒体传输与压缩编码基础6.1.6熵编码4.算术编码编码符号序列为a2a1a3，符号对应概率为，符号概率a10.50a20.25a30.125a40.1256.1多媒体传输与压缩编码基础6.1.6熵编码4.算术编码编码过程6.1多媒体传输与压缩编码基础6.1.6熵编码4.算术编码解码过程6.1多媒体传输与压缩编码基础6.1.7无损编码方法无损压缩没有量化过程，只包含变换和编码两个阶段。常见的无损压缩方法有线性预测编码方法和游程编码方法。6.1多媒体传输与压缩编码基础6.1.7无损编码方法1.线性预测编码方法（DPCM）（1）利用已编码的相邻采样点为基础，按照一定规则对当前要编码的采样点幅值进行整数预测，得到采样点幅值实际值和整数预测值之间的差异；（2）对这个差异进行熵编码；6.1多媒体传输与压缩编码基础6.1.7无损编码方法2.游程编码（1）将原始信号分解为数个二值位平面数据：将信号灰度值表示成二进制，将每一二进制位上的“0”或者“1”取出来，形成新的二值位数据，形成位矢量（一维）或者位平面（二维）。（2）对每个二值位数据进行游程编码（RLC）：对位矢量或者位平面，进行从左到右的扫描，计数得到的连续的“0”或“1”的长度，分别称为黑游程和白游程，得到黑游程和白游程长度；（3）对这些黑游程和白游程长度进行熵编码。游程编码的基本原理是：用一个符号值或串长代替具有相同值的连续符号（连续符号构成了一段连续的“行程”。行程编码因此而得名），使符号长度少于原始数据的长度。只在各行或者各列数据的代码发生变化时，一次记录该代码及相同代码重复的个数，从而实现数据的压缩。例如：5555557777733322221111111游程编码为：（5，6）（7，5）（3，3）（2，4）（1，7）。可见，游程编码的位数远远少于原始字符串的位数。在对图像数据进行编码时，沿一定方向排列的具有相同灰度值的像素可看成是连续符号，用字串代替这些连续符号，可大幅度减少数据量。游程编码记录方式有两种：①逐行记录每个游程的终点列号②逐行记录每个游程的长度（像元数