武汉理工信息理论与编码chapter6

6限失真信源编码限失真信源编码：在允许的失真范围内把编码后的信息率压缩到最小。限失真信源编码的失真范围受限。编码后的信息率得到压缩，属于熵压缩编码。本章主要包括以下内容：失真测度、率失真函数性质及计算、香农第三编码定理——限失真编码定理。引入有失真编码的原因：1、保熵并非总是必需的。很多情况下，信宿不需要或无能力接受信源发出的全部信息。2、保熵并非总是可能的。3、降低信息率有利于传输和处理，因此有必要进行熵压缩编码。如连续信源的信息熵为无穷大，若用离散码元来表示，需要用无穷长的码元串，势必造成无限延时，这种通信无实际意义了。所以，对连续信源而言，熵压缩编码是绝对必需的。有失真的熵压缩编码主要针对连续信源，但其理论同样适用于离散信源。6.1失真测度限失真编码的的失真必定是有限度的，所以要先给出失真的度量方法。设信源输出随机变量为U，符号集为{u1,u2,…，ur}，经信源编码后的输出随机变量为V，符号集为{v1,v2,…，vs}。用一个非负实值函数表示编码器输入ui与输出vj之间的误差或失真——失真度d(ui,vj)。将r×s个d(ui,vj)排成矩阵——失真矩阵，记为[d]：1112112122221211(,)(,)(,)(,)(,)(,)[](,)(,)(,)ssrrrsrsduvduvduvuduvduvduvudduvduvduvuvvv失真度d(ui,vj)的函数形式可根据实际需要选取，唯一的限制是要求非负。常用的失真度有：误码失真：对所有符号的失真度d(ui,vj)ij取统计平均，称为平均失真度或平均失真，记为|1111{(,)}(,)(,)()()(,)rsrsijijijijiijiiiiDEduvPuvduvPuPvuduvD0,(,)1,ijijijuvduvuv2(,)()ijijduvuv(,)||ijijduvuv(,)||||ijijiduvuvu均方失真：绝对失真：相对失真：上述第一种失真函数常用于离散信源，后三种失真函数常用于连续信源。6.2信息率失真函数及其性质6.2.1信息率失真函数的定义如果要求平均失真小于某个给定值D，即要求——保真度准则满足保真度准则的信道称为D允许(试验)信道——编码器(有很多个)。所有D允许（试验）信道的转移概率组成一个集合，记为BD，D11{(,)}()(|)(,)rsijijiijijDEduvPuPvuduvDDD|{;}DVUBPDD在BD中找一个PV|U（即寻求一个特定的编码器），使I(U;V)最小，这个最小的平均互信息量称为信息率失真函数，简称率失真函数，记为R(D)当最小值不存在时，有对离散信源，R(D)可表示为：()min(;)min{(;);}DVUPBRDIUVIUVDD()inf(;)DVUPBRDIUVDVUPB11(|)()min()(|)log()rsjiijiijjPvuRDPuPvuPvR(D)是保真度准则下所必须传输的信息率，也是熵压缩编码器输出要求达到的最低熵率。率失真函数可推广到序列，N次扩展信源UN和N次扩展信道，BND中必存在一个转移概率使I(UN;VN)最小，这个最小值就是N次扩展信源UN的率失真函数，记为R(ND)信源和信道均无记忆，有NNNNVUUPV|{,,}|{;()}NNNDVUBPDNNDNNNDVUNNNNPBRNDIUVIUVDNND|()min(;)min{(;);()}()min{(;);()}min{(;);}()NNRNDIUVDNNDNIUVDDNRD6.2.2信息率失真函数的性质1.R(D)的定义域是[0,Dmax]下界是零，对应于无失真情况，这时编码器传输的信息量等于信源熵，即R(D)=H(U)；失真矩阵每行至少有一个零，且每列至多有一个零。说明对某些信源符号可进行无失真压缩。其它情况下，R(D)H(U)。取满足R(D)=0的所有D中最小者为定义域的上限值。2.R(D)是D的下凸函数3.R(D)是定义域上的非增函数R(D)0DminDmaxDDmax可以这样计算。R(D)=0意味着I(U;V)=0，这时试验信道输入与输出是互相统计独立的，即P(vj|uj)=P(vj)，这时平均失真为取上式的最小值为Dmax，即11()()(,)rsijijijDPuPvduvDmax1111min()()(,)min()()(,)rsijijijsrjiijjiDPuPvduvPvPuduv1212011323[]10UvvuPdu22max111212min()()(,)1212min()01()10333321min()()33jiijjiDPvPuduvPvPvPvPv12()()1PvPvmax111min()33DPv1()0Pv01VPmax111111min()033333DPv例6.2设输入概率和失真矩阵分别为解：由式(6.2.8)得根据概率的完备性，即当，即时，得到最小值：求Dmax6.3限失真信源编码定理-----香农第三编码定理设离散无记忆信源的信息率失真函数为R(D)，只要满足RR(D)，当信源序列足够长时，一定存在一种编码方法，其译码失真小于或等于D+ε，其中ε是任意小的正数；反过来若RR(D)，则无论采用什么样的编码方法，其译码失真必大于D。