第六章-限失真信源编码

信息论基础李富年武汉科技大学第六章限失真信源编码限失真信源编码的概念失真测度信息率失真函数及其性质信息率失真函数的意义信息论基础李富年武汉科技大学限失真信源编码信源信宿信源编码器信道解码器信道编码器信源解码器消息消息等效广义信道信道干扰源信号S噪声S＋N调制器解调器信息论基础李富年武汉科技大学限失真信源编码的概念问题的引入：根据信道编码定理，信道不可能实现对消息的完全无失真传输。例：连续信源信息绝对熵无穷大信息论基础李富年武汉科技大学限失真信源编码的概念问题的引入：在实际生活中，人们并不要求获得完全无失真的消息，通常只要求近似地再现原消息，也就是允许一定的失真存在。例：语音信息：实际20kHz----8kHz，去掉低端和高端的频率，变为人耳接收的300－3400Hz例：图像信息：每个像素的黑白灰度只需要256级，画面就足够清晰了。信息论基础李富年武汉科技大学限失真信源编码的概念既然允许一定的失真存在，那么对信息率的要求便可降低。换句话说，就是允许压缩信源输出的信息率。信息率与允许失真之间的关系，就是信息率失真理论所要研究的内容。信息论基础李富年武汉科技大学限失真信源编码的概念香农定义了信息率失真函数R(D)，还论述了关于这个函数的基本定理，定理指出：在允许一定失真度D的情况下，信源输出的信息率可压缩到R(D)值。信息论基础李富年武汉科技大学信源符号经过信道传输到接收端Y1212,,,()(),(),,()ninXxxxpxpxpxpx失真测度1212,,,()(),(),,()mjmYyyypypypypy112111222212(/)(/)(/)(/)(/)(/)(/)(/)(/)(/)mmnnmnpyxpyxpyxpyxpyxpyxpYXpyxpyxpyx设离散无记忆信源为信道的传递概率矩阵信息论基础李富年武汉科技大学对每一对，指定一个非负函数(,)0ijdxy失真测度(,)ijxy(,)ijdxyixjy称为单个符号的失真度/失真函数。表示信源发出一个符号，在接收端再现所引起的误差或失真。信息论基础李富年武汉科技大学失真度还可表示成矩阵的形式:失真测度1211121121222212...(,)(,)...(,)(,)(,)...(,)......(,)(,)...(,)jjjiiiijbbbdabdabdabadabdabdabaDadabdabdab这个矩阵[D]完整地表示了信道的各种可能的失真函数，故称矩阵[D]为信道的失真矩阵YXYPX)|(YXYPX)|(信息论基础李富年武汉科技大学例：设信源符号集信道输出符号集失真测度},...,{:21raaaX},...,{:21raaaY在这样的规定下，定义的失真函数为)()(0),(jidjiaadji相应的失真矩阵为0.........0...0......2121ddddddaaaDaaarr信息论基础李富年武汉科技大学失真测度在这样的规定下，定义的失真函数为0()(,)1()ijijdaaij相应的失真矩阵为0...11...1...011...10......2121rraaaDaaa这种失真函数称为汉明失真函数信息论基础李富年武汉科技大学失真测度相应的失真矩阵为01101010D对于二进制对称信道来说0)1,1()0,0(dd1)0,1()1,0(dd信息论基础李富年武汉科技大学例2：设信源符号集信道输出符号集失真测度},...,{:21raaaX121:{,,...,}rrYaaaa在这样的规定下，定义的失真函数为)1,(1)1(21)(0),(rjjirjjiaadji相应的失真矩阵为2/10...11...2/11...012/11...10......21121rrraaaDaaaa信息论基础李富年武汉科技大学失真测度如:信源X的符号集{0，1}，信道输出符号集{0，？，1}0)1,1()0,0(dd1)0,1()1,0(dd2/1?),1(?),0(dd相应的失真矩阵为02/1112/10101?0D信息论基础李富年武汉科技大学例3：设信源符号集信道输出符号集失真测度},...,{:21raaaX},...,{:21raaaY相应的失真矩阵为在这样的规定下，定义的失真函数为2(,)(),1,2....ijijdababijr2222122222212212212112121)...()()(...)...()()()...()()(......rrrrrrrrbababababababababaaaaDbbb信息论基础李富年武汉科技大学失真测度如信源X的符号集{0，1，2}，信道输出符号集{0，1，2}相应的失真矩阵为014101410210210D在这样的规定下，定义的失真函数为2(,)(),1,2....ijijdababijr信息论基础李富年武汉科技大学失真测度由此得出：失真函数是根据实际需要，以及失真所引起的损失、风险、主观感觉上的差别大小等因素人为地来规定的。信息论基础李富年武汉科技大学只能表示两个特定的具体符号和之间的失真。,11(,)()(,)(,)()(/)(,()),ijijijIJnmijiijijjidxyXYPXYpxydxypxpyxdxDEdyyx即，在和的联合概率空间中的统计平均值平均失真度平均失真度：平均失真度为失真度的数学期望。(,)ijdxyixjy信息论基础李富年武汉科技大学是在平均意义上，从总体上对整个系统失真情况的描述。它是信源统计特性、信道统计特性和失真度的函数。当，和给定后，平均失真度就不是一个随机变量了，而是一个确定的量。(,)ijdxyD平均失真度D如果信源和失真度一定，就只是信道统计特性的函数。信道传递概率不同，平均失真度随之改变。(,)ijdxy(|)jipyx()ipx()ipx(|)jipyx信息论基础李富年武汉科技大学保真度准则:平均失真不能超过人们允许的某一限定值DD对于给定信源和失真函数)|(ijabpDD信息率失真函数信息论基础李富年武汉科技大学凡是满足保真度准则的信道，称为失真许可的实验信道。所有失真许可实验信道组成的一个集合用表示，即有DDabpBijD);|(在满足保真度准则的所有试验信道组成的集合中，总可以找到某一试验信道，使平均互信息量达到极小值（最小值），这个最小值就是信息率失真函数，或简称率失真函数。);(min)()|(YXIDRDijBabp信息率失真函数信息论基础李富年武汉科技大学信息率失真函数在信源给定以后，总希望在允许一定失真的情况下，传送信源所必须的信息率越小越好。DD从接收端来看，就是在满足保真度准则的条件下，寻找再现信源消息必须的最低平均信息量，即平均互信息的最小值。信息论基础李富年武汉科技大学信息率失真函数R(D)是假定信源给定的情况下，在用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。它反映的是信源可压缩程度。率失真函数一旦找到，就与求极值过程中选择的试验信道不再有关，而只是信源特性的参量。不同的信源，其R(D)是不同的。信息率失真函数信息论基础李富年武汉科技大学平均互信息I(X;Y)是信源概率分布p(xi)的上凸函数，信道容量就是在固定信道情况下，求平均互信息极大值的问题，即信道容量和信息率失真函数()max(;)ipxCIXY(/)()min(;)iiDpyxPRDIXYI(X;Y)又是信道转移概率分布p(yj/xi)的下凸函数，信息率失真函数就是在试验信道（满足保真度准则的信道）中寻找平均互信息极小值的问题，即信息论基础李富年武汉科技大学信道容量C一旦求出后，就只与信道转移概率p(yj/xi)有关，反映信道特性，与信源特性无关；信息率失真函数R(D)一旦求出后，就只与信源概率分布p(xi)有关，反映信源特性，与信道特性无关。信道容量和信息率失真函数信息论基础李富年武汉科技大学•解决的问题–信道容量是为了解决通信的可靠性问题，是信息传输的理论基础，通过信道编码增加信息的冗余度来实现；–信息率失真函数是为了解决通信的有效性问题，是信源压缩的理论基础，通过信源编码减少信息的冗余度来实现。信道容量和信息率失真函数信息论基础李富年武汉科技大学•R（D）的定义域Dmin和R(Dmin）信息率失真函数的性质当失真矩阵的每一行至少有一个零元素时，信源的平均失真度达到下限值零。当Dmin=0，也就是说信源不允许任何失真存在时，信息率至少应等于信源输出的平均信息量——信源熵。即(0)()RHUrijijibadapD1min),(min)(信息论基础李富年武汉科技大学•Dmax和R(Dmax）不允许任何失真时，平均传送一个信源符号所需的信息率最大，即必须等于信源熵，这也是平均互信息的上限值。当允许一定失真存在时，传送信源符号所需的信息率就可小些。反过来说，必须的信息率越小，容忍的失真就越大。当R(D)等于零时，对应的平均失真最大，也就是R(D)函数定义域的上界值Dmax信息率失真函数的性质信息论基础李富年武汉科技大学•Dmax和R(Dmax）定义：对于给定信源X，其信源的概率分布：p(xi)，在选定的失真函数d(xi,yj)下，能使平均互信息量I(X;Y)=0的最小平均失真度为允许平均失真度的上界值。信息率失真函数的性质信息论基础李富年武汉科技大学•信息率失真函数是D的下凹型函数•信息率失真函数是定义域的单调递减函数•信息率失真函数是D的连续函数信息率失真函数的性质R(D)DDminDmax0信息论基础李富年武汉科技大学设一离散平稳无记忆信源的输出随机变量序列为X=(X1,X2,…,XL)，若该信源的信息率失真函数是R(D)，并选定有限的失真函数。对于任意允许平均失真度D≥0，和任意小的ε0，当信息率RR(D)，只要信源序列长度L足够长，一定存在一种编码方式C，使译码后的平均失真度；反之，若RR(D)，则无论用什么编码方式，必有，即译码平均失真必大于允许失真。DCD)(DCD)(限失真信源编码定理信息论基础李富年武汉科技大学信息率失真函数也是一个界限。只要信息率大于这个界限，译码失真就可限制在给定的范围内。即通信的过程中虽然有失真，但仍能满足要求，否则就不能满足要求。限失真信源编码定理