北京邮电大学通信工程专业-通信原理课程-PPT-第七章-信源与信源编码

第七章信源与信源编码彭涛[e-mail]7.1引言信源编码：去掉信源输出中的冗余信息，提供有效性内容信源分类及其统计特性信息熵，信源剩余度互信息，各类熵与互信息的关系Huffman编码7.2信源分类及其统计特性描述信源分类连续/模拟信源离散/数字信源重点研究7.2信源分类及其统计特性描述单消息（符号）离散信源只输出一个离散符号统计特性描述111,,,,,,,,11,2,,1iiiniinniiiXxPxXxxxPxPxPxPxPxinPx用符号可能取值范围和符号取值的概率描述其中，0，，且7.2信源分类及其统计特性描述离散消息（符号）序列信源输出一个离散消息（符号）序列统计特性描述1111213211111,,,,,,,,,,,,||,|,,,,,,,,,,LLiLLLiLiLLLLininLLXXXXxxxxnXPxPxxxPxPxxPxxxPxxxaaaXPaPaPaPx离散消息序列由个符号组成，则消息序列可表示成维随机矢量，其可能取值有种可能性，构成取值集合则离散消息序列的统计特性表示为取值集合及其取值概率7.2信源分类及其统计特性描述离散消息（符号）序列信源离散无记忆序列信源：序列中前后符号相互统计独立离散有记忆序列信源：序列中前后符号不是相互统计独立的可用马尔可夫链表示11,,,,LlLllPxPxxxPx7.3信息熵H(X)信息的基本特征：不确定性。因此信息应该是概率P的函数信息的两个特点随概率P的递减性：概率越大，信息量越小可加性：两个独立消息的总信息量应是两个消息的信息量的和满足这两个条件的表示信息量的函数只有一种可能：对数函数PxIPx，IPxPyIPxIPy7.3信息熵H(X)单消息离散信源的信息度量自信息量：出现某个消息时的信息量理解：消息出现概率越小，信息量越大1loglogiiiIPxPxPx7.3信息熵H(X)单消息离散信源的信息度量两个单消息离散信源X,Y的联合信息量|log||log|,log,iiiiiiiiiiiiiiiiiixyIPyxPyxyxIPxyPxyxyIPxyPxy知道了消息的情况下，消息新带来的信息量：知道了消息的情况下，消息新带来的信息量：两个消息，一共带来的信息量：7.3信息熵H(X)单消息离散信源的信息熵前面定义的是一个具体消息的信息量，因为信源输出的消息有多种可能性，所以可以把信息熵理解为这个输出消息（考虑多种可能性）的平均信息量信息熵也可以理解为对信源的不确定性的平均度量在各种可能性等概时，信源的信息熵最大（图7.3.1）1loglogniiiiiHXEIPxEPxPxPx7.3信息熵H(X)信息量和熵的单位对数以2为底时，单位为比特(bit)对数以e为底时，单位为奈特(Nat)对数以10为底时，单位为笛特(Det)1bit=0.693Nat=0.301Det7.3信息熵H(X)两个单消息离散信源的联合熵和条件熵1111,/,,log,,log,/||log|,log|||log|nmijijijijijnmjijiijjiijijiXYHXYEIPxyEPxyPxyPxyHYXEIPyxEPyxPxyPyxHXYEIPxyEPx联合熵两个符号带来的总信息熵平均信息量条件熵知道一个符号条件下，另一个符号带来的信息熵平均信息量11,log|nmjijijijyPxyPxy7.3信息熵H(X)联合熵和条件熵的一些性质max1,||Shannon||,3,,HXYHXHYXHYHXYHXHXYHYHYXXYXYHXYHXHY理解为两符号先后到达的过程：两个符号的总信息熵＝一个符号的信息熵＋知道这个符号的条件下另一个符号带来的信息熵2不等式：；理解：一个消息没有任何前兆时带来的信息肯定大于等于有前兆带来的信息当独立时，等号成立；否则都是大于号成立统计独立时，其联合熵取最大值两符号信息熵之和7.3信息熵H(X)离散消息序列信源的信息熵、剩余度11121111121111,,,,,,||,,0|,,|11,,lim,,iLLLLLLLLLLXXXXHXHXXHXHXXHXXXHXXXHXXHXHXHXXHXHXXLL离散平稳有记忆信源输出的消息序列为1其总信息熵为其中，每发一个符号具有不同的信息熵依次递减：2定义平均符号信息熵为：总信息熵除以符号个数，7.3信息熵H(X)离散消息序列信源的信息熵、剩余度21020030logN4HXHXHXHXNHXHXH容易看出：其中：是具有种取值可能的单消息信源的最大信息熵等概时符号所含的信息熵依次递减，平均符号信息熵自然越来越小编码时如果有以下假设：消息序列的各符号统计独立；各取值等概出现则实际是没有对信源进行仔细的研究，利用其统计特性，认为其平均符号信息熵为。如实际中的文字编码这必然会产生大量冗余，这正是进行压缩编码的前提信源效率：01XRHX；信源剩余度：7.4互信息I(X;Y)互信息的定义I(X;Y)及理解,||||||0;|log;||log;||iijijjjijiHXYHXHYXHYHXYHXHXYHYHYXHXHXYHYHYXPxIXYHXHXYEEixyPxyPyHYHYXEEiyxPyxHXXHXYYX前面已知：；由此可见：互信息定义：互信息的理解：是所含的信息；是已知的条件下还能带来的信息量。那么两YXYX者之差自然就是由于知道使得减少的信息量，也即由可以得到的关于的信息量7.4互信息I(X;Y)各种信息熵的关系Huffman编码等长编码：对信源输出的各种出现概率的符号用等长的码字表示没有充分利用信源的统计特性变长编码：根据信源输出符号出现概率不同选择码字，出现概率大的用短码，出现概率小的用长码利用了信源的统计特性，其编码效率高于等长编码Huffman编码：Huffman提出的一种变长编码是单消息信源的最佳变长编码Huffman编码图解Huffman编码方法1.写出消息概率2.对最小的两概率编码（0/1）3.对这两概率合并4.重复3，直至结束5.自顶而下到达某消息即得编码Huffman编码确定了对信源符号的编码规则，可进行编译码这种特性得益于Huffman编码的非延长性和异前置性非延长性：把任一许用码组延长（添加数字）都得不到许用码字；异前置性：将任一许用码组的最后一位或几位去掉都得不到许用码组。这两种性质可以从Huffman编码的规则看出来1234567536243755362437510110000010100110011101000001101100100001110100100000110110010000111010xxxxxxxxxxxxxxxxxxxxxxx如果信源输出一列消息：可得到编码序列：同样，如果接收端收到序列：由编码规则，很容易将其译码出来：