信息论与编码

中南大学信息论与编码实验报告专业班级:通信1204指导老师：梁建武姓名:学号:哈夫曼编码的matlab实现一、实验目的1.掌握哈夫曼编码的原理及编码步骤2.练习matlab中哈夫曼编码函数的调用及通信工具箱的使用二、实验内容：用Matlab语言编程实现霍夫曼（Huffman）编码。三、实验原理及编码思想：通信的根本问题是如何将信源输出的信息在接收端的信宿精确或近似的复制出来。为了有效地复制信号，就通过对信源进行编码，使通信系统与信源的统计特性相匹配。若接收端要求无失真地精确地复制信源输出的信息，这样的信源编码即为无失真编码。即使对于一个小的时间段内，连续信源输出的信息量也可以是无限大的，所以对其是无法实现无失真编码的；而离散信源输出的信息量却可以看成是有限的，所以只有离散信源才可能实现无失真编码。凡是能载荷一定的信息量，且码字的平均长度最短，可分离的变长码的码字集合都可以称为最佳码。为此必须将概率大的信息符号编以短的码字，概率小的符号编以长的码字，使得平均码字长度最短。变长编码的最佳编码定理：在变长码中，对于概率大的信息符号编以短字长的码；对于概率小的信息符号编以长字长的码。如果码字长度严格按照符号概率的大小顺序排列，则平均码字长度一定小于俺任何顺序排列方式得到的码字长度。哈夫曼编码就是利用了这个定理，讲等长分组的信源符号，根据其概率分布采用不等长编码。概率大的分组，使用短的码字编码；概率小的分组，使用长的码字编码。哈夫曼编码把信源按概率大小顺序排列，并设法按逆次序分配码字的长度。在分配码字的长度时，首先将出现概率最小的两个符号相加，合成一个概率；第二步把这个合成的概率看成是一个新组合符号的概率，重复上述做法，直到最后只剩下两个符号的概率为止。完成以上概率相加顺序排列后，再反过来逐步向前进行编码。每一步有两个分支，各赋予一个二进制码，可以对概率大的编为0码，概率小的编为1码。反之亦然。哈夫曼编码的具体步骤归纳如下：1.统计n个信源消息符号，得到n个不同概率的信息符号。2.将这n个信源信息符号按其概率大小依次排序：p(x1)≥p(x2)≥…≥p(xn)3.取两个概率最小的信息符号分别配以0和1两个码元，并将这两个概率相加作为一个新的信息符号的概率，和未分配的信息符号构成新的信息符号序列。4.将剩余的信息符号，按概率大小重新进行排序。5.重复步骤3，将排序后的最后两个小概论相加，相加和与其他概率再排序。6.如此反复重复n-2次，最后只剩下两个概率。7.从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即相应的码字，构成霍夫曼编码字。编码结束。哈夫曼编码产生最佳整数前缀码，即没有一个码字是另一个码字的前缀，因此哈夫曼编码是唯一码。编码之后，哈夫曼编码的平均码长为：1()niiiKpxK哈夫曼编码的效率为：()=HxK信源熵平均码长例如：设信源共7个符号消息，其概率如下表所示信源消息符号xix1x2x3x4x5x6x7符号概率P（xi）0.200.190.180.170.150.100.01其编码过程如下所示：该哈夫曼码的平均码长为编码效率为：四、程序设计思路分为两步，首先是码树形成过程：对信源概率进行合并形成编码码树。然后是码树回溯过程：在码树上分配编码码字并最终得到哈夫曼编码。1、码树形成过程：将信源概率按照从小到大顺序排序并建立相应的位置索引。然后按上述规则进行信源合并，再对信源进行排序并建立新的位置索引，直到合并结束。在这一过程中每一次都把排序后的信源概率存入矩阵G中，位置索引存入矩阵Index中。这样，由排序71()2.72iiiKpxK码元/符号()2.610.9596/2.72HXK比特码元之后的概率矩阵G以及索引矩阵Index就可以恢复原概率矩阵P了，从而保证了回溯过程能够进行下去。2、码树回溯过程：在码树上分配编码码字并最终得到Huffman编码。从索引矩阵M的末行开始回溯。(1)在Index的末行2元素位置填入0和1。(2)根据该行索引1位置指示，将索引1位置的编码（‘1’）填入上一行的第一、第二元素位置，并在它们之后分别添加‘0’和‘1’。(3)将索引不为‘1’的位置的编码值（‘0’）填入上一行的相应位置（第3列）。(4)以Index的倒数第二行开始向上，重复步骤(1)～(3)，直到计算至Index的首行为止。五、程序代码：%取得信源概率矩阵,并进行合法性判断clear;P=input('请输入信源概率向量P=');N=length(P);forcomponent=1:1:Nif(P(component)0)error('信源概率不能小于0');endendif((sum(P)-1)0.0001)error('信源概率之和必须为1');end%建立各概率符号的位置索引矩阵Index,利于编码后从树根进行回溯,从而得出对应的编码Q=P;Index=zeros(N-1,N);%初始化Indexfori=1:N-1[Q,L]=sort(Q);Index(i,:)=[L(1:N-i+1),zeros(1,i-1)];G(i,:)=Q;Q=[Q(1)+Q(2),Q(3:N),1];%将Q中概率最小的两个元素合并，元素不足的地方补1end%根据以上建立的Index矩阵，进行回溯，获取信源编码fori=1:N-1Char(i,:)=blanks(N*N);%初始化一个由空格符组成的字符矩阵N*N,用于存放编码end%从码树的树根向树叶回溯，即从G矩阵的最后一行按与Index中的索引位置的对应关系向其第一行进行编码Char(N-1,N)='1';%G中的N-1行即最后一行第一个元素赋为1，存到Char中N-1行的N列位置Char(N-1,2*N)='0';%G中的N-1行即最后一行第二个元素赋为0，存到Char中N-1行的2*N列位置%以下从G的倒数第二行开始向前编码fori=2:N-1Char(N-i,1:N-1)=Char(N-i+1,N*(find(Index(N-i+1,:)==1))-(N-2):N*(find(Index(N-i+1,:)==1)));%将Index后一行中索引为1的编码码字填入到当前行的第一个编码位置Char(N-i,N)='1';%然后在当前行的第一个编码位置末尾填入'1'Char(N-i,N+1:2*N-1)=Char(N-i,1:N-1);%将G后一行中索引为1的编码码字填入到当前行的第二个编码位置Char(N-i,2*N)='0';%然后在当前行的第二个编码位置末尾填入'0'forj=1:i-1%内循环作用：将Index后一行中索引不为1处的编码按照左右顺序填入当前行的第3个位置开始的地方,最后计算到Index的首行为止Char(N-i,(j+1)*N+1:(j+2)*N)=Char(N-i+1,N*(find(Index(N-i+1,:)==j+1)-1)+1:N*find(Index(N-i+1,:)==j+1));endend%Char中第一行的编码结果就是所需的Huffman编码输出，通过Index中第一行索引将编码对应到相应概率的信源符号上。fori=1:NResult(i,1:N)=Char(1,N*(find(Index(1,:)==i)-1)+1:find(Index(1,:)==i)*N);ll(i)=length(find(abs(Result(i,:))~=32));end%打印编码结果String='信源概率及其对应的Huffman编码如下';disp(String);disp(P);disp(Result);fprintf('平均编码长度');l=sum(P.*ll)hh=sum(P.*(-log2(P)));fprintf('编码效率');t=hh/l六、实验结果及分析可知，程序已完成了Huffman编码的功能，与书中的结果一致，验证了哈夫曼编码.但编码不是唯一的，因为：信源符号合并中遇到最小概率相同的情况时可任意选择来做合并；在码树分配编码码字的时候1和0的位置可以是任意的。七、实验心得通过这次实验，让我对哈夫曼编码有了更深刻的理解，对哈夫曼编码的过程有了更加清楚的认识。同时，也让我深刻地认识到将理论运用于实践的重要性，以及自身编程能力的不足。这些方面将是我要重点加强的。