信息论与编码课程设计(精.选)

河南理工大学课程设计报告书word.信息论与编码课程设计报告设计题目：统计信源熵、香农编码与费诺编码专业班级：XXXXXXXXXXXX姓名：XXXXXXXXXXXX学号：XXXXXXXXXXXX指导老师：XXXXXXXXXXXX成绩：时间：2015年3月31日河南理工大学课程设计报告书word.目录一、设计任务与要求..............................2二、设计思路....................................2三、设计流程图..................................5四、程序及结果..................................7五、心得体会....................................11六、参考文献...................................12附录...........................................13河南理工大学课程设计报告书word.一、设计任务与要求1.统计信源熵要求：统计任意文本文件中各字符（不区分大小写）数量，计算字符概率，并计算信源熵。2.香农编码要求：任意输入消息概率，利用香农编码方法进行编码，并计算信源熵和编码效率。3.费诺编码要求：任意输入消息概率，利用费诺编码方法进行编码，并计算信源熵和编码效率。二、设计思路1、统计信源熵：统计信源熵就是对一篇英文文章中的i种字符（包括标点符号及空格，英文字母不区分大小写）统计其出现的次数counti（），然后计算其出现的概率()pi，最后由信源熵计算公式：1()()log()niinHxpxpx算出信源熵()Hx。所以整体步骤就是先统计出文章中总的字符数，然后统计每种字符的数目，直到算出所有种类的字符的个数，进而算出每种字符的概率，再由信源熵计算公式计算出信源熵。在这里我选择用Matlab来计算信源熵，因为Matlab中系统自带了许多文件操作和字符串操作函数，其计算功能强大，所以计算河南理工大学课程设计报告书word.信源熵很是简单。2、香农编码信源编码模型：信源编码就是从信源符号到码符号的一种映射f，它把信源输出的符号ia变换成码元序列ix。1,2,...,,iiNfaiqx：1:{,...,}qSsaa信源12{,...,}liiiiiXxxx码元1{,...,}1,2,...,iqSaaiN1,2,...,Niq1:{,...,}rXxxx码符号N次扩展信源无失真编码器凡是能载荷一定的信息量，且码字的平均长度最短，可分离的变长码的码字集合都可以称为最佳码。为此必须将概率大的信息符号编以短的码字，概率小的符号编以长的码字，使得平均码字长度最短。能获得最佳码的编码方法主要有：香农（Shannon）、费诺（Fano）、哈夫曼（Huffman）编码等。香农第一定理：离散无记忆信源为1212......()()()......qqsssSpspspsP熵()HS,其N次扩展为信源编码器河南理工大学课程设计报告书word.1212......()()()......NqqSpppP熵为()NHS,码符号集为12(,,...,)rXxxx。先对信源NS进行编码，总可以找到一种编码方法，构成唯一可译码，使S中每个信源符号所需的平均码长满足()1()loglogNLHSHSrNNr且当N时有()()loglimNrNLHSHSNr，L是平均码长1()NqiiiLp，i是i对应的码字长度。香农编码方法：（1）将信源消息符号按其出现的概率大小依次排列:12...nppp（2）确定满足下列不等式整数码长iK为()()1iiilbpKlbp（3）为了编成唯一可译码，计算第i个消息的累加概率为11()iikkPpa（4）将累加概率iP变成二进制数。（5）取iP二进制数小数点后iK位即为该消息符号的二进制码字。3、费诺编码方法（1）将信源消息符号按其出现的概率大小依次排列：12...nppp（2）将依次排列的信源符号按概率值分为两大组，使两个组的概率之和近似相同，并对各组赋予一个二进制码元“0”和“1”。（3）将每一大组的信源符号再分为两组，使划分后的两个组的河南理工大学课程设计报告书word.概率之和近似相同，并对各组赋予一个二进制符号“0”和“1”。（4）如此重复，直至每个组只剩下一个信源符号为止。（5）信源符号所对应的码字即为费诺码。三、设计流程图1、统计信源熵用Matlab读入一段英文计算这段文字的字符总数unm①②统计每种字符的个数n(i)算出每种字符的概率p(i)③④由信源熵计算公式1()()log()niinHxpxpx计算出信源熵⑤2、香农编码开始输入概率矩阵将概率由大到小排列计算累加概率和概率的个数根据公式调用函数计算码长河南理工大学课程设计报告书word.用循环程序编码并调整输出格式计算信源熵和编码效率输出信源熵、编码效率和码字结束3、费诺编码开始输入概率矩阵将概率由大到小排列计算累加概率和概率的个数在两组概率之和近似相等的条件下将概率分为两组，各赋予0，1两个码元将每一大组的的概率重复上一步操作，直到每组只剩一个概率河南理工大学课程设计报告书word.用循环程序编码并调整输出格式计算信源熵和编码效率输出信源熵、编码效率和码字结束四、程序及结果1、统计信源熵的Matlab程序functionh=entropy(p)clcfid=fopen('shuju.txt','r');%打开txt文件[ex,num]=fscanf(fid,'%c',inf)%读取二进制文件的数据，并将数据存入矩阵str1=lower(ex)%将字符串中的大写字母转换成小写字母sort_str1=sort(str1);%按照字符的ASCII值对字符串排序j=1;fori=1:length(sort_str1)-1%计算出字符串的种类ifstrcmp(sort_str1(i),sort_str1(i+1))~=1%比较两个字符串是否完全相等，相等是1，否则0j=j+1;str2(j)=sort_str1(i);endstr2(j+1)=sort_str1(i+1);endfori=1:length(str2)%length函数获取字符串长度str_num=strfind(sort_str1,str2(i));%strfind(S1,S2):寻找S2是否匹配S1，并返回S2的位置count1(i)=length(str_num);endstr2count=count1(3:end)p=count./sum(count)sum(-p.*log2(p))%计算信源熵河南理工大学课程设计报告书word.待读取的英文：ThePressureofGraduateStudentsNowIamapostgraduatestudent,Iwillgraduatenextyear,soIstarttofindjobsrecently,Ifeelsomuchpressure,thoughIhavegoodeducation,Istillgetrejectionfromthecompanies.Thepressureofgraduatestudentsaresoheavy,thecompetitionissofiercethatmanystudentscan’tgettheidealjobs.Theyshouldadjusttheirstrategies.Thepressureofgraduatestudentsissoheavy.Ontheonehand,theydon’thaveexperience,sotheydon’tknowhowtogetthejobinterviewandmissmanychances.Ontheotherhand,therearemoreandmorestudentshavehigheducation,somehavereceivedhighereducation,somehavestudiesabroadwhichmaketheirresumesstandout.Thoseaveragestudentsdon’thaveadvantagesovertheabovementionedones.Averagestudentsneedtomaketheirresumesspecially,sotheycanhavethechance.Theycandescribetheircharacteristictofitthejob,theemployerswillseethisandgiveyouthechance.Studentscanalsomaketheirinternshipexperiencestandout,becausetheemployerspayspecialattentiontoit.Thejobpressureisheavyforeverygraduatestudent,ifthestudentstakethewisestrategy,theycanhavemorechancestogetthejob.程序运行结果：总共出现的字符种类：,.abcdefghijklmnoprstuvwxy’每种字符对应出现的次数：[206161178103342161102065538516215864165580113362083204]每种字符出现的概率：[0.16720.01300.00890.06330.00810.02680.03410.13070.00810.01620.05280.04300.00650.00410.01300.01700.04710.05190.01300.04460.06490.09170.02920.01620.00650.00240.01620.0032]信源熵：Hx4.12502、香农编码程序functionc=shannon(p)%p=[0.250.250.200.150.100.05];%shannon(p);[p,index]=sort(p);p=fliplr(p);%从大到小n=length(p);pa=0;%累加概率fori=2:n河南理工大学课程设计报告书word.pa(i)=pa(i-1)+p(i-1);endk=ceil(-log2(p));%码长计算c=cell(1,n);%生成元胞数组，存码字，是cell，跟上一行不一样fori=1:nc{i}='';tmp=pa(i);forj=1:k(i)tmp=tmp*2;iftmp=1tmp=tmp-1;c{i}(j)='1';elsec{i}(j)='0';endendend%p%pa%交换回原来的顺序c=fliplr(c);c(index)=c;fprintf('信源信息熵:\n');H=sum(-p.*log2(p))%计算信源熵fprintf('平均码长:\n');K=sum(p.*k)%计算平均码长fprintf('编码效率:\n');w=H./K%计算编码效率fprintf('码字:\n');c程序运行结果：p=[0.250.250.200.150.100.05];shannon(p);信源信息熵:H=2.4232平均码长:K=2.7000编码效率:w=0.8975码字:c='01''00''100''101''1101''11110'河南理工大学课程设计报告书word.3、费诺编码程序主程序functionc=fano1(p)%p=[0.250.250.200.150.100.05]%c=fano1(p)n=size(p,2);ifn==1c=cell(1,1);c{1}='';returnend[p,index]=sort(