信息论自学报告

《信息论与编码》课程自学报告题目：信息率失真函数自学报告学号：12122224姓名：王斌任课教师：钱振兴联系方式：13817100562二零一四年十二月二十日一、信息率失真函数的定义和性质本章首先要了解什么是失真函数。假如某一信源X，输出样值为ix，ix{1a,…na}，经过有失真的信源编码器，输出Y，样值为jy,jy{1b,…mb}。如果jiyx，则认为没有失真；如果jiyx，那么就产生了失真。失真的大小，用一个量来表示，即失真函数d(ix,jy)，以衡量用jy代替ix所引起的失真程度。一般失真函数定义为最常用的失真函数:均方失真：绝对失真：相对失真：误码失真：前三种失真函数适用于连续信源，后一种适用于离散信源。由于d(ix,jy)只能表示两个特定符号ix,jy之间的失真，为了能在平均的意义上表示信道每传递一个符号所引起的失真的大小，我们定义：平均失真度（它是失真函数d(ix,jy)的数学期望）保真度准则：规定其平均失真度不能超过某一限定值D：。对于离散无记忆信道的N次扩展信道，它的平均失真度：。且根据保真准则：。接下来我们来讨论信息率失真函数的定义。平均失真由信源分布p(ix)、假想信道的转移概率p(jy/ix)和失真函数d(ix,jy)决定，若p(ix)和d(ix,jy)已定，则可给出满足x下式条件的所有转移概率分布ijp，它们构成了一个信道集合DPjijijiyxααyx),yd(x002),(jijiyxyxdjijiyxyxd),(ijijixyxyxd/),(其它，1,0),(),(jijijiyxyxyxdnimjjiijinimjjijibadabpapbadbapD1111),()/()(),()(DDDDNDNDNkK1)(NDND)(称为D允许试验信道。互信息取决于信源分布和信道转移概率分布，当P(ix)一定时，互信息I是关于p(jy/ix)的U型凸函数，存在极小值。在上述允许信道DP中，可以寻找一种信道ijp，使给定的信源p(ix)经过此信道传输后，互信息I(X；Y)达到最小。该最小的互信息就称为信息率失真函数R(D)，即，反映了信源可压缩的程度。信息率失真函数的性质可以总结为以下几点：1.R(D)是非负的实数，即0R(D)。2.定义域为0～maxD，其值为0～H(X)。3.当DmaxD时，0R(D)。4.R(D)是关于D的下凸函数，因而也是关于D的连续函数。5.R(D)是关于D的严格递减函数。二、离散信源信息率失真函数的参量表达式我们通过引入拉格朗日乘数S和i(i=1,2,…,n)并计算能够得到以S为参量的平均失真函数D(S)和R(S)，即),(11),()()()(jibaSdijijnimjiebadbpapSD可以证明S就是R(D)函数的斜率：SdDdR；斜率S必然负值；S是D的递增函数，D从0变到maxD，S将逐渐增加；当D=0时(R(D)的斜率)，S的最小值趋于负无穷；当D=maxD时，S达到最大；这个最大值也是某一个负值，最大是0；当DmaxD时，在D=maxD处，除某些特例外，S将从某一个负值跳到0，S在此点不连续。在D的定义域[0,maxD]内，除某些特例外，S将是D的连续函数。三、二元及等概率离散信源的信息率失真函数我们先讨论二元离散信源的率失真函数。设二元信源mjniDDabpPijD,,2,1;,,2,1:)/();(min)(YXIDRDP1()()()lnniiiRSSDSpa可以得到所以，令，则可得：ppS1ln1max。。当上述二元信源是等概率分布时，上面式子分别化为：四、保真度准则下的信源编码定理设一离散平稳无记忆信源的输出随机序列为X=(LXXX21)，若该信源的信息率失真函数为R(D)，并选定有限的失真函数。对于任意允许平均失真度D和任意小的变量满足：，当信息率RR(D)时，只要信源序列长度L足够长，一定存在一种编码方式C，使编码后的平均失真度:。反之，若RR(D)，则无论用什么编码方式，必有：，即译码平均失真度必大于允许失真度。以上是我对第四章自学的整理，下面是信源编码或信道编码典型案例的实现方案。第二部分信源编码或信道编码典型案例的实现方案1,01,0,000211211)(212121yyYxxXDppppxxxpXi输出符号集输入符号集失真矩阵为，所以，其中pDDDjj2maxminSSyxSdeeeyxdypxpSD1),()()()(),(1111111)1ln()1ln()1(ln1ln)1(ln1)(21SSSSSeppppeeSppeeSSRpDmax)()(1ln)1ln()1(ln1lnln)(DHpHDppppDDDDDR)(21)(212121)()1(22111)1(221121min1211212maxypypDDypDDDDDDDj0,0,0DDCD)(DCD)(基于matlab的香农编码的实现：我们从课本上了解香农编码是信源编码的一种方式。香农第一定理指出了平均码长与信源之间的关系，同时也指出了可以通过编码使平均码长达到极限值，这是一个很重要的极限定理。香农第一定理指出，选择每个码字的长度iK满足下式：ixIKxIiii,1)()(。香农编码法冗余度稍大，实用性不大，但有重要的理论意义。编码步骤如下：1、将信源消息符号按其出现的概率大小依次排列；2、令)(0ap=0，用)1)((ijapja表示第i个码字的累加概率：njapapjiija,,2,1,)()(103、确定满足下列不等式整数码长ik：)(log1)(log22iiiapkap4、将)(jaap用二进制表示，并取小数点后ik位作为符号ia的编码。程序：clc;clear;A=[0.4,0.3,0.1,0.09,0.07,0.04];A=fliplr(sort(A));%降序排列[m,n]=size(A);fori=1:nB(i,1)=A(i);%生成B的第1列end%生成B第2列的元素：a=sum(B(:,1))/2;fork=1:n-1ifabs(sum(B(1:k,1))-a)=abs(sum(B(1:k+1,1))-a)break;endendfori=1:n%生成B第2列的元素ifi=kB(i,2)=0;elseB(i,2)=1;endend%生成第一次编码的结果END=B(:,2)';END=sym(END);%生成第3列及以后几列的各元素j=3;while(j~=0)p=1;while(p=n)x=B(p,j-1);forq=p:nifx==-1break;elseifB(q,j-1)==xy=1;continue;elsey=0;break;endendendify==1q=q+1;endifq==p|q-p==1B(p,j)=-1;elseifq-p==2B(p,j)=0;END(p)=[char(END(p)),'0'];B(q-1,j)=1;END(q-1)=[char(END(q-1)),'1'];elsea=sum(B(p:q-1,1))/2;fork=p:q-2ifabs(sum(B(p:k,1))-a)=abs(sum(B(p:k+1,1))-a);break;endendfori=p:q-1ifi=kB(i,j)=0;END(i)=[char(END(i)),'0'];elseB(i,j)=1;END(i)=[char(END(i)),'1'];endendendendp=q;endC=B(:,j);D=find(C==-1);[e,f]=size(D);ife==nj=0;elsej=j+1;endendBAENDfori=1:n[u,v]=size(char(END(i)));L(i)=v;endavlen=sum(L.*A)运行结果：B=参考文献：赵静，张瑾，高新科．基于Matlab的通信系统仿真［J］．北京：北京航空航天大学出版社，2007