信息论实验报告

物理与电子电气工程学院1淮阴师范学院（信息论与编码实验报告）姓名：董宝坤学号：171313199专业：电子信息工程班级：1305指导老师：宋毅物理与电子电气工程学院2实验一、绘制二进制熵函数曲线一、实验目的1．掌握二进制符号熵的计算；2．掌握MATLAB的应用；3．掌握Matlab绘图函数；4．掌握、理解熵函数表达式及其性质二、实验条件计算机一台，MATLAB仿真软件。三、实验内容（1）MATLAB的应用（请参阅相关书籍）（2）打开MATLAB，在命令窗口中输入eidt，弹出编辑窗口，如图1：图1MATLAB的编辑窗口（3）输入源程序：clear;x=0.001:0.001:0.999y=-x.*log2(x)-(1-x).*log2(1-x);plot(x,y);gridon（4）保存文件为entropy.m；（5）单击Debug菜单下的Run，或直接按F5执行；物理与电子电气工程学院3（6）执行后的结果图2：四、实验结果及分析x=0.001:0.001:0.999y=-x.*log2(x)-(1-x).*log2(1-x);plot(x,y);title('ìغ¯ÊýH(p)');Xlabel('p');ylabel('H(p)');gridon分析：⑴.意义：信源熵为信源的平均不确定度性，而概率的大小决定了信息量的大小。由图上可知概率为1时，信息量最小，不确定性最低；概率等于时熵最大。⑵.可以看出，即p=1或者p=0，则该信源不提供任何信息；反之当二元信源符号0和1以等概率发生的时候，信源熵达到极大值，等于1bit信息量。⑶.步长为0.001x=0.001:0.01:0.999y=-x.*log2(x)-(1-x).*log2(1-x);plot(x,y);00.10.20.30.40.50.60.70.80.9100.10.20.30.40.50.60.70.80.91熵函数H(p)pH(p)物理与电子电气工程学院4title('ìغ¯ÊýH(p)');Xlabel('p');ylabel('H(p)');gridon分析：（1）熵函数是一个严格上凸函数（2）熵的极大值，二进符号的熵在p(x1)=p(x2)=0.5取得极大值（3）调调整p(x1)的取值步长，重画该曲线。当步长改变为0.01，步长变大的时候，可以看出是一段一段的连接的，当步长较大的时候，非常明显。如果开始点是0的时候，则从步长的长度开始计算。00.10.20.30.40.50.60.70.80.9100.10.20.30.40.50.60.70.80.91熵函数H(p)pH(p)物理与电子电气工程学院5实验二、一般信道容量计算一、实验目的1．熟悉工作环境及Matlab软件2．理解平均互信息量表达式及其性质3．理解信道容量的含义二、实验条件计算机一台，MATLAB仿真软件。三、实验原理1.平均互信息量(I(X;Y))是统计平均意义下的先验不确定性与后验不确定性之差，是互信息量的统计平均:,,(/)()(;)()(/)log()(/)()log()(;)ijjjjijjijiijijijipxypyIXypypxypxpxypxypxIXY;/;/IXYHXHXYIYXHYHYX2.离散信道的数学模型离散信道的数学模型一般如图1所示。图中输入和输出信号用随机矢量表示，输入信号为X=(X1,X2,…,XN)，输出信号为Y=(Y1,Y2,…,YN)；每个随机变量Xi和Yi又分别取值于符号集A={a1,a2,…,ar}和B={b1,b2,…,bs}，其中r不一定等于s；条件概率P(y|x)描述了输入信号和输出信号之间的统计依赖关系，反映了信道的统计特性。),...,,(21NXXXX)|(xyP),...,,(21NYYYY1)|(xyP图1离散信道模型二元对称信道这是很重要的一种特殊信道（简记为BSC），。它的输入符号X取值于{0,1}，YX信道物理与电子电气工程学院6输出符号Y取值于{0,1}，r=s=2，a1=b1=0，a2=b2=1，传递概率为ppPabP1)0|0()|(11,ppPabP1)1|1()|(22pPabP)1|0()|(21,pPabP)0|1()|(12其中，)0|1(P表示信道输入符号为0而接收到的符号为1的概率，)1|0(P表示信道输入符号为1而接受到的符号为0的概率，它们都是单个符号传输发生错误的概率，通常用p表示。而)0|0(P和)1|1(P是无错误传输的概率，通常用pp1表示。X1-pY01a10bpp12a21b二元对称信道用矩阵来表示，即得二元对称信道的传递矩阵为pppp111100依此类推，一般离散单符号信道的传递概率可用以下形式的矩阵来表示，即b1b2…bs)|()|()|()|()|()|()|()|()|(21222211121121rsrrssrabPabPabPabPabPabPabPabPabPaaa并满足式sjijabP11)|(（ri,,2,1）。为了表述简便，记ijijpabP)|(，信道的传递矩阵表示为物理与电子电气工程学院7rsrrsspppppppppP112222111211而且满足0jip是列的标号是行的标号ji平均互信息平均互信息表示接收到输出符号后平均每个符号获得的关于输入变量X的信息量，也表示输入与输出两个随机变量之间的统计约束程度。XYXyxPxyPxPxPYXI)|(1log)()(1log)();(XYXYyxPxyPxPxyP)|(1log)()(1log)(XYxPyxPxyP)()|(log)(XYyPxPxyPxyP)()()(log)(XYyPxyPxyP)()|(log)(其中X是输入随机变量，Y是输出随机变量。平均互信息是互信息（即接收到输出符号y后输入符号x获得的信息量）的统计平均值，所以永远不会取负值。最差情况是平均互信息为零，也就是在信道输出端接收到输出符号Y后不获得任何关于输入符号X的信息量。对于每一个确定信道，都有一个信源分布，使得信息传输率达到最大值，我们把这个最大值称为该信道的信道容量。()max{(;)}PxCIXY相应的输入概率分布称为最佳输入分布。四、实验内容1．绘制平均互信息量图形对于二元对称信道的输入概率空间为0,1(),1XPx平均互信息：物理与电子电气工程学院8根据：1()()(|)1rjijiiPbPaPba所以：21(0)()(0|)(0)(0|0)(1)(0|1)iiiPyPaPaPPPPpp21(1)()(0|)(0)(1|0)(1)(1|1)iiiPyPaPaPPPPpp1111(;)()()()log()log[loglog]()()()IXYHYHpppppppppppppHppHp请绘制当,p从0到1之间变化时的平均互信息熵曲线2.信道容量图形一个信道是一个二进制输入，二进制输出的信道，输入和输出字母表{0,1}XY，且该信道特性由发送1码和0码的两个错误转移概率(0|1)Pe和(0|1)0P来表征。绘出当0,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1e时的平均互信息(;)IXY和(1)pPX间的函数关系。确定每种情况下的信道容量。五、实验结果及分析clear;w=0.5;p=0.001:0.001:0.999;y=-(w.*(1-p)+(1-w).*p).*log(w.*(1-p)+(1-w).*p)-(w.*p+(1-w).*(1-p)).*l(;)()(/)IXYHYHYX1()()(/)log(/)XYHYPxPyxPyx11()()[loglog]XHYPxpppp11()[loglog]()()HYppHYHppp物理与电子电气工程学院9og(w.*p+(1-w).*(1-p))+p.*log(p)+(1-p).*log(1-p);plot(p,y);title('二进制信道的信道容量');Xlabel('p');ylabel('I(W;Y)');gridon当BSC信道，C=1-H（w），当w=0时，错误概率为0，无差错，信道容量达到最大，每符号1bit，输入端的信息全部传输至输出端；当w=1/2时，错误概率与正确概率相同，从输出端得不到关于输入端的任何信息，互信息为0，在信道接收端平均每个符号才获得最小的信息量，即信道容量为0；clear;p=0.1;w=0.001:0.001:0.999;y=-(w.*(1-p)+(1-w).*p).*log(w.*(1-p)+(1-w).*p)-(w.*p+(1-w).*(1-p)).*log(w.*p+(1-w).*(1-p))+p.*log(p)+(1-p).*log(1-p);plot(w,y);title('二进制信道的信道容量');Xlabel('w');ylabel('I(W;Y)');gridon00.10.20.30.40.50.60.70.80.9100.10.20.30.40.50.60.7二进制信道的信道容量pI(W;Y)物理与电子电气工程学院10clear;[w,p]=meshgrid(0.00001:0.001:1);y=-(w.*(1-p)+(1-w).*p).*log(w.*(1-p)+(1-w).*p)-(w.*p+(1-w).*(1-p)).*log(w.*p+(1-w).*(1-p))+p.*log(p)+(1-p).*log(1-p);meshz(w,p,y);title('二进制信道的信道容量');Xlabel('w');ylabel('p');zlabel('I(W;Y)');gridon当固定信道时，只有当输入变量是等概率分布，即p(x=0)=p(x=1)=在信道接收端平均每个符号才获得最大的信息量，即等于1.00.10.20.30.40.50.60.70.80.9100.050.10.150.20.250.30.350.4二进制信道的信道容量wI(W;Y)物理与电子电气工程学院11w=0.9998p=0:0.1:1IXY=-(w.*(1-p)+(1-w).*p).*log2(w.*(1-p)+(1-w).*p)-(w.*p+(1-w).*(1-p)).*log2(w.*p+(1-w).*(1-p))+(p.*log2(p)+(1-p).*log2(1-p))stem(p,IXY);gridontitle('ÐŵÀÈÝÁ¿')xlable('p')ylable('??????')在这个三维图上面可以看出是前面二个图形的综合。是w,p与I(X;Y)之间的关系，当p一定时，是w与I(X;Y)之间的关系，即I(w;y)是关于输入信源的概率分布的上凸函数。当w一定时，是p与与I(X;Y)之间的关系，是关于信道传递概率p的下凸函数。物理与电子电气工程学院12你能从实验图形中了解它的一些什么性质？实验总结：当w固定时，即信源固定后，I(p;y)是关于信道传递概率p的下凸函数。信道输出端获得关于信源的信息量是信道传递概率的下凸函数。也就是说，对于每一种信源都存在一种最差的信道，此信道的干扰最大，即输出端所获得的信息量最小。当p固定时，即固定某信道时，选择不同的信源与信道连接，在信道输出端收到每个符号后所获得的信息量是不同的。而且对于每一个固定信道，一定存在一种信源，使输出端获得的信息量最大。I(w;y)是关于输入信源的概率分布的上凸函数，即对于每一个确定信道，都有一个信源分布，使得信息传输率达到最大值，我们把这个最大值称为该信道的信道容量。相应的输入概率分布称为最佳输入分布。00.10