信息论实验指导书

1信息论与编码实验指导书任课教师：刘亚荣桂林理工大学电计系2Matlab基础：1、变量不需指定类型，拿来就用；变量区分大小写2、向量定义：x=[1/2,1/4,1/4](行向量);y=(0:360)*pi/180;向量的转置x’（列向量）3、.*./.^运算，逐个元素进行运算。例x1=[1/2,1/4,1/4],x2=[2,4,4]，则x1*x2没定义；x1*x2’有定义（=3）；x1.*x2有定义（逐元素相乘=[1,1,1]）4、变量值显示：如果一行的后面没有分号，则显示出该行的变量结果。如a=3显示出a=3。5、画图命令plot(x,y);x（向量）是一系列坐标，y（向量）是一系列值。6、求和：sum(),求积分：求微分：符号微分diff(f)——求f对自由变量的一阶微分diff(f,v)——求f对符号变量v的一阶微分diff(f,v,n)——求f对符号变量v求n阶微分符号积分int(f,v)——求表达式f的对符号变量v的不定积分int(f,v,a,b)——求表达式f的对符号变量v的在(a,b)范围内定积分7M函数文件的基本结构函数文件由function语句引导，其基本结构为：function输出形参表=函数名(输入形参表)注释说明部分函数体语句说明：(1)关于函数文件名:函数文件名与函数名也可以不相同。当两者不同时，MATLAB将忽略函数名而确认函数文件名，因此调用时使用函数文件名。(2)关于注释说明部分。注释说明包括三部分内容：①紧随函数文件引导行之后以%开头的第一注释行。②第一注释行及之后连续的注释行。③与在线帮助文本相隔一空行的注释行。(3)关于return语句。执行到该语句就结束函数的执行，程序流程转至调用该函数的位置。通常，在函数文件中也可不使用return语句，这时在被调函数执行完成后自动返回。8显示图形1、%plot函数绘制结果t=0:pi/100:2*pi;%定义数据点y=sin(t);plot(t,y)%显示图形gridon%显示网格xlabel('t');%显示x轴的变量ylabel('sin(t)');%显示y轴的变量32、%plot函数中x-y副的使用t=0:pi/100:2*pi;y=sin(t);plot(t,y)gridony2=sin(t-0.25);y3=sin(t-0.5);plot(t,y,t,y2,t,y3)实验一：计算离散信源的熵一、实验设备:1、计算机2、软件：Matlab二、实验目的:1、熟悉离散信源的特点；2、学习仿真离散信源的方法3、学习离散信源平均信息量的计算方法4、熟悉Matlab编程；三、实验内容:1、写出计算自信息量的Matlab程序2、写出计算离散信源平均信息量的Matlab程序。3、掌握二元离散信源的最大信息量与概率的关系。4、将程序在计算机上仿真实现，验证程序的正确性并完成习题。四、实验报告要求简要总结离散信源的特点及离散信源平均信息量的计算,写出习题的MATLAB实现语句。信息论基础：自信息的计算公式21()logaIapMatlab实现：I=log2(1/p)或I=-log2(p)熵（平均自信息）的计算公式22111()loglogqqiiiiiiHxppppMatlab实现：HX=sum(-x.*log2(x))；或者h=h-x(i)*log2(x(i));习题：1.甲地天气预报构成的信源空间为：41111(),,,8482Xpx小雨云大雨晴乙地信源空间为：17(),88Ypy小雨晴求此两个信源的熵。求各种天气的自信息量。案：()1.75;()0.5436HXHY2、某信息源的符号集由A、B、C、D、E组成，设每一符号独立出现，其出现的概率分别为，1/4，1/8，1/8，3/16，5/16，试求该信源符号的平均信息量。（答案：H(X)=2.2272bit/符号）3、设有四个消息分别以概率1/4，1/8，1/8，1/2传送，每一消息的出现是相互独立的。试计算其平均信息量。（答案：H(X)=1.75bit/符号）4.设一个二元信源（只有0和1两种符号）其概率空间为：(),1Xpxpp01编程画出H与p的关系，并说明当P呈什么分布时，平均信息量达到最大值。（说明：H=-p.*log2(p)-(1-p).log2(1-p);）实验二：验证熵的可加性与强可加性1.【例2.6】有一离散无记忆信源123111(),,244aaaXpx验证二次扩展信源2X的熵等于离散信源X的熵的2倍，即2()2()HXHX答案：2()1.5;()3.0HXHX2.验证两个统计独立的信源,XY，验证：5()()()HXYHXHY其中：123111(),,244aaaXpx123111(),,333bbbYpy()1.5,()1.585()3.085HXHYHXY3、条件熵的计算与熵的强可加性验证离散二维平稳信源，满足：12121()()(|)HXXHXHXX某一离散二维平稳信源0121141(),,3694Xpx12XX其联合概率分布12()pXX为：XjX2012012编程计算：1)联合熵12()HXX2)条件熵21(|)HXX3)验证：12121()()(|)HXXHXHXX答案：12112121()1.5426;(|)0.8717()2.4144()(|)2.4144HXHXXHXXHXHXX%联合熵的计算HXY=0;1411801181311811873606fori=1:size(b,1)forj=1:size(b,2)ifb(i,j)0HXY=HXY-b(i,j).*log2(b(i,j));endendendHXY实验三：离散信道的平均互信息的计算1.【习题3.1】设信源12()0.6,0.4Xxxpx通过一干扰信道，接收到符号为12[,]Yyy，其信道矩阵为：516631,44P1)求信源X中事件1x和2x分别含有的自信息；2)收到消息(1,2)jyj后，获得的关于(1,2)ixi的信息量；3)求信源X和输出变量Y的信息熵；4)信道疑义度(|)HXY和噪声熵(|)HYX；5)接收到消息Y后获得的平均互信息；答案：12111221221.()0.737()1.32192.(;)0.0589,(;)0.263,(;)0.0931,(;)0.32193.()0.971,()0.72194.(|)0.9635(|)0.71455.(;)0.0074IxIxIxyIxyIxyIxyHXHYHXYHYXIXY2.二元信道的互信息与信源分布的关系有二元信源：701()1Xpx有二元信道，其传递矩阵为：11ppPpp，其中0.2p，即传递矩阵0.80.20.20.8P编程实现下面题目：1)画出平均互信息(;)IXY随信源分布的关系曲线，并求出最大平均互信息。验证：信道容量C（最大平均互信息）满足：1()CHp2）验证：信道容量C（最大平均互信息）满足：1()CHp实验四：离散信道及其信道容量一、实验设备:1、计算机2、软件：Matlab二、实验目的:1、了解信道传输概率的状态图和信道转移概率矩阵特点；2、了解什么是信道容量和最佳输入概率分布；3、列出计算信道容量和平均互信息的计算步骤；4、熟悉Matlab编程；三、实验内容:1、写出几种特殊离散信道的信道容量计算的Matlab程序。2、将程序在计算机上仿真实现，验证程序的正确性。3、完成习题四、实验报告要求简要总结离散信道的特点及信道容量的计算，并写出具体仿真步骤。习题：计算下面几类信道的信道容量C：1无损信道1/21/20000003/53/101/100000001PlogCr答案：c=1.5852无噪有损信道8101001PlogCs答案：c=13对称离散信道【例3.6】1111336611116633P1log()sCsHpp答案：c=0.08174一般信道，其信道矩阵为：111244121636113884P求1）其信道容量C，2）最佳输入分布()ipa答案：4.0.3109,()(0.1702,0.3955,0.4343)Cpabeta=-1.9732-1.1610-0.8927pb=0.20530.36050.4342pa=0.17020.39550.4343解：一般信道信道容量计算步骤：（1）jijsjijjsjijabpabpabp求);|(log)|()|(119（2）jsjc12log（3）)(2)(jcjbpbpj求（4）)()|()()(1iriijijapabpapbp求实验五：连续信源的差熵与波形信道的信道容量一、实验设备:1、计算机2、软件：Matlab二、实验目的:1、熟悉连续信源的特点；2、学习仿真连续信源的方法3、学习连续信源平均信息量的计算方法4、熟悉Matlab编程；三、实验内容:1、写出计算连续信源平均信息量的Matlab程序。2、将程序在计算机上仿真实现，验证程序的正确性。3、完成习题并写出具体实现步骤。四、实验报告要求简要总结连续信源的特点及连续信源平均信息量的计算。知识点：Matlab符号运算1、定义符号：symsx定义表达式里面的变量2、定义函数：p=1/sqrt(2*pi*u^2)*exp(-(x-m)^2/(2*u^2));3、积分：int(f,x,-inf,inf);——求表达式f的对符号变量x的在负无穷到正无穷范围内定积分int(f,v,a,b)——求表达式f的对符号变量v的在(a,b)范围内定积分例题：求symsxf=(x^2+1)/(x^2-2*x+2)^2;I=int(f)4、符号运算中的运算符（1）基本运算符符号矩阵：“+”，“-”，“*”，“\”，“/”，“^”“’”,)22(1222dxxxxI10符号数组：“.*”，“./”，“.\”，“.^”分别实现符号数组的乘、除、求幂，即数组间元素与元素的运算。没有log2和log10，其余与数值运算相同（2）关系运算符运算符“==”，“~=”。5、连续信源的差熵与波形信道的信道容量：Rdxxpxpxh)(log)()()1log(NSBc练习：一、计算下面几类信源的差熵：1均匀分布连续信源1()()(,)0axbpxbaxbxa其中8,4basymsx,a=4;b=8;p=1/(b-a);f=p*(log(p)/log(2));hx=-int(f,x,a,b);hx=double(hx);hx2高斯信源2221()()exp()22xmpx其中23,4m3指数分布信源【习题4.2】()(0;0)xpxex其中1/44拉普拉斯概率分布信源【习题4.2】11||1()(;0)2xpxex其中1/4解答：均匀分布信源的差熵为：log()2hba高斯分布信源的差熵为：21log(2)3.04712he指数分布信源的差熵为：log()3.4427eh拉普拉斯分布信源的差熵为：2log()4.4427eh二、波形信道的信道容量实验目的：掌握香农公式，即信息传输率、带宽、信噪比的关系log(1)snPCWP【习题4.18】设在平均功率受限高斯加性波形信道中，信道带宽为3kHz,又设(信号功率+噪声功率)/噪声功率=10dB。（即10lg(1)10snPdBP，其中lg是以10为底的对数）。1)试计算该信道