第二章信息量和熵习题解09-08-11

第二章-信息量和熵习题解2.1莫尔斯电报系统中，若采用点长为0.2s，1划长为0.4s，且点和划出现的概率分别为2/3和1/3，试求它的信息速率(bits/s)。解:平均每个符号长为:1544.0312.032秒每个符号的熵为9183.03log3123log32比特/符号所以，信息速率为444.34159183.0比特/秒2.2一个8元编码系统，其码长为3，每个码字的第一个符号都相同(用于同步)，若每秒产生1000个码字，试求其信息速率(bits／s)。解:同步信号均相同不含信息,其余认为等概,每个码字的信息量为3*2=6比特；所以，信息速率为600010006比特/秒2.3掷一对无偏的骰子，若告诉你得到的总的点数为：(a)7；(b)12。试问各得到了多少信息量?解:(a)一对骰子总点数为7的概率是366所以，得到的信息量为585.2)366(log2比特(b)一对骰子总点数为12的概率是361所以，得到的信息量为17.5361log2比特2.4经过充分洗牌后的一付扑克(含52张牌)，试问：(a)任何一种特定排列所给出的信息量是多少?(b)若从中抽取13张牌，所给出的点数都不相同时得到多少信息量?解:(a)任一特定排列的概率为!521,所以，给出的信息量为58.225!521log2比特(b)从中任取13张牌,所给出的点数都不相同的概率为13131313525213!44AC所以，得到的信息量为21.134log1313522C比特.2.5设有一个非均匀骰子，若其任一面出现的概率与该面上的点数成正比，试求各点出现时所给出的信息量，并求掷一次平均得到的信息量。解:易证每次出现i点的概率为21i,所以比特比特比特比特比特比特比特398.221log21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21log)(2612iiXHxIxIxIxIxIxIiiixIi2.6园丁植树一行，若有3棵白杨、4棵白桦和5棵梧桐。设这12棵树可随机地排列，且每一种排列都是等可能的。若告诉你没有两棵梧桐树相邻时，你得到了多少关于树的排列的信息?解:可能有的排列总数为27720!5!4!3!12没有两棵梧桐树相邻的排列数可如下图求得，YXYXYXYXYXYXYXY图中X表示白杨或白桦，它有37种排法，Y表示梧桐树可以栽种的位置，它有58种排法，所以共有58*37=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log27720log22=3.822比特2.7某校入学考试中有1/4考生被录取，3/4考生未被录取。被录取的考生中有50%来自本市，而落榜考生中有10％来自本市，所有本市的考生都学过英语，而外地落榜考生中以及被录取的外地考生中都有40%学过英语。(a)当己知考生来自本市时，给出多少关于考生是否被录取的信息?(b)当已知考生学过英语时，给出多少有关考生是否被录取的信息?(c)以x表示是否落榜，y表示是否为本市学生，z表示是否学过英语，x、y和z取值为0或1。试求H(X)，H(Y|X)，H(Z|YZ)。解:X=0表示未录取，X=1表示录取；Y=0表示本市，Y=1表示外地；Z=0表示学过英语，Z=1表示未学过英语，由此得31(0),(1),44(0)(0)(00)(1)(01)31111,41042514(1)1,55(0)(0)(00)(1)[phone],55100251312(1)1,2525pxpxpypxpyxpxpyxpypzpypzypypzypz22221313()(00)(00)(0)/(0)/104581115(10)(01)(1)/(0)/2458(00)(10)(;0)(00)log(10)log(0)(1)353588loglog3188440.4512apxypyxpxpypxypyxpxpypxypxyIXypxypxypxpx比特()(00)((00,0)(00)(01,0)(10))(0)/(0)19431369()/101010425104(10)((00,1)(01)(01,1)(11))(1)/(0)11211335()/225425104(;bpxzpzyxpyxpzyxpyxpxpzpxzpzyxpyxpzyxpyxpxpzIX22222222(00)(10)0)(00)log(10)log(0)(1)69356935104104loglog31104104440.02698341()()loglog40.8113434()(0)(00)log(00)(0)(10)log(1pxzpxzzpxzpxzpxpxcHXHYXpxpyxpyxpxpyxpyx比特比特2222220)(1)(01)log(01)(1)(11)log(11)3139101111log10loglog2log2410410942420.6017pxpyxpyxpxpyxpyx比特2.8在A、B两组人中进行民意测验，组A中的人有50%讲真话(T)，30%讲假话(F)，20%拒绝回答(R)。而组B中有30%讲真话，50%讲假话和20%拒绝回答。设选A组进行测验的概率为p，若以I(p)表示给定T、F或R条件下得到的有关消息来自组A或组B的平均信息量，试求I(p)的最大值。解:令RFTYBAX,,,,，则比特得令同理03645.0)()(5.0,02.03.0)2.05.0(log2.0)()2.05.0(log)2.05.0()2.03.0(log)2.03.0(5.0log5.03.0log3.0)5log)1(2.02log)1(5.0log)1(3.05log2.0log3.02log5.0(2.0log2.0)2.05.0(log)2.05.0()2.03.0(log)2.03.0()()();()(2.0)(,2.05.0)(2.03.0)1(3.05.0)()()()()(5.0max2'2222223102231022222ppIpIppppIppppppppppppppXYHYHYXIpIRPpFPpppBPBTPAPATPTP2.9随机掷三颗骰子，以X表示第一颗骰子抛掷的结果，以Y表示第一和第二颗骰子抛掷的点数之和，以Z表示三颗骰子的点数之和。试求H(Z|Y)、H(X|Y)、H(Z|XY)，H(XZ|Y)和H(Z|X)。解:令X=X1,Y=X1+X2,Z=X1+X2+X3,H(X1)=H(X2)=H(X3)=6log2比特H(X)=H(X1)=6log2=2.585比特H(Y)=H(X2+X3)=6log61)536log365436log364336log363236log36236log361(2222222=3.2744比特H(Z)=H(X1+X2+X3))27216log2162725216log2162521216log2162115216log2161510216log216106216log21663216log2163216log2161(222222222=3.5993比特所以H(Z/Y)=H(X3)=2.585比特H(Z/X)=H(X2+X3)=3.2744比特H(X/Y)=H(X)-H(Y)+H(Y/X)=2.585-3.2744+2.585=1.8955比特H(Z/XY)=H(Z/Y)=2.585比特H(XZ/Y)=H(X/Y)+H(Z/XY)=1.8955+2.585=4.4805比特2.12计算习题2.9中的I(Y；Z)，I(X；Z)，I(XY；Z)，I(Y；Z|X)和I(X；Z|Y)。解:I(Y;Z)=H(Z)-H(Z/Y)=H(Z)-H(X3)=3.5993-2.585=1.0143比特I(X;Z)=H(Z)-H(Z/X)=3.5993-3.2744=0.3249比特I(XY;Z)=H(Z)-H(Z/XY)=H(Z)-H(Z/Y)=1.0143比特I(Y;Z/X)=H(Z/X)-H(Z/XY)=H(X2+X3)-H(X3)=3.2744-2.585=0.6894比特I(X;Z/Y)=H(Z/Y)-H(Z/XY)=H(Z/Y)-H(Z/Y)=02.10设有一个系统传送10个数字：0,1,…,9。奇数在传送时以0.5的概率错成另外的奇数，而其它数字总能正确接收。试求收到一个数字平均得到的信息量。解:设系统输出10个数字X等概,接收数字为Y,显然101)(101)()()(9190ijpijpiQjwii，H(Y)=log10比特奇奇奇奇偶18log81101452log211015)(log)()()(log)()(0)(log),()(log),()/(22,2222xypxypxpxxpxxpxpxypyxpxypyxpXYHxyxiyxyx所以I(X;Y)=3219.2110log2比特2.11令{ul,u2,…,u8}为一等概消息集，各消息相应被编成下述二元码字:ul=0000，u2=0011，u3=0101，u4=0110u5=1001，u6=1010，u7=1100，u8=1111通过转移概率为p的BSC传送。试求(a)接收的第一个数字0与ul之间的互信息量。(b)接收的前二个数字00与ul之间的互信息量。(c)接收的前三个数字000与ul之间的互信息量。(d)接收的前四个数字0000与ul之间的互信息量。解:（a）接收前一个数字为0的概率2180)0()()0(iiiupuqwbitsppwupuI)1(log11log)0()0(log)0;(2212121（b）同理4180)00()()00(iiiupuqwbitsppwupuI)1(log22)1(log)00()00(log)00;(24122121（c）同理8180)000()()000(iiiupuqwbitsppwupuI)1(log33)1(log)000()000(log)000;(28132121（d）同理))1(6)1(()0000()()0000(42268180ppppupuqwiiibitsppppppppppwupuI42264242268142121)1(6)1()1(8log))1(6)1(()1(log)0000()0000(log)0000;(2.13令X、Y、Z是概率空间，试证明下述关系式成立。(a)H(YZ|X)≤H(Y|X)＋H(Z|X)，给出等号成立的条件。(b)H(YZ|X)=H(Y|X)＋H(Z|XY)。(c)H(Z|XY)≤H(Z|X)，给出等号成立的条件。解:(b))/()/()/(1log)()/(1log)()/()/(1log)()/(1log)()/(XYZHXYHxyzpxyzpxypxyzpxyzpxypxyzpxyzpxyzpXYZHxyzxyzxyzxyz(c))/()/(1log)/()()/(1log)/()()/(XZHxzpxyzpxypxyzpxyzpxypXYZHxyzxyz