(完整版)信息论与编码习题参考答案

©H.F.1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率（bit/s）。解：bit/s104.98310661.130)/)(()/(Rbit/frame10661.1322.3105)(H105)(Hbit/pels322.310log)(log)()(H7665051010framebitXHsframerxXapapxiii所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性：由于亮度电平等概出现1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大2.5倍左右。证:.5.2,,5.25.2477.210log300log)(H)(Hpels/bit300log)(log)()(Hbit3001030,10,,300130011倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加xxbpbpxiii1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？解:个汉字最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量55665510322.6/10322.61.0log101.2)()()()(,logH(c):1.0100001000symble/bit101.2128log103)(103)(:framecHXHncnHXHnppxHXH1.9给定一个概率分布),...,,(21nppp和一个整数m，nm0。定义miimpq11，证明：)log(),,...,,(),...,,(2121mnqqpppHpppHmmmn。并说明等式何时成立？证：nmiiimiiinpppppppHxxxxfxexxxfxxexxxfxxxxf1121loglog),...,,()0(log)(0log)log()(0log)log()()0(log)(又为凸函数。即又为凸函数，如下：先证明时等式成立。当且仅当时等式成立。当且仅当即可得：的算术平均值的函数，函数的平均值小于变量由凸函数的性质，变量nmmmmmnmmmiiimmmmmmiiinmiiimiiinnmmmmmnmiiimmnmiinmiinmiinmiinmiiipppmnqqpppHpppHqqppqpppHmnqqqpppppppppHpppmnqqqppmnqqmnpmnpmnmnpfmnmnpfmnpp...)log(),,...,,(),...,,(loglog),,...,,()log(loglogloglog),...,,(...)log(loglogloglog)()()()()(log21212112111121211111112.13把n个二进制对称信道串接起来，每个二进制对称信道的错误传输概率为p(0p1)，试证明：整个串接信道的错误传输概率pn=0.5[1-(1-2p)n]。再证明：n→∞时，limI(X0;Xn)=0。信道串接如下图所示：©H.F.解：01log)()()(log)()()(log)();(lim)10)(()(21)1(21)10()0()00()0()0(:)10(1)1(,)0(:21])21(1[21limlim121])21(1[21])21(1[21])21(1[21])21(1[21])21(1[21])21(1[2111])21(1[21])21(1[21])21(1[21])21(1[21][,])21(1[212222221221221111][:2:212102121002121000000000000111111122222222ijjiijjijjiijjijjinnnnnnnnkkkkkkkkkkkXXpXpXXpXXpXpXXpXXpXXIxxxpxxpXpXXpXpXXpXpXpXaaXpaXpXpPppPpPppppppppppppPknppppppppppppppppppppPn或取、则输出信源其中设输入信源空间故则时公式成立假设时由当用数学归纳法证明2.18试求下列各信道矩阵代表的信道的信道容量：(1)0010100000010100][432114321aaaaPbbbb(2)100100010010001001][bbb6543212321aaaaaaP(3)3.01.02.04.000000000007.03.000000000004.03.02.01.0][bbbbbbbbbb321310987654321aaaP解：bit/symble585.13loglog:(3)bit/symble585.13loglog(2)symble/bit24loglog)1(rCsCrC信道为扩张性无噪信道信道为归并性无噪信道系的无噪信道信道为一一对应确定关2.19设二进制对称信道的信道矩阵为：4/34/14/14/310][10PX0X1XnX2…BSCIIBSCNBSCI©H.F.(1)若p(0)=2/3，p(1)=1/3，求H(X)，H(X/Y)，H(Y/X)和I(X;Y)；(2)求该信道的信道容量及其达到的输入概率分布。解：bit/symble8113.0)43log433141log413241log413143log4332()(log)()()(log)()(bit/symble9799.0)125log125127log127()(log)()(12543314132)1()()1(12741314332)0()()0(bit/symble9183.0)31log3132log32()(log)()()1(2121212121212121ijijijiijijjijjjiiiyiiiyiiixypxypxpxypyxpXYHypypYHxypxppxypxppxpxpXH.时达到信道容量21)1()0(即,信源输入为等概分布/1887.01log25.0)25.0(2log)1log()(log本信道为强对称信道7497.01686.09183.0);()()(1686.08113.09799.0)()();(CXpXpHrHrCYXIXHYXHXYHYHYXIsymblebit(2)bit/symblebit/symble-2.21设某信道的信道矩阵为3/13/16/16/16/16/13/13/1][bbbb214321aaP试求：(1)该信道的信道容量C；(2)I(a1;Y)；(3)I(a2;Y)。解:bymble/bit0817.0);();()3()2(symble/bit0817.0)61,61,31,31(4log),,,(log1214321CYaIYaIHppppHsC、道）本信道为对称离散信（2.27设某信道的信道矩阵为NpppP00000][21其中P1,P2，…，PN是N个离散信道的信道矩阵。令C1，C2，…，CN表示N个离散信道的容量。试证明，该信道的容量NiciC12log比特/符号，且当每个信道i的利用率pi＝2Ci-C(i＝1,2,…,N)时达其容量C。证明::)1(,]P[),](2log[)1(),2,1()/(log)/()/(),2,1(:11111可以改写为方程组特点由其中可得解出由方程组列行为设NmmNmmsjjsjijijsjjijmmmlrksCriabpabpabpNmklPj©H.F.]2log[),,2,1(222:]2log[])2(log[]2log[22),,,2,1](2log[)2(),2,1()/(log)/()/()/(log)/()/()/(log)/()/(1)()2log(1)(11111111111221221111111121NmCCCCkjCmNmCNmkjsjCkjkjmsjijpnijpnkjjpnijpnsjijpijpkjjpijpsjijpijpkjjpijpmmmkjjpmmjpmmmjpmjmmjpmmjpmNCNmpCNmCriabpabpabpabpabpabpabpabpabp时取得信道容量且在各信道利用率为即其中第三章多符号离散信源与信道3.1设X＝X1X2…XN是平稳离散有记忆信源，试证明：H(X1X2…XN)=H(X1)+H(X2/X1)+H(X3/X1X2)+…+H(XN/X1X2…XN-1)。(证明详见p161-p162)3.8某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X：{0,1,2}，并定义pp1(1)试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)；(2)求信源的极限熵H∞；(3)p取何值时H∞取得最大值。解：)bit/symbl2loglog()2log2312log231log31(3)/(log)/()()2(31)(31)(31)()3,2,1(0)(1)()()()()()(2/2/2/2/2/2/)()()()3,2,1)(()3,2,1,(0)1(012/2/2/2/2/2/210][210)1(3132132132132100ppppppppppSSpSSpSpHSpSpSpiSpSpSpSpSpSpSppppppppppSpSpSpiSpjinpnpppppppppPijijijiiTiij＝由存在极限概率信源具有各态经历性，，既有时二步转移概率均大于移概率为：由题意，此信源一步转012p/2p/2p/2p/2p/2p/2ppp©H.F.symble/bit585.13log323122122)2log22log2log()2loglog((3)maxHHpppppppppppp