信息论基础各章参考答案

各章参考答案2．1．（1）4.17比特；（2）5.17比特；（3）1.17比特；（4）3.17比特2．2．1.42比特2．3．（1）225.6比特；（2）13.2比特2．4．（1）24.07比特；（2）31.02比特2．5．（1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无砝码天平的一次称重实验结果所得到的信息量为log3,k次称重所得的信息量为klog3。从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。因为3log3=log27log24。所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的熵。其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡②左倾③右倾。ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。（2）第三次称重类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时,第三步用一个真币与其中一个称重比较即可。对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴别所需信息量为log10log9=2log3,所以剩下的2次称重不能获得所需的信息.2．6．（1）215log＝15比特；（2）1比特；（3）15个问题2．7.证明：（略）2．8．证明：（略）2．9．31)(11bap，121)(21bap，121)(31bap，61)()(1312babapp，241)()()()(33233222babababapppp。2．10．证明：（略）2．11.证明：（略）2．12.证明：（略）2.13.（１）1)()(YHXH，544.0)(ZH，406.1)(XZH，406.1)(YZH，812.1)(XYZH（２）810.0)/()/(XYHYXH，862.0)/(ZXH，405.0)/()/(YZHXZH，862.0)/(ZYH，405.0)/()/(XZYHYZXH，0)/(XYZH（３）188.0);(YXI，138.0);(ZXI，138.0);(ZYI，457.0)/;(ZYXI，406.0)/;()/;(YZXIXZYI（单位均为比特／符号）2．14.（１）41)110()101()011()000(ppppXYZXYZXYZXYZ，（２）21)111()000(ppXYZXYZ，（３）41)111()110()001()000(ppppXYZXYZXYZXYZ2．15．（１）5.1)(XH，1)(YH，1)(ZH，2)(YZH；（２）5.0);(YXI；1);(YXI；（３）5.0)/;(ZYXI，5.1);(YZXI（单位均为比特／符号）2．16．（１）43，（２）09.0);(YXI比特／符号，（３）1613，0);(YXI；（４）第（３）种情况天气预报准确率高，原来的天气预报有意义。2．17.（１）提示：方差为０，表明随机变量是常数，设log);(YXI；（２）log);(YXI；1表明yx,独立；（３）对于（ａ）有：21)(1ap，21)()(32aapp，2log);(YXI；对于（ｂ）有：31)()()(321aaappp，23log);(YXI。2．18.证明：（略）2．19.证明：（略）2．20．证明：（略）3.1证明：（略）3.2（１）０.811比特/符号，（２）41.48＋1.58m比特（m为０的个数）（３）81.1比特／信源符号3.3证明：（略）3.4证明：（略）3.5（１）)(1)1(]log)1log()1[(1)1()(pHppppppHppSnnn（２）ppHSH1)()(3.6证明：（略）3.7（１）858383852P，1691671671693P（２）2222111121nnnnnP,221121nnnp3.8)]41,41,21(4316)41,41,21(4312)31,31,31(4315)[1()4316,4312,4315(HHHnH3.9（1）]11,1[，]31,31,61,61[，1,,2,1,0,1rirqi（2）)(11)(1HH，2log31，qqiriilog103.10（1）967.3)(321XXXH比特/符号，322.1)(3XH比特/符号（2）251.1)(XH比特/符号（3）585.10H比特/符号，414.11H比特/符号，251.12H比特/符号211.0r3.11（1）]31,31,31[，（2）)(2log)(pHpXH，（3）当32p时，)(XH达到最大值为3log，当0p时，熵为0，当1p时，熵为2log；（4）3log3.12（1）)72,73,72(),,(321，73)(1ap,72)()(32aapp；（2）5.1)/(1SUH比特/符号，1)/(2SUH比特/符号，0)/(3SUH；（3）76)(UH比特/信源符号3.13（1）有；（2）)(np]0,31,31,31,0[]21,0,0,0,21[122knkn（3）3log2502log2513.1444.1)(XH比特/符号3.1581log3.16（1）周期：3；（2）]14429,14419,61,365,361,91,91,91[；（3）0．9477比特/符号3.17证明：（略）3.18过渡状态：C；遍历状态：A,B4.1（1）811.0)(XH比特/符号，75.0)/(YXH比特/符号，919.0)/(XYH比特/符号，061.0);(YXI比特/符号；（2）082.0C比特/符号，21)1()0(pp。4.20.0817比特/符号4.3（1）])1(1log[)1(C；)1()1(0)1(11p，)1()1(1)1(1p（2）)1(22201；（3）)1log(2)1()1(22][HC（4）))1(1(101nn，)1log(2)1()1(][nnHC4.4（1）0488.0C比特/符号；（2）16111658583；（3）0.0032比特/符号，496.00p，504.01p4.5（1）)(2logH；（2）2log43；（3）)43,41,4)1(3()41,83,83(HH时，输入等概率。4.6)1log(2)(1HC，)21()(110Hp，)1(22)(1)(21HHpp4.7][22log),(),(2ffC比特/符号，其中1)()1()(),(HHf4.8证明：可求得n各级联信道转移概率矩阵为：)21()21()21()21(111121ppppPnnnnn，容量)2(1)21(1pnHC，当n时，0)21(1HC4.9（１）证明：（略）（２）)(logZHKC，输入等概率．4.10（1）准对称信道：)log()()1log()1(212log)21(ppppC（2）准对称：)log()()1log()1(211log)21(2logppppC5.1（1）18l；（2）0.001675.2（1）188410N；（2）22162221433899.0NG5.3否；是；18335613CCCN5.4设长度为j的码序列个数为Nj，则NNNjjj122，解得：2)1(3231jjjN，,2,1j;5.5(1)469.0)(SH比特/符号，531.0r（2）1l，（3）645.022L，533.033L，493.044L，469.0L；（4）531.0,469.0:1N，273.0,727.0:2N，120.0,880.0:3N，049.0,951.0:4N，0,1:N5.685.1l，9542.0，51.1R比特/符号5.7100%5.8（1）7853.0)(SH比特/符号；（2）72.2l，959.0；（3）81.1l，915.0；（4）10402.2N5.924种最优码，8种Huffman码。5.10（1）2log23，2log，0；（2）S1：0:1a，10:2a，11:31a；S2：0:2a，1:3a；S3：不编码（3）76)(XlH5.11（1）20485471024273P；（2）00100010001C5．12（略）5．132，3，3，1，3，4，5，10，11，6，105．14（略）5．1532768956.11.6Kbps6.2（1）200bps;（2）198.56bps6.3（1）0)0(yG,1)1(yG,p1或0)1(yG，p1，pPE2，p1或ppPE21，p1；（2）0)0(yG，1)1(yG，pPE2；（3）当p1时，两准则同6.4abG11)(，abG12)(，abG33)(，2411PE6.5（1）0.5比特/符号（2对每个传送消息，译码后结果是唯一的，所以译码差错率为06.6（1）25logC；（2）用1个符号传送2个消息，消息M1编码为1，消息M2编码为3；（3）5个消息Mi，5,4,3,2,1i编为：11:1M，22:2M，33:3M，44:4M，55:5M，25.0PE（4）采用编码：12:1M，24:2M，31:3M，43:4M，55:5M各接收序列不相交，唯一，此时可译，所以译码差错为0。6.7（1）3mind；（2）52R；（3）100101000011100011000011100100或11100（4）最多能纠1个错6.8译码原则01010000，01100001，10010010，10100100，00001000，00110011，11001100，11100111，11111011，111111016.9（1）0.26比特；（2）第2枚；（3）2011Pe；（4）167PE6.10（1）p11；（2）已给定2,0,1mMpCR，采用如下编码方式：将信息编成长为m的二元序列，每个二元符号最多发送K次，若其中有一个符号连续接收错误，则判定码字传输错误。设，i为消息序号，则)1()1(log211)(ppPKKMmiE，根据或令)1(log21pKM来选择K。通过可得平均传输每个二元符号需要的传送符号数为ppK11，所以信道编码的平均码为MpnpKlog211，所以222)1(1)1(nRpnpnpKM。满足设计要求。6.11（1）0)0(G，1)1(G，)2(G,1