信息论课堂习题及答案

2.3一副充分洗乱了的牌（含52张牌），试问(1)任一特定排列所给出的信息量是多少？(2)若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？解：(1)52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：!521)(ixpbitxpxIii581.225!52log)(log)((2)52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：bitCxpxICxpiii208.134log)(log)(4)(1352131352132.5从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？解：男士：symbolbitxpxpXHbitxpxIxpbitxpxIxpiiiNNNYYY/366.0)93.0log93.007.0log07.0()(log)()(105.093.0log)(log)(%93)(837.307.0log)(log)(%7)(2女士：symbolbitxpxpXHiii/045.0)995.0log995.0005.0log005.0()(log)()(23.2设二元对称信道的传递矩阵为32313132(1)若P(0)=3/4,P(1)=1/4，求H(X),H(X/Y),H(Y/X)和I(X;Y)；(2)求该信道的信道容量及其达到信道容量时的输入概率分布；解：1)symbolbitYXHXHYXIsymbolbitXYHYHXHYXHXYHYHYXHXHYXIsymbolbitypYHxypxpxypxpyxpyxpypxypxpxypxpyxpyxpypsymbolbitxypxypxpXYHsymbolbitxpXHjjijijijiii/062.0749.0811.0)/()();(/749.0918.0980.0811.0)/()()()/()/()()/()();(/980.0)4167.0log4167.05833.0log5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/918.010log)32lg324131lg314131lg314332lg3243()/(log)/()()/(/811.0)41log4143log43()()(2222212122212212111121112222)21)(/082.010log)32lg3231lg31(2loglog);(max222imixpsymbolbitHmYXIC3.1设信源4.06.0)(21xxXPX通过一干扰信道，接收符号为Y={y1,y2}，信道转移矩阵为43416165，求：(1)信源X中事件x1和事件x2分别包含的自信息量；(2)收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量；(3)信源X和信宿Y的信息熵；(4)信道疑义度H(X/Y)和噪声熵H(Y/X)；(5)接收到信息Y后获得的平均互信息量。解：1)bitxpxIbitxpxI322.14.0log)(log)(737.06.0log)(log)(222221212)bitypxypyxIbitypxypyxIbitypxypyxIbitypxypyxIxypxpxypxpypxypxpxypxpyp907.04.04/3log)()/(log);(263.16.04/1log)()/(log);(263.14.06/1log)()/(log);(474.06.06/5log)()/(log);(4.0434.0616.0)/()()/()()(6.0414.0656.0)/()()/()()(2222222212121222122212111211222121221211113)symbolbitypypYHsymbolbitxpxpXHjjjiii/971.010log)4.0log4.06.0log6.0()(log)()(/971.010log)4.0log4.06.0log6.0()(log)()(224)symbolbitYHXYHXHYXHYXHYHXYHXHsymbolbitxypxypxpXYHijijiji/715.0971.0715.0971.0)()/()()/()/()()/()(/715.010log)43log434.041log414.061log616.065log656.0()/(log)/()()/(25)symbolbitYXHXHYXI/256.0715.0971.0)/()();(3.3设有一批电阻，按阻值分70%是2KΩ，30%是5KΩ；按瓦分64%是0.125W，其余是0.25W。现已知2KΩ阻值的电阻中80%是0.125W，问通过测量阻值可以得到的关于瓦数的平均信息量是多少？解：对本题建立数学模型如下：);(求：2.0)/(,8.0)/(36.064.04/18/1)(瓦数3.07.052)(阻值12112121YXIxypxypyyYPYxxXPX以下是求解过程：symbolbitXYHYHXHYXIsymbolbityxpyxpXYHsymbolbitypYHsymbolbitxpXHyxpypyxpyxpyxpypyxpypyxpyxpyxpypxypxpyxpxypxpyxpijjijijjii/186.0638.1943.0881.0)()()();(/638.122.0log22.008.0log08.014.0log14.056.0log56.0)(log)()(/943.036.0log36.064.0log64.0)()(/881.03.0log3.07.0log7.0)()(22.014.036.0)()()()()()(08.056.064.0)()()()()()(14.02.07.0)/()()(56.08.07.0)/()()(222222222122222212111121211112121111113.19在图片传输中，每帧约有2.25106个像素，为了能很好地重现图像，能分16个亮度电平，并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽（信噪功率比为30dB）。解：sbittICbitNHIsymbolbitnHt/101.5601091010941025.2/416loglog566622z15049)10001(log105.11log1log25HPPCWPPWCNXtNXt1.同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1)“3和5同时出现”这事件的自信息；(2)“两个1同时出现”这事件的自信息；(3)两个点数的各种组合（无序）对的熵和平均信息量；(4)两个点数之和（即2,3,…,12构成的子集）的熵；(5)两个点数中至少有一个是1的自信息量。解：1465(1)bitxpxIxpiii170.4181log)(log)(18161616161)((2)bitxpxIxpiii170.5361log)(log)(3616161)((3)两个点数的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有21种组合：其中11，22，33，44，55，66的概率是3616161其他15个组合的概率是18161612symbolbitxpxpXHiii/337.4181log18115361log3616)(log)()((4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：symbolbitxpxpXHXPXiii/274.361log61365log365291log912121log1212181log1812361log3612)(log)()(36112181111211091936586173656915121418133612)((5)bitxpxIxpiii710.13611log)(log)(3611116161)(2.对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：忙晴雨冷12暖8暖16冷27闲晴雨冷8暖15暖12冷5若把这些频度看作概率测度，求：(1)忙闲的无条件熵；(2)天气状态和气温状态已知时忙闲的条件熵；(3)从天气状态和气温状态获得的关于忙闲的信息。解：(1)根据忙闲的频率，得到忙闲的概率分布如下：symbolbitxpxpXHxxXPXiii/964.010340log1034010363log10363)(log)()(1034010363闲忙)(221(2)设忙闲为随机变量X，天气状态为随机变量Y，气温状态为随机变量ZsymbolbitYZHXYZHYZXHsymbolbitzypzypYZHsymbolbitzyxpzyxpXYZHjkkjkjijkkjikji/859.0977.1836.2)()()/(/977.110328log1032810332log1033210323log1032310320log10320)(log)()(/836.210312log103121035log103510315log103151038log103810316log1031610327log103271038log103810312log10312)(log)()((3)symbolbitYZXHXHYZXI/159.0859.0964.0)/()();(