《信息论与编码理论》课后习题答案完整版-姜楠等编著

目录第1章绪论........................................................2第2章信息的统计度量....................................2第3章离散信源................................................7第4章离散信道..............................................17第5章连续信源和连续信道...........................26第6章无失真信源编码..................................26第7章限失真信源编码..................................32第8章信道编码..............................................35第1章绪论1.1信源、编码器、信道、干扰、译码器、信宿1.2香农1.3通信系统模型1.4信号是消息的表现形式，是物理的，比如电信号、光信号等。消息是信息的载荷者，是信号的具体内容，不是物理的，但是又比较具体，例如语言、文字、符号、图片等。信息包含在消息中，是通信系统中被传送的对象，消息被人的大脑所理解就形成了信息。1.5略第2章信息的统计度量2.1少2.2y的出现有助于肯定x的出现、y的出现有助于否定x的出现、x和y相互独立2.3FTTTF2.42.12比特2.5依题意，题中的过程可分为两步，一是取出一枚硬币恰好是重量不同的那一枚，设其发生的概率为1p，由于每枚硬币被取出的概率是相同的，所以1181p所需要的信息量1log6.34IApbit二是确定它比其他硬币是重还是轻，设其发生的概率为2p，则212p总的概率12111812162ppp所需要的信息量loglog1627.34Ipbit2.6设A表示“大学生”这一事件，B表示“身高1.60m以上”这一事件，则0.250.5|0.75pApBpBA故|0.750.25|0.3750.5pABpApBApABpBpB11|loglog1.42|0.375IABbitpAB2.7四进制波形所含的信息量为log42bit，八进制波形所含信息量为log83bit，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。2.82322log3log32log31.585IpbitIpbitII故以3为底的信息单位是比特的1.585倍。2.9（1）J、Z（2）E（3）X2.10（1）两粒骰子向上面的小圆点数之和为3时有(1,2)和(2,1)两种可能性，总的组合数为116636CC，则圆点数之和为3出现的概率为3213618p故包含的信息量为313loglog4.1718Ipbit（2）小圆点数之和为7的情况有(1,6),(6,1),(2,5),(5,2),(3,4),(4,3)，则圆点数之和为7出现的概率为761366p故包含的信息量为717loglog2.5856Ipbit2.11对于男性，是红绿色盲的概率记作17%pa，不是红绿色盲的概率记作293%pa，这两种情况各含的信息量为11100log1log3.837Iapabit22100log1log0.10593Iapabit平均每个回答中含有的信息量为1122793log1log13.830.1050.366100100HApapapapabit对于女性，是红绿色盲的概率记作10.5%pb，不是红绿色盲的概率记作299.5%pb，则平均每个回答中含有的信息量为1122log1log1510009951000loglog1000510009950.045HBpbpbpbpbbit所以HAHB2.12天平有3种状态，即平衡，左重，左轻，所以每称一次消除的不确定性为log3，12个球中的不等重球（可较轻，也可较重）的不确定性为：11loglog24122，因为3log3log24,所以3次测量可以找出该球。2.13（1）当最后3场比赛麦克胜的次数比大卫多时，麦克最终才能胜，因此3322101734312288888864PPPPPPP胜麦克胜场大卫胜少于场+麦克胜场大卫胜少于场麦克胜场大卫胜场同理22222220164646464PP负，平麦克最终比赛结果的熵为222220222222222020,,logloglog6464646464646464642220log642log22log206464442064.45944.3219646463.06591.35061.5835H比特结果因为胜、负、平这3种结果接近等概，所以该随机变量的熵接近最大熵。（2）假定大卫最后3场比赛全部获胜，那么麦克也必须全部获胜最后3场比赛最终才能得平，否则就是负。麦克3场比赛全部获胜的可能性是321/8，因此在假定大卫最后3场比赛全部获胜的情况下麦克的最终比赛结果的条件熵是173log70.543688H比特结果2.14（1）假定一个家庭里有k个女孩，1个男孩，相应的概率是0.50.5k，因此女孩的平均数是10.50.51kkk，女孩的平均数和男孩的平均数相等。（2）10.5log0.52iiiHX2.15（1）根据题意，可以得到：1pEpFpU①1.00.50.00.95pEpFpU②由式②可以得到：1.92pFpE③将式③代入式②得到：0.9pEpU④由于,,pEpFpU的取值必须在0到1之间，由式③和式④可以得到pE的取值范围在0.9到0.95之间。(2)就业情况的熵为111logloglog111log1.92log0.9log1.920.9HpEpFpUpEpFpUpEpEpEpEpEpE它在pE的取值范围内的曲线如图所示。0.50.450.40.350.30.250.00.010.020.030.040.05（3）当0.9081pE时，0.4823H达到最大值，这时0.0838pF，0.0081pU。2.16假设X表示当地的实际天气情况，Y表示气象台预报的天气情况，Z表示总是预报不下雨的天气情况。0.696HX比特符号,;log13110131108161616loglogloglog355133111113816161616161616161616160.0906xypxyIXYpxypxpy比特符号;IXYHX，可见气象台预报的确实不好。但是如果总是预报不下雨的话则会更糟，因为X和Z是相互独立的两个随机变量，即;0IXZ，所以;;,||IXYIXZHXZHXY因此气象台的预报准确率虽然比总是预报不下雨低，但还是传递了一些信息，消除了一些不确定性。2.17由互信息量的定义|;logijijipxyIxypx因为|ijpxy1，则有|1;loglogijijiiipxyIxyIxpxpx同理，因为|jipyx1，则有|1;loglogjijijjjpyxIyxIypypy2.18（1）根据熵的极值性，当随机变量等概分布时，随机变量的熵最大。有7个可能取值的随机变量的最大熵为log7，随机变量X不是等概分布，所以log7HX。（2）根据熵的递增性，222222121,,,,log51010101010102102HXHHH。（3）2211log3log4log101010106log10log23.3220.6102.722xHXpxpx比特符号2244log3loglog1010101064log10log2log410103.3220.60.81.922yHYpypy比特符号（4）因为随机变量Y是X的函数，所以0HXY比特符号0.8HXYHXYHYHXHYXHY比特符号2.19假定1p为最大的概率。根据熵函数的性质，如果112p，则熵小于2；如果112p，则只有一种可能：11111,,,,28888。如果11142p，则有无数个解，其中之一为0.375,0.25,0.25,0.97859,0.027141；如果114p，则没有解。2.202559363621197272211972722.2132loglog3abe第3章离散信源3.1p(x2)3.253.313.423.5（1）87.81bit（2）1.95bit3.6Hmax(X)=13.7（1）消息符合的平均熵1133loglog0.814444HXbit（2）自信息量为4log4100log200100log33IXmmm（3）（2）中的熵为121log3100100mHXIX3.8因为边沿分布31iijjpapaa条件分布概率|jiijipaapaapa如下：|jipaaia012ja09/111/8012/113/42/9201/87/9所以信息熵：31log1.542iiiHXpapabit条件熵：332111log|0.87ijjiijHXXpaapaabit符号联合熵：331211,log2.41ijijijHXXpaapaabit二个符号或12121,|1.5420.872.412HXXHXHXXbit二个符号可知21|HXXHX解释：（1）信源的条件熵21|HXX比信源熵HX少0.672bit符号。这是由符号之间的相互依存性造成的。（2）联合熵12,HXX表示平均每两个信源符号所携带的信息量。平均每一个信源符号所携带的信息量近似为2121,1.2052HXHXXbit符号因此2HXHX原因：略去了12XX和23XX之间的依赖性。3.9由定义，信源的熵61log0.2log0.20.19log0.190.18log0.180.17log0.170.16log0.160.17log0.17log6.282.64log6iiiHXpapa信源的概率分布要求满足1ipa，而此题中1.071ipa。即各种可能发生的情况下，概率之和大于“1”。在实际情况下这是不可能发生的。3.10由题意可知，联合概率分布为XY10101/40101/421/41/4XY20101/4011/40201/2Y的分布为Y101p(y1)1/21/2Y201p(y2)1/21/2所以