信息论与编码-曹雪虹-课后习题答案

《信息论与编码》-曹雪虹-课后习题答案第二章2.1一个马尔可夫信源有3个符号1,23,uuu，转移概率为：11|1/2puu，21|1/2puu，31|0puu，12|1/3puu，22|0puu，32|2/3puu，13|1/3puu，23|2/3puu，33|0puu，画出状态图并求出各符号稳态概率。解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p设状态u1，u2，u3稳定后的概率分别为W1，W2、W3由1231WP得1231132231231112331223231计算可得1231025925625u1u2u31/21/21/32/32/31/32.2由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p=0.8，(0|11)p=0.2，(1|00)p=0.2，(1|11)p=0.8，(0|01)p=0.5，(0|10)p=0.5，(1|01)p=0.5，(1|10)p=0.5。画出状态图，并计算各状态的稳态概率。解：(0|00)(00|00)0.8pp(0|01)(10|01)0.5pp(0|11)(10|11)0.2pp(0|10)(00|10)0.5pp(1|00)(01|00)0.2pp(1|01)(11|01)0.5pp(1|11)(11|11)0.8pp(1|10)(01|10)0.5pp于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p状态图为：000110110.80.20.50.50.50.50.20.8设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4有411iiWPWW得13113224324412340.80.50.20.50.50.20.50.81计算得到123451417175142.3同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1)“3和5同时出现”这事件的自信息；(2)“两个1同时出现”这事件的自信息；(3)两个点数的各种组合（无序）对的熵和平均信息量；(4)两个点数之和（即2,3,…,12构成的子集）的熵；(5)两个点数中至少有一个是1的自信息量。解：(1)bitxpxIxpiii170.4181log)(log)(18161616161)((2)bitxpxIxpiii170.5361log)(log)(3616161)((3)两个点数的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有21种组合：其中11，22，33，44，55，66的概率是3616161其他15个组合的概率是18161612symbolbitxpxpXHiii/337.4181log18115361log3616)(log)()((4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：symbolbitxpxpXHXPXiii/274.361log61365log365291log912121log1212181log1812361log3612)(log)()(36112181111211091936586173656915121418133612)((5)bitxpxIxpiii710.13611log)(log)(3611116161)(2-42.5居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X代表女孩子学历Xx1（是大学生）x2（不是大学生）P(X)0.250.75设随机变量Y代表女孩子身高Yy1（身高160cm）y2（身高160cm）P(Y)0.50.5已知：在女大学生中有75%是身高160厘米以上的即：bitxyp75.0)/(11求：身高160厘米以上的某女孩是大学生的信息量即：bitypxypxpyxpyxI415.15.075.025.0log)()/()(log)/(log)/(111111112.6掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？解：1）因圆点之和为3的概率1()(1,2)(2,1)18pxpp该消息自信息量()log()log184.170Ixpxbit2）因圆点之和为7的概率1()(1,6)(6,1)(2,5)(5,2)(3,4)(4,3)6pxpppppp该消息自信息量()log()log62.585Ixpxbit2.7设有一离散无记忆信源，其概率空间为123401233/81/41/41/8XxxxxP（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202120130213001203210110321010021032011223210}，求该序列的自信息量和平均每个符号携带的信息量解：122118()loglog1.415()3Ixbitpx同理可以求得233()2,()2,()3IxbitIxbitIxbit因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：123414()13()12()6()87.81IIxIxIxIxbit平均每个符号携带的信息量为87.811.9545bit/符号2.8试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0,1,2,3}八进制脉冲可以表示8个不同的消息，例如：{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同的消息，例如：{0,1}假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbolbitnXH/24loglog)(1八进制脉冲的平均信息量symbolbitnXH/38loglog)(2二进制脉冲的平均信息量symbolbitnXH/12loglog)(0所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。2-9“－”用三个脉冲“●”用一个脉冲(1)I(●)=Log4()2I(－)＝Log430.415(2)H=14Log4()34Log430.8112-10(2)P(黑/黑)=P(白/黑)=H(Y/黑)=(3)P(黑/白)=P(白/白)=H(Y/白)=(4)P(黑)=P(白)=H(Y)=2.11有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。（1）如果仅对颜色感兴趣，则计算平均不确定度（2）如果仅对颜色和数字感兴趣，则计算平均不确定度（3）如果颜色已知时，则计算条件熵解：令X表示指针指向某一数字，则X={1,2,……….,38}Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色}Y是X的函数，由题意可知()()ijipxypx（1）3112381838()()loglog2log1.24()3823818jjjHYpypybit/符号（2）2(,)()log385.25HXYHXbit/符号（3）(|)(,)()()()5.251.244.01HXYHXYHYHXHYbit/符号2.12两个实验X和Y，X={x1x2x3},Y={y1y2y3},l联合概率,ijijrxyr为1112132122233132337/241/2401/241/41/2401/247/24rrrrrrrrr（1）如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？（2）如果有人告诉你Y的实验结果，你得到的平均信息量是多少？（3）在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？解：联合概率(,)ijpxy为y1y2y322221(,)(,)log(,)724112log4log24log4247244ijijijHXYpxypxy=2.3bit/符号X概率分布21()3log31.583HYbit/符号(|)(,)()2.31.58HXYHXYHYY概率分布是=0.72bit/符号Yy1y2y3P8/248/248/242.13有两个二元随机变量X和Y，它们的联合概率为YXx1=0x2=1YXx17/241/240x21/241/41/24x301/247/24Xx1x2x3P8/248/248/24y1=01/83/8y2=13/81/8并定义另一随机变量Z=XY（一般乘积），试计算：(1)H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ)；(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)和H(Z/XY)；(3)I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X)和I(X;Z/Y)。解：(1)symbolbitypypYHyxpyxpypyxpyxpypsymbolbitxpxpXHyxpyxpxpyxpyxpxpjjjiii/1)(log)()(218183)()()(218381)()()(/1)(log)()(218183)()()(218381)()()(22212121112212221111Z=XY的概率分布如下：symbolbitzpZHzzZPZkk/544.081log8187log87)()(818710)(221symbolbitzxpzxpXZHzpzxpzxpzxpzpzxpzpzxpzxpzxpzpxpzxpzxpzxpzxpxpikkiki/406.181log8183log8321log21)(log)()(81)()()()()(835.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111symbolbitzypzypYZHzpzypzypzypzpzypzpzypzypzypzpypzypzypzypzypypjkkjkj/406.181log8183log8321log21)(log)()(81)()()()()(835.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111symbolbitzyxpzyxpXYZHyxpzyxpyxpzyxpzyxpzyxpyxpzyxpyxpzyxpzyxpzyxpzxpzyxpzxpzyxpzyxpyxpzyxpyxpzyxpzyxpzyxpzyxpzyxpijkkjikji/811.181log8183log