信息论与编码第二章答案

2-1、一阶马尔可夫链信源有3个符号123,,uuu，转移概率为：1112()upu，2112()upu，31()0upu，1213()upu，22()0upu，3223()upu，1313()upu，2323()upu，33()0upu。画出状态图并求出各符号稳态概率。解：由题可得状态概率矩阵为：1/21/20[(|)]1/302/31/32/30jipss状态转换图为：令各状态的稳态分布概率为1W，2W，3W，则：1W=121W+132W+133W，2W=121W+233W,3W=232W且：1W+2W+3W=1稳态分布概率为：1W=25，2W=925，3W=6252-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：P(0|00)=,P(0|11)=,P(1|00)=,P(1|11)=,P(0|01)=,p(0|10)=,p(1|01)=,p(1|10)=画出状态图，并计算各符号稳态概率。解：状态转移概率矩阵为：令各状态的稳态分布概率为1w、2w、3w、4w，利用（2-1-17）可得方程组。1111221331441132112222332442133113223333443244114224334444240.80.50.20.50.50.20.50.8wwpwpwpwp且12341；0.80.200000.50.5()0.50.500000.20.8jipss解方程组得：12345141717514即：5(00)141(01)71(10)75(11)14pppp2-3、同时掷两个正常的骰子，也就是各面呈现的概率都是16，求：（1）、“3和5同时出现”事件的自信息量；（2）、“两个1同时出现”事件的自信息量；（3）、两个点数的各种组合的熵或平均信息量；（4）、两个点数之和的熵；（5）、两个点数中至少有一个是1的自信息量。解：（1）3和5同时出现的概率为：1111p(x)=2661811I(x)=-lb4.1718bit（2）两个1同时出现的概率为：2111p(x)=663621I(x)=-lb5.1736bit（3）两个点数的各种组合（无序对）为：(1,1),(1,2),(1,3),(1,4),(1,5),(1,6)(2,2),(2,3),(2,4),(2,5),(2,6)(3,3),(3,4),(3,5),(3,6)(4,4),(4,5),(4,6)(5,5),(5,6)(6,6)其中，(1,1),(2,2),(3,3),(4,4),(5,5),(6,6)的概率为1/36，其余的概率均为1/18所以，1111()1564.33718183636HXlblbbit事件（4）两个点数之和概率分布为：46781023591112356531244213636363636363636363636xp信息为熵为：122()1()3.27iiiHpxbpxbit（5）两个点数之中至少有一个是1的概率为：311()36px311I(x)=-lb1.1736bit2-4.设在一只布袋中装有100个用手触摸感觉完全相同的木球，每个球上涂有一种颜色。100个球的颜色有下列三种情况：（1）红色球和白色球各50个；（2）红色球99个，白色球1个；（3）红、黄、蓝、白色球各25个。分别求出从布袋中随意取出一个球时，猜测其颜色所需要的信息量。解：（1）设取出的红色球为1x，白色球为2x；有11()2px，21()2px则有：1111()()2222HXlblb=1bit/事件(2)1()0.99px,2()0.01px;则有：()(0.990.990.010.01)HXlblb=（bit/事件）(3)设取出红、黄、蓝、白球各为1x、2x、3x、4x，有12341()()()()4pxpxpxpx则有：11()4()244HXlbbit/事件2-5、居住某地区的女孩中有25%是大学生，在女大学生中有75%身高为1.6M以上，而女孩中身高1.6M以上的占总数一半。假如得知“身高1.6M以上的某女孩是大学生”的消息，问获得多少信息量解：设女孩是大学生为事件A，女孩中身高以上为事件B，则p(A)=1/4,p(B)=1/2，p(B|A)=3/4，则P(A|B)=()()(|)()()pABpAPBApBPB=0.250.7530.58I（A|B）＝log（1/p(A/B)）=2-6.掷两颗，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少当小圆点数之和是7时，该消息所包含的信息量又是多少解：（1）小圆点数之和为3时有（1,2）和（2,1），而总的组合数为36，即概率为1(3)18px，则1(3)(3)4.1718Ixlbpxlbbit（2）小园点数之和为7的情况有（1,6），（6,1）（2,5）（5,2）（3,4）（4,3），则概率为1(7)6px，则有1(7)2.5856Ixlbbit2-7、设有一离散无记忆信源，其概率空间为1234013338141418XxxxxP（1）、求每个符号的自信息量；（2）、信源发出一消息符号序列为202120130213001203210110321010021032011223210，求该消息序列的自信息量及平均每个符号携带的信息量。解：（1）1x的自信息量为：13I(x)=-lb1.4158bit2x的自信息量为：21I(x)=-lb24bit3x的自信息量为：31I(x)=-lb24bit4x的自信息量为：41I(x)=-lb38bit（2）在该消息符号序列中，1x出现14次，2x出现13次，3x出现12，4x出现6次，所以，该消息序列的自信息量为：I（ix）=14I（1x）+13I（2x）+12I（3x）+6I（4x）19.8126241887.81bitbitbitbitbit平均每个符号携带的信息量为：287.81/451.95I比特/符号11223344()()log()()log()()log()()log()HXpxpxpxpxpxpxpxpx31111.41522384481.906bit2-8．试问四进制、八进制脉冲所含的信息量是二进制脉冲的多少倍解;设二进制、四进制、八进制脉冲的信息量为21()12IXlbbit41()24IXlbbit81()38IXlbbit所以，四进制、八进制脉冲信息量分别是二进制脉冲信息量的2倍、3倍。2-10在一个袋中放5个黑球、10个白球，以摸一个球为实验，摸出的球不再放进去。求：（1）一次实验中包含的不确定度；（2）第一次实验X摸出是黑球，第二次实验Y给出的不确定度；（3）第一次实验X摸出是白球，第二次实验Y给出的不确定度；（4）第二次实验包含的不确定度。解：（1）一次实验的结果可能摸到的是黑球1x或白球2x，它们的概率分别是11()3px，22()3px。所以一次实验的不确定度为121122()(,)(loglog)0.5280.3900.918333333HXHbit(2)当第一次实验摸出是黑球，则第二次实验Y的结果可能是摸到黑球1x或白球2x，它们的概率分别是112()7pyx、215()7pyx。所以该事件的不确定度为1112255()()log()(loglog)7777iiiHYxpyxpyx0.5160.3470.863bit/符号(3)当第一次实验摸出是白球，则第二次实验Y的结果可能是摸到黑球1y或白球2y，它们的概率分别是125()14pyx、229()14pyx。所以该事件的不确定度为2225599()()log()(loglog)14141414iiiHYxpyxpyx0.5300.4100.940bit/符号（4）211220(|)()(|)=()()()()=0.91bit/iiiHYXpxHYxpxHYxpxHYx符号二次实验B出现结果的概率分布是p(x,y)=p(黑，黑)=221，p(x,y)=p(黑，白)=521，p(x,y)=p(白，黑)=521，p(x,y)=p(白，白)=921所以二次实验的不确定度为H(B)=221log221521log521521log521921log921=符号2-11有一个可旋转的圆盘，盘面上被均匀地分成38份，用1，2，、、、，38数字标示，其中有2份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。（1）若仅对颜色感兴趣，则计算平均不确定度；（2）若对颜色和数字都感兴趣，则计算平均不确定度；（3）如果颜色已知时，则计算条件熵。解：令X表示指针指向某一数字，则X={1,2,……….,38}Y表示指针指向某一种颜色，则Y={绿色，红色，黑色}Y是X的函数，由题意可知()()ijipxypx（1）仅对颜色感兴趣，则H(c)=—322log322—23218log3218=+=(2)对颜色和数字都感兴趣，则H(n,c)=H(n)=38(-381)log381=-3010.05798.1=(3)如果颜色已知时，则H（n|c）=H(n,c)-H(h)=、两个实验X和Y，123{,,}Xxxx，123{,,}Yyyy，联合概率(,)ijijrxyr为1112132122233132337/241/2401/241/41/2401/247/24rrrrrrrrr（1）如果有人告诉你X和Y的结果，你得到的平均信息量是多少（2）如果有人告诉你Y的结果，你得到的平均信息量是多少（3）在已知Y的实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少解：（1）、3311(,)(,)log(,)ijijijHXYpxypxy7711112log4loglog24242424442.3bit/符号（2）、1231()()()3pypypy3111111()()log()(,,)3log1.58bit/33333iiiHYpypyH符号（3）、(|)(,)()2.31.580.72bit/HXYHXYHY符号()(,)log()ijijijHXYpxypxy(,)(,)log()71171124244(2log4loglog)111242443330.1120.50.1040.716ijijijjpxypxypybit2-13有两个二元随机变量X和Y，它们的联合概率如右图所示。并定义另一随机变量Z=XY（一般乘积）。试计算：（1）()HX，()HY，()HZ，(,)HXZ，(,)HYZ，(,,)HXYZ（2）H(XY)，H(Y)X，()HXZ，()HZX，()HYZ，()HZY，(,)HXYZ，(,)HYXZ，(,)HZXY（3）(;)IXY，(;)IXZ，(;)IYZ，(;)IXYZ，(;)IYZX，(;)IXZY解：（1）1）3182111121p(x)=p(xy)+p(xy)=81182221223p(x)=p(xy)+p(xy)=8()()log()1/iiiHXpxpxbitsymbol3182111211p(y)=p(xy)+p(xy)=81182212223p(y)=p(xy)+p(xy)=8()()log()1/jjjHYpypybitsymbol120171()88zzZPZ