信息论与编码zjh201209习题讲解(第二章)zjh剖析

2020/4/1712-103/23/13/203/102/12/1P得：W1=2/5；W2=9/25；W3=6/25解：1/2W1+1/3W2+1/3W3=W11/2W1+2/3W3=W22/3W2=W3W1+W2+W3=12020/4/172143214443432421414434333232131342432322212124143132121111由符号集{0,1}组成的二阶马尔可夫链，其转移概率为P(0/00)=0.8，P(0/11)=0.2，P(1/00)=0.2，P(1/11)=0.8，P(0/01)=0.5，P(0/10)=0.5，P(1/01)=0.5，P(1/10)=0.5。画出状态图，并计算各状态的稳态概率。解：由二阶马氏链的符号转移概率可得二阶马氏链的状态转移概率为：P(00/00)=0.8P(10/11)=0.2P(01/00)=0.2P(11/11)=0.8P(10/01)=0.5P(00/10)=0.5P(11/01)=0.5P(01/10)=0.58.02.0005.05.05.05.000002.08.0P41411ijijijjWPWW各状态稳定概率计算：即14541WW14232WW145142得：即：P(00)=P(11)=P(01)=P(10)=2020/4/1732-3解：(1)P（3,5）=1/36+1/36=1/18I（3,5）=log18=4.17bit(2)P（1,1）=1/6*1/6=1/36I（1,1）=log36=5.17bit(3)H（X）=1/36*6*log36+2/36*15*log18=4.337bit(4)H（X）=2*(1/36*log36+2/36*log18+3/36log12+4/36log9+5/36log36/5)+6/36log6=3.274bit(5)I(1,X)=log36/11=1.7105bit2020/4/1742-4设在一只布袋中装有100只对人手感觉全相同的木球，每只球上涂有一种颜色。100只球的颜色有下列3中情况：（1）红色球和白色球各50置；（2）红色球99只，白色球1只；（3）红、黄、蓝、白色各25只。求从布袋中随意去除一只球时，猜测其颜色所需要的信息量。2020/4/175分析取出一个球，其颜色可能是红色、白色、蓝色或黄色。都有可能，但各种颜色的不确定度不同，即出现概率不同。要求猜测其颜色信息所需要的信息量也就是要求取出一个球所包含的平均信息量（信源熵）。根据H（X）的定义，就可求出。2020/4/176解答根据定义H（X）=-得：随意取出一球时，所需要的信息量为（1）P（红）=P（白）=1/2H（X）==1比特)(log)p(iiixpx21log2121log21222020/4/177（2）P（白）=1/100P（红）=99/100所以H（X）==0.08比特10099log100991001log100122（3）P（红）=P（白）=P（蓝）=P（黄）=1/4所以H（X）=4x（）=2比特41log4122020/4/178解：设事件v为女孩是大学生，事件u为身高1.6米以上的女孩，由题意可知：P(v)=0.25,P(u/v)=0.75,P(u)=0.5因为：P(v/u)=P(u,v)/P(u)=P(v)P(u/v)/P(u)=(1/4*3/4)/(1/2)=3/8所以：I(v/u)=log(8/3)=1.42bit2-52020/4/1792-62211111(3)(1)(2)(2)(1)666618(3)log(3)log18()PPPPPIp比特226(7)(1)(6)(2)(5)(3)(4)(4)(3)(5)(2)(6)(1)36(7)log(7)log6()PPPPPPPPPPPPPIp比特掷两粒骰子，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量又是多少？解：2020/4/17102-7解：(1)每个符号携带的自信息量：I(0)=－log3/8=1.42bit,I(1)=－log1/4=2bitI(2)=－log1/4=2bit,I(3)=－log1.8=3bit(2)消息序列的自信息量：I=14I(0)+13I(1)+12I(2)+6I(3)=87.8bit平均每个符号携带的信息量为I/n=87.8/45=1.95比特/符号设有一离散无记忆信源,其概率空间为81,41,41,833,2,1,04321xxxxPX该信源发出的消息符号序列为(202120130213001203210110321010021032011223210),求此消息的自信息量是多少及平均每个符号携带的信息量?2020/4/17112-8解：I(2)=log2=1I(4)=log4=2I(8)=log8=32020/4/17122-9解：(1)I(点)=log(4/3)=0.42I(划)=log4=2(2)平均信息量：H(X)=1/4log4+3/4log(4/3)=0.812020/4/17132-10解：不确定度即为H(X)(1)H(X)=1/3log3+2/3log(3/2)=0.39+0.53=0.92bit(2)H(Y/x1)=－P(y1/x1)logP(y1/x1)－P(y2/x1)logP(y2/x1)=4/14log(14/4)+10/14log14/10=0.346+0.516=0.86bit(3)H(Y/x2)=5/14log(14/5)+9/14log(14/9)=0.41+0.53=0.94bit(4)H(Y/X)=1/3*0.86+2/3*0.94=0.92bit设：x1：第一次摸黑球，y1第二次摸黑球x2：第一次摸白球，y2第二次摸白球2020/4/17142-11解：(1)H(colour)=2/38log19+2*(18/38)log(38/18)=0.22+1.02=1.24bit(2)H(colour,number)=H(number)=log38=5.25bit(3)H(number|colour)=H(c,n)-H(c)=5.25-1.24=4.01bit2020/4/17152-12解：(1)H(X,Y)=14/24log(24/7)+4/24log24+1/4log4=2.3bit(2)H(Y)=8/24log3+8/24log3+8/24log3=1.58bit(3)H(X/Y)=H(X,Y)-H(Y)=0.722020/4/17162-13解：(1)H(X)=1;H(Y)=1;H(Z)=7/8*log(8/7)+1/8*log8=0.54H(YZ)=H(XZ)=H(X)+H(Z/X)=1+1/8*log4+3/8*log(4/3)=1.41H(XYZ)=H(XZ)+H(Y/XZ)=1.41+0.4=1.812020/4/1717(2)H(X/Y)=H(Y/X)=H(XY)-H(X)=1.81-1=0.81说明：H(XY)=2*[3/8log(8/3)+1/8log8]=1.81H(Z/Y)=H(Z/X)=H(XZ)-H(X)=0.41H(X/Z)=H(XZ)-H(Z)=1.41-0.54=0.87H(Z/XY)=02020/4/1718(3)I(X;Y)=H(X)-H(X/Y)=1-0.81=0.19I(Y;Z)=I(X;Z)=H(X)-H(X/Z)=1-0.87=0.13I(X;Y/Z)=I(X;YZ)-I(X;Z)=H(X)-H(X/YZ)-I(X;Z)=0.6-0.13=0.47I(Y;Z/X)=I(X;Z/Y)=I(X;YZ)-I(X;Y)=H(X)-H(X/YZ)-I(X;Y)=1-0.4-0.19=0.412020/4/1719在一个二进制信道中，信息源消息集X={0，1}，且P(1)=P(0),信宿的消息集Y={0，1}，信道传输概率P（1/0）=1/4，P（0/1）=1/8。求：（1）在接收端收到y=0后，所提供的关于传输消息x的平均条件互信息量I（X;y=0）。(2)该情况所能提供的平均互信息量I（X；Y）。解：X={0,1},Y={0,1}01100101010100101101()(),(/)1/4,(/)1/81,()()1/2(/)1(/)3/4(/)1(/)7/8pxpxpyxpyxpxpxpxpxpxpxpyxpyxpyxpyx2-142020/4/172083)()/()(00000xPxyPyxP81)()/()(00110xPxyPyxP161)()/()(11001xPxyPyxP167)()/()(11111xPxyPyxP10()()jijipypxy1000317()(),81616iiPyPxy,169)(1yP(/)()()(/)()(/)(;)(/)logloglog()()()()()()ijijijjiijijijiiiijijjjpxypxypxypyxpxpyxIXypxypxpypxpypypy1000000(/)()(/)(;)log()()iiiiPyxPxPyxIXyPyPy求2020/4/17211111011(/)()(/)(;)log()()iiiiPyxPxPyxIXyPyPy10010111111111(/)()(/)(/)()(/)loglog()()()()71424loglog0.2358/9999PyxPxPyxPyxPxPyxPyPyPyPybits10(;)()(;)jjjIXYPyIXy符号比特/3113.02358.01694083.0167);()();()(1100yXIyPyXIyP(2)00000011010000(/)()(/)(/)()(/)loglog()()()()61212loglog0.4083/7777PyxPxPyxPyxPxPyxPyPyPyPybits2020/4/17222-15解：I(a1;b1)=log=logP(b1)=P(b1,a1)+P(b1,a2)=P(b1/a1)P(a1)+P(b1/a2)P(a2)=(1-ε)*(1/2)+1/2*ε=1/2P(a1,b1)=1/2*(1-ε)P(a1/b1)=P(a1,b1)/P(b1)=1-ε)p(a)/bp(a1111/2)/bp(a112020/4/1723I(a1,b1)=log[2*(1-ε)]I(a1;b2)=logP(b2)=P(b2,a1)+P(b2,a2)=P(b2/a1)P(a1)+P(b2/a2)P(a2)=(1-ε)*(1/2)+1/2*ε=1/2P(a1,b2)=P(b2/a1)*P(a1)=1/2*εP(a1/b2)=P(a1,b2)/P(b2)=εI(a1,b2)=log2ε)p(a)/bp(a1212020/4/17242-16解：(1)H(X)=-P(黑)*logP(黑)-P(白)*logP(白)=0.3*log(1/0.3)+0.7*log(1/0.7)=0.5211+0.3602=0.88132020/4/1725(2)P=W1=0.9143W1+0.2W2W2=0.0857W1+0.8W2得W1=1/3,W2=2/34*1()(/)iiiHXWHXS0.91430.20.08570.812()[0.