信息论与编码作业答案-新-超全

信息论与编码作业答案（对应曹雪虹清华版教材）(谢正光，2013-06-28，于江苏南通)第一章绪论1-1、信息、消息、信号的定义是什么？三者的关系是什么？答：信息：是指各个事物运动的状态和状态变化的方式。消息：包含有信息的语言文字和图像等。信号：信号时消息的物理体现。三者关系：信息符号化为消息，消息物理化为信号。#1-2、简述一个通信系统包括的各主要功能模块及其作用。答：主要模块和其作用如下：信源：向通信系统提供消息。信宿：接收消息。信道：传递消息或说物理信号。干扰源：集中反映通信系统的干扰。密钥源：产生密钥。信源编码器：进行信源编码，把信源发出的消息转换成由二进制码元（或多进制码元）的代码组。信道编码器：增加监督码元，增加检错或纠错的能力。加密编码：提高通信系统的安全性。#第二章信源与信息熵2.1一个马尔可夫信源有3个符号{}1,23,uuu，转移概率为：()11|1/2puu=，()21|1/2puu=，()31|0puu=，()12|1/3puu=，()22|0puu=，()32|2/3puu=，()13|1/3puu=，()23|2/3puu=，()33|0puu=，画出状态图并求出各符号稳态概率。解：（1）状态转移矩阵为：1/21/201/302/31/32/30pæö÷ç÷ç÷ç÷ç÷=ç÷ç÷ç÷÷ç÷ç÷çèø（2）状态图如下（3）从状态图可知，满足不可约性与非周期性，所以存在稳态概率。设状态u1，u2，u3稳定后的概率分别为W1，W2、W3由1231WPì=ïïíï++=ïî得1231132231231112331223231ìïï++=ïïïïïï+=ïïíïïï=ïïïïï++=ïïî计算可得1231025925625ìïï=ïïïïïï=íïïïïï=ïïïî答：（略）#u1u2u31/21/21/32/32/31/32-2由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p=0.8，(0|11)p=0.2，(1|00)p=0.2，(1|11)p=0.8，(0|01)p=0.5，(0|10)p=0.5，(1|01)p=0.5，(1|10)p=0.5。画出状态图，并计算各状态的稳态概率。解：（1）状态转移矩阵(0|00)(00|00)0.8pp==(0|01)(10|01)0.5pp==(0|11)(10|11)0.2pp==(0|10)(00|10)0.5pp==(1|00)(01|00)0.2pp==(1|01)(11|01)0.5pp==(1|11)(11|11)0.8pp==(1|10)(01|10)0.5pp==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8pæö÷ç÷ç÷ç÷ç÷ç÷ç÷=ç÷÷ç÷ç÷ç÷ç÷ç÷çèø（2）状态图为：（3）从状态图可知，满足不可约性与非周期性，所以存在稳态概率。设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4有411iiWPWW=ì=ïïïïíï=ïïïîå得13113224324412340.80.50.20.50.50.20.50.81ìï+=ïïïï+=ïïïï+=íïïï+=ïïïï+++=ïïî计算得到12345141717514ìï=ïïïïïïï=ïïïíïï=ïïïïïï=ïïïî答：（略）#2-3同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求：（1）“3和5同时出现”事件的自信息量；（2）“两个1同时出现”事件的自信息量；（3）两个点数的各种组合（无序对）的熵或平均信息量；（4）两个点数之和（即2，3，…，12构成的子集）的熵或平均信息量；（5）两个点数中至少有一个是1的自信息量。解：设(12,xx)表示骰子掷呈现面上的数字对，则（1）121211111(3,5)(3,5)(5,3)666618ppxxpxx===+===´+´=(3,5)log((3,5))4.17Ipbit=-»(2)12111(1,1)(1,1)6636ppxx====´=(1,1)log((1,1))5.17Ipbit=-»(3)(12,xx)无序对组合共有21种，其中相同数字的无序对有6种，每种出现的概率均为1/36，不同数字的无序对组合共15种，每种出现的概率均为1/18。1211(,)6log3615log184.337/3618HXXbitevent=´´+´´»（4）两个点数之和（即2，3，…，12构成的子集）的概率如下表所示和23456789101112组合情况1+11+22+11+33+12+21+44+12+33+21+55+12+44+23+31+66+12+55+23+44+32+66+23+55+34+43+66+34+55+44+66+45+55+66+56+6概率1166´=1361166´+1166´=2361166´+1166´+1166´=3361166´+1166´+1166´+1166´=4361166´+1166´+1166´+1166´+1166´=5361166´+1166´+1166´+1166´+1166´+1166´=6361166´+1166´+1166´+1166´+1166´=5361166´+1166´+1166´+1166´=4361166´+1166´+1166´=3361166´+1166´=2361166´=136121236336436536()2{log36loglogloglog}36362363364365636log3.274/366HXXXbitevent=+=´+´+´+´+´+´»（5）两个点数中至少有一个是1的概率11155111()66666636px=´+´+´=36()l1.710511Ixbbit=»答：（略）#2-4设在一只布袋中装有100个用手角摸感觉完全相同的木球，每个球上涂有一种颜色。100个球的颜色有下列3种情况：（1）红色球和白色球各50个；（2）红色球99个，白色球1个；（3）红、黄、蓝、白色球各25个。分别从布袋中随意取出一个球时，猜测其颜色所需要的信息量。解：设从布袋中随意取出一个球，是指定颜色的概率为p(x)（1）111()(),(,)1/222prpwHbitevent===(2)991991(),(),(,)0.081/100100100100prpwHbitevent==»(3)11111111(),(),(),(),(,,,)2/44444444prpypbpwHbitevent=====答：（略）#2-5（题目略）2-6（题目略）(1,2)(2,1)共两种Log3624.17(1,6)(6,1)(2,5)(5,2)(3,4)(4,3)共六种Log3662.5852-7设有一离散无记忆信源，其概率空间为123401233/81/41/41/8xxxxXP=æ===öæö÷÷çç÷÷çç=÷÷çç÷÷çç÷÷çèøèø（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202120130213001203210110321010021032011223210}，求该序列的自信息量和平均每个符号携带的信息量解：(1)122118()loglog1.415()3Ixbitpx==»,同理可以求得233()2,()2,()3IxbitIxbitIxbit===（2）解法一：该消息符号序列x中0有14个1有13个2有12个3有6个，14131263411()()()()()8448()log()87.811pxIxpxbit=´´´=-»P=I=解法二：因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：123414()13()12()6()87.81IIxIxIxIxbit=+++»答：（略）#2-8（题目略）Log2()1Log4()2Log8()32-9（题目略）“－”用三个脉冲“●”用一个脉冲(1)I(●)=Log4()2I(－)＝Log430.415(2)H=14Log4()34Log430.8112-10在一个袋中放5个黑球、10个白球，以摸一个球为一次实验，摸出的球不再放进去。求：（1）一次实验包含的不确定度；（2）第一次实验X摸出的是黑球，第二次实验Y给出的不确定度；（3）第一次实验X摸出的是白球，第二次实验Y给出的不确定度；（4）第二次实验Y给出的不确定度。解：（1）5151015()loglog0.918/1551510HXbitevent=+»(2)(/)(/)(/)(/)log((/))(/)log((/))4141014loglog0.5160.3470.86/1441410iiiHYbpybIybpbbpbbpwbpwbbitevent==--=+»+»å(3)(/)(/)(/)(/)log((/))(/)log((/))514914loglog0.53050.40970.94/145149iiiHYwpywIywpbwpbwpwwpwwbitevent==--=+»+»å(4)455101()(,)(,)1415141531059102()(,)(,)14151415312()(,)0.918/33pybpybxbpybxwpywpwbpwwHYHbitevent====+===´+´===+=´+´===答：（略）#2.11有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。（1）如果仅对颜色感兴趣，则计算平均不确定度（2）如果仅对颜色和数字感兴趣，则计算平均不确定度（3）如果颜色已知时，则计算条件熵解：令X表示指针指向某一数字，则X={1,2,……….,38}Y表示指针指向某一种颜色，则Y={绿色，红色，黑色}Y是X的函数，由题意可知()()ijipxypx=（1）3112381838()()loglog2log1.24()3823818jjjHYpypy===+´=åbit/event（2）2(,)()log385.25HXYHX===bit/符号（3）(|)(,)()()()5.251.244.01HXYHXYHYHXHY=-=-=-=bit/event答：（略）#2.12两个实验X和Y，X={x1x2x3},Y={y1y2y3},联合概率(),ijijrxyr=为1112132122233132337/241/2401/241/41/2401/247/24rrrrrrrrræöæö÷ç÷ç÷ç÷÷çç÷÷çç÷÷ç=÷ç÷ç÷ç÷ç÷ç÷ç÷÷ç÷ç÷çèø÷çèø如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？如果有人告诉你Y的实验结果，你得到的平均信息量是多少？在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？解：联合概率(,)ijpxy为22221(,)(,)log(,)724112log4log24log4247244ijijijHXYpxypxy==´+´+å=2.3bit/eventX概率分布Y概率分布是Yy1y2y3P8/248/248/2421()3log31.583HY=´=bit/符号(|)(,)()2.31.58HXYHXYHY=-=-=0.72bit/符号答：（略）#2-13（题目略）(1)HX()1HY()1(1)1331()((),())1/8888HXHbitevent=++=1331()((),())1/8888HYHbitevent=++=YXy1y2y3x17/241/240x21/241/41/24x301/247/24Xx1x2x3P8/248/248/241331()((),())0.16860.3750.54/8888HZHbitevent=++»+