2014-2015第二学期信息论与编码-期末考试试卷(A卷)答案

山东科技大学2014—2015学年第二学期《信息论与编码》期末考试试卷（A卷）答案一、填空（每空3分，共36分，）1、可靠性2、不确定性3、()()(|)HXYHXHXY4、信源概率()PX5、1.75bit6、信源必须传送给用户的信息量7、找紧致码8、log'()MRRDn9、310、0.749bit11、0.0817bit12、E=(01000000)二、简答题（每题8分，共24分）1、请给出信息熵的物理含义。答：三种物理含意(1)表示信源输出后，每个消息所提供的平均信息量；(2)表示信源输出前，信源的平均不确定性；(3)表征变量X的随机性。2、请叙述数据处理定理，并说明简要含义。答：对于通信系统XYZW有()(;)(;)(;)HXIXYIXZIXWL说明，在任何信息传输系统中，最后获得的信息至多是所提供的信息。3、若码符号个数2r，问是否存在码长1,3,3,3,4,5,5il的即时码，为什么？如果有，试构造出一个这样的码。答：因为它满足Craft不等式，所以存在这样的即时码。此码为：{0,100,101,110,1110,11110,11111}三、计算题(本题40分，第1、2小每题15分，第3小题10分)1、设离散无记忆信源11110123()18141438Xaaaapx，其发出的消息为（202120130213001203210110321010021032011223210），求（1）此消息的自信息是多少？（2）在此消息中平均每个符号携带的信息量是多少？解：信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量分别为：0(0)81.4153logIa比特信息I信息II信息III2I(a11)log42比特I(a22)log42比特I(a33)log83比特在发出的消息中，共有14个“0”符号，13个“1”符号，12个“2”符号，6个“3”符号，则得到消息的自信息为：141.4151321226387.81I比特45个符号共携带87.81比特的信息量，平均每个符号携带的信息量为87.81 1.95/45I比特符号注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的信息量，后者是信息熵，可计算得H(X)P(x)logP(x)1.91比特/符号2、对于二元对称信道的输入概率空间为01()1XPX(01)。信道特性如右图所示，求其平均互信息。解：1(;)()(|)()()(|)log(|)XYIXYHYHYXHYPxPyxPyx1111()()loglog()loglogXHYPxppHYpppppp()()HYHp由于(0)(1)Pypppp(1)(1)Pypppp所以(;)()()IXYHYHp1111()log()logloglogpppppppppppp()()HppHp3、设某(7,3)循环码，其生成多项式42()1gxxxx。(1)列出其所有码字，并求此码的最小码距；(2)写出其系统循环码的标准生成矩阵；(3)写出此码的校验多项式及标准校验矩阵。解：(1)所有的码字为：pYX01011p1pp30123(0000000)(0010111)(0101110)(0111001)CCCC4567(1100101)(1011100)(1101101)(1110010)CCCC最小码距min4d(2)系统循环码的标准生成矩阵为：100101101011100010111G(3)7()()1hxgxx由42()1gxxxx，得3()1hxxx经计算可得标准校验矩阵为：1101000011010011100101010001H