信息论基础期末试卷A答案

第1页共5页○？○？大学2008-2009学年第一学期2006级信息与计算科学专业本科卷A参考答案与评分标准课程名称信息论基础课程号（？？？）考试形式（闭卷笔试）时间（120分钟））一、判断题：本题共10小题，每题2分，满分20分。1、√；2、√；3、×；4、×；5、√；6、×；7、×；8、√；9、√；10、×。二、填空题：本题共7小题，每空2分，满分20分。1、码字的最小距离（mind）;2、（减少）冗余，提高编码效率;提高信息传递的可靠性；3、系统码;4、无失真信源编码定理，信道编码定理，限失真信源编码定理;5、信道和信源都是无记忆；6、香农编码；7、2a。三、计算题：本题共4小题，满分50分。(15分)解：1/21/201/21/41/4P联合概率(,)ijpxyXY1y2y3y1x/2a/2a02x(1)/2a(1)/4a(1)/4a则Y的概率分布为Y1y2y3y1/2(1)/4a(1)/4a------------------（2分）（1）11+414()log2loglog24141aaHYaa------------------（2分）211161log2loglog24141aaaa211111log2log16loglog244141aaaa23111log2loglog24141aaaa；取2为底2223111()(loglog)24141aaHYbitaa；------------------（1分）（2）11111111(|)logloglogloglog2222224444aaaaaHYX第2页共5页3(1)log2log22aa3log22a；取2为底，3(|)2aHYXbit；------------------（2分）（3）2()()()111max(;)max()(|)maxlog2loglog24411iiipxpxpxaaaCIXYHYHYXaa。------------------（2分）取e为底，令2111(ln2lnln)24141aaaaaa21121111ln2ln()24141411aaaaaaa221112ln2ln22(1)4141aaaaaa111ln2ln241aa=0；即1114aa，可得35a------------------（2分）所以9251311131log2loglog2541454C312531log2loglog104162043153log2loglog210241015log24；------------------（2分）最佳入口分布为：)53,52(。-------------------（2分）2、(15分)解：根据状态转移图，列出转移概率距阵1/2/2/21/2/2/21pppPpppppp------------------（1分）（1）令状态0,1,2平稳后的概率分布为321,,，则311iiWPWW得到12311232123(1)22(1)221ppp计算得到131313------------------（3分）（2）由齐次遍历可得112()(|)3(1,,)(1)loglog3221iiippHXWHXWHppppp------------（2分）（3）,()log31.58/HXbit符号---------------（2分）第3页共5页由最大熵定理可知()HX存在极大值：()121log(1)(1)loglog1222(1)HXppppppppp112(1)22(1)ppp又01p，所以0,2(1)pp；当p=2/3时12(1)pp；0p2/3时()log02(1)HXppp2/3p1时()log02(1)HXppp----------------（2分）所以当p=2/3时()HX存在极大值,且max()1.58/HXbit符号-------------（3分）所以,()()HXHX-------------------（2分）3、(10分)解：构造三元紧致码(三元霍夫曼码)要使短码得到充利用就必须让信源符号个数q满足(1)qrr-------------（3分）信源S的三元霍夫曼码如下：-------------（5分）得信源符号s1s2s3s4s5s6s7s8三元紧致码10002202122010011。-------------（2分）4、(10分)第4页共5页解：（1）该码的一致校验矩阵为100101101011100010111H-------------（2分）因为二元(7,4)码的纠错范围是7个一位错，所以各陪集首和与之相对应的S如下：0000001e―101S，0000010e―111S0000100e―011S，0001000e―110S0010000e―001S，0100000e―010S1000000e―100S-------------（4分）（2）当)0001011(v的时候，100S；对照最小距离译码准则与S和e之间的关系表，知1000000e。所以1001011Cev。-------------（4分）四、证明题(10分)：证明：设概率矢量121(,,,,)LLPpppp，根据熵函数表达式：1211()(,,,,)logLLLiiiHPHpppppp；12112(,,,,,,,)LmHpppqqq111loglogLmiijjijppqq；①-------------（2分）1211(,,,,)logLLLiiiHpppppp②-------------（2分）1211(,,,)loglogmmjjjmLjjjLLLLLLqqqqqqHpqpppppp③-------------（2分）②+③得：11[loglog]LmjiijijLqppqp1111[loglogloglog]LmmiiLLjjjjijjppppqqqp1111[loglogloglog]LmmiijjLLLjijjppqqpppq1mjLjqp-------------（2分）所以，①=②+③结论得证（2）等式的物理意义：该等式是熵函数递增性性质的数学表达。表明了若原信源X（L个符号的概率分布为12,,,Lppp）中有一符号划分成m个元素（符号），而这m个符号的概率之和等于原符号的概率，则新信源的熵增加。增加了一项由于划分而产生的不确定性量。-------------（2分）