信息论期末考试试题1

安徽大学2011—2012学年第1学期《信息论》考试试卷（AB合卷）院/系年级专业姓名学号题号一二三四五总分得分一、填空题1、接收端收到y后，获得关于发送的符号是x的信息量是。2、香农信息的定义。3、在已知事件zZ的条件下，接收到y后获得关于事件x的条件互信息(;|)Ixyz的表达式为。4、通信系统模型主要分成五个部分分别为：。5、研究信息传输系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、和，使信息传输系统达到最优化。6、某信源S共有32个信源符号，其实际熵H=1.4比特/符号，则该信源剩余度为。7、信道固定的情况下，平均互信息(;)IXY是输入信源概率分布()Px的型凸函数。信源固定的情况下，平均互信息(;)IXY是信道传递概率(|)Pyx的型凸函数。8、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。信道剩余度定义为。9、已知信源X的熵H(X)=0.92比特/符号,则该信源的五次无记忆扩展信源X5的信息熵5()HX=。得分第2页10、将H，6H，0H，4H，1H从大到小排列为。11、根据香农第一定理，对于离散无记忆信源S，用含r个字母的码符号集对N长信源符号序列进行变长编码，总能找到一种无失真的唯一可译码，使每个信源符号所需平均码长满足：。12、多项式剩余类环[](())qFxfx是域的充要条件为。13、多项式剩余类环[](1)nqFxx的任一理想的生成元()gx与1nx关系为。14、有限域122F的全部子域为。15、国际标准书号（ISBN）由十位数字12345678910aaaaaaaaaa组成（诸ia11F，满足：1010(mod11)iiia），其中前九位均为0-9，末位0-10，当末位为10时用X表示。《HandbookofAppliedCryptography》的书号为ISBN：7-121-01339-，《CodingandInformationTheory》的书号为ISBN：7-5062-3392-。二、判断题1、互信息(;)Ixy与平均互信息(;)IXY都具有非负性质。（）2、离散信源的信息熵是信源无失真数据压缩的极限值。（）3、对于无噪无损信道，其输入和输出有确定的一一对应关系。（）4、对于有噪无损信道，其输入和输出有确定的一一对应关系。（）5、设有噪信道的信道容量为C，若信息传输率RC，只要码长n足够长，必存在一种信道编码和相应的译码规则，使译码平均错误概率EP为任意小。反之，若RC则不存在以R传输信息而EP为任意小的码。（）6、在任何信息传输系统中，最后获得的信息至多是信源所提供的信息。如果一旦在某一得分第3页过程中丢失一些信息，以后的系统不管如何处理，如不触及到丢失信息过程的输入端，就不能再恢复已丢失的信息。（）7、对于离散信道[,(|),]XpyxY，有(|)()log(1)EEHXYHPPr，并且不管采用什么译码规则，上述费诺不等式成立。（）8、码C={0,10,1100,1110,1011,1101}是唯一可译码。（）9、一定存在码长分别为1，2，3，3，3，4，5，5的二元即时码。（）三、计算题得分1、设12~1/21/2aaX，1234~1/41/41/41/4bbbbY，12345678~1/81/81/81/81/81/81/81/8ccccccccZ。计算)(),(),(ZHYHXH。当ZYX,,为统计独立时，计算)(XYZH。第4页2、有一离散无记忆信源123211366xxxXPx()，31()1iipx。求该信源的二次扩展信源，并计算二次扩展信源的信源熵。3、求下述两信道的信道容量及其达到信道容量时的输入概率分布。第5页（1）（2）4、设二元对称信道的传递矩阵为21331233，求此信道的信道容量及相应的最佳输入概率分布。当输入概率分布为310144PP()，()时，求|HXYIXY()和(;)。第6页5、设有一马尔可夫信源，其状态集为123,,SSS，符号集为321aaa,,。在某状态下发某符号的概率为|,,1,2,3kiPaSik。见下图：计算此马尔可夫信源熵H。S1S2S3a3:1/4a1:1a3:1/2a2:1/4a1:1/2a2:1/2第7页6、一阶马尔可夫信源的状态图如下图所示，信源X的符号集为{0，1，2}并定义1pp。(1)求信源平稳后的概率分布P(0)，P(1)，P(2)；(2)求此信源的熵。7、求以2x为生成多项式的长为3的三元循环码C的全体码字。021p/2pp/2p/2p/2p/2ppp/2第8页8、求以1x为生成多项式的长为3的二元循环码C的全体码字。四、综合题得分第9页1、设有一离散信道，其信道传递矩阵为111362111236111623，并设11()2Px，231()()4PxPx。试分别按最小错误概率准则和最大似然译码准则确定译码函数，并计算相应的平均错误概率。2、信源空间为12345678,,,,,,,()0.4,0.2,0.1,0.1,0.05,0.05,0.05,0.05SssssssssPs，码符号为{0,1,2}X，试构造一种三元紧致码，并计算平均码长。第10页3、设C是二元[6,3]线性码，其校验矩阵为100110010101001011H。试求全体码字，列简明译码表；当收到的字为010011，如何译码？五、证明题得分第11页1、证明：最大离散熵定理，即12111(,,,)(,,,)logqHpppHqqqq。2、证明：条件熵不大于无条件熵，即212(|)()HXXHX。第12页3、设C是q元[,]nk线性码，证明：()()dCWC，其中()min{(,)|,,}ijijijdCDccccCcc，()min{()|,0}WCWccCc。4、循环码C的对偶码C仍为循环码。