信息论与编码样卷

卷号：（A）（2012年6月）机密湖北师范学院期末考试试卷信息论与编码考试范围第1至6章命题人游雪肖院系数学与统计学院考试形式闭卷课程类别必修学期20121专业信息与计算科学大题号一二三四五六七八九十班级满分1212481216学号得分姓名阅卷人总分一、填空题（本题共_6__小题,每小题2分，共12分)（请将正确答案填入空格内）1．信息的___________是建立信息论的基础．2．相对熵(||)Dpq是概率分布对(,)pq的__________（凹或凸）函数．3．离散平稳有记忆信源极限熵的定义为_________________________．4．最优D进即时码的平均码长的上界为L_________．5．如果UXYV构成马氏链，则(;)IUV____(;)IXY．（“，，）6．当2D时，服从正态分布2(0,)N的信源在平方失真下的率失真函数()RD=______．二、判断题（本题共_6_小题,每小题2分，共12分)（请在你认为正确的题后括号内打“√”，错误的打“×”）1．某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量．（）2．当随机变量X和Y相互独立时，(,)()HXYHX．（）3．有记忆信源输出符号之间是统计相关的．（）4．数字集合2,2,3,3,4,4,5,5能成为二进即时码的码字长集．（）5．信息率失真函数研究的是信道编码问题．（）6．信道容量C只与信道的统计特性有关，而与输入信源的概率分布无关．（）本题得分本题得分三.计算题（本题共5小题,1，２，3每小题8分，其余每小题12分，共48分)（要求写出主要计算步骤及结果）1．某一离散无记忆信源的符号集为0,1，已知01/4p，13/4p，求：（1）信源符号的平均信息量；（2）由100个符号构成的序列，求某一特定序列（例如有m个0和100m个1）的信息量的表达；（3）由100个符号构成的序列，计算序列熵．2．设有一实值随机变量，其分布密度为cos()20Axxfxx取其他值，试求这随机变量的可微熵．3．已知,0,1XY,XY构成的联合概率为：1(00)(11)8pp3,(01)(10)8pp，（1）试计算(),(|),(;)HXHYXIXY；（2）计算以条件概率(|)pyx为信道转移概率的信道容量，并说明达到信道容量的最佳输入概率分布．4．二元二阶马尔科夫信源的状态图如图所示，计算该信源的平稳分布及熵率．本题得分0.6000.40.50.501100.50.50.4110.65．设信源101111()333XPX，接收符号集11,22Y，其失真矩阵为12[]1121D，求maxD、minD以及()RD．四、编码题（本题共_1_题,共12分)设信源X有以下概率分布：123456780.20.10.30.20.050.050.050.05ssssssssX（1）试用Huffman编码法将其编成三进制变长码，写出编码过程.（2）计算信源熵、平均码长和编码效率.五、证明题（本题共_2_小题，每小题8分，共16分)1．证明：(|)(|)(|)HXZHXYHYZ．2．证明：对于离散平稳信源，当1()Hx时，条件熵121()NNHXXXX随N的增加是递减的．本题得分本题得分