11_12信息论参考答案模板A

1莆田学院期末考试参考答案及评分标准2011—2012学年第一学期（A）卷课程名称：信息论与编码适用年级/专业：09/电信（通信）试卷类别开卷（）闭卷（√）学历层次本科考试用时120分钟一、简答题（每小题8分，共32分）1.信息论研究的对象是通信系统(3分)，其系统模型如下：（3分）数据处理定理：信息通过多级处理后，信息只减不增。（2分）2.答：香农信息论讲述了三大定理，香农第一定理，香农第二定理和香农第三定理。（3分）香农第二编码定理又称为有噪信道编码定理，其内容为：设有一个离散无记忆平稳信道，其信道容量为C。当信息传输率RC，只要码长n足够长，则总存在一种编码，可以使平均译码错误概率任意小。（5分）3..若码的任意一串有限长的码符号序列只能被唯一的译成所对应的信源符号序列，则称此码为唯一可译码（2分）；在译码是无须参考后面的码字就可以作出判断的唯一可译码叫做即时码（2分）；构造唯一可译码的充要条件是克拉夫特（Kraft）不等式，即各码字的长度ki要满足11iqkir;r是进制数，q是信源符号数。（4分）4.信源编码是把信源发出的符号序列转化到适合在信道上传输的符号序列（2分）；信道编码是把信源编码器发出的无规律的符号序列通过增加多余的码元使其成为有规律的符噪声源信源编码器信道译码器信宿2号序列（2分）；由于信源存在着剩余度的问题，所以需要通过信源编码提高信息传输的有效性；信息传输的过程中可能发生错误，为了提高信息传输的可靠性，所以要进行信道编码（4分）二、证明题（每小题6分，共6分）)()(log)()(log)()(log)|()()|(log)|()()|(log)|()()|(log)()|(XHxpxpxpyxpxpyxpypyxpyxpypyxpyxpypyxpyxpYXHiiiiijjiiijijjjiijijjjiijijjjiijji(4分)当条件概率和先验概率相等时等式成立。（2分）三、计算题（第1、5题各16分，第2题12分，第3题10分，第4题8分，共62分）1.1．答：（16分）12121222122(1){,},()0.3,()0.7()()log()0.3log0.30.7log0.70.88(/)iiieeXeepepeHXpepebitsymbol解：设“”代表“黑”，“”代表“白”，则（3分）3（2）112112222121211111212122(/)0.8(/)0.2(/)0.1(/)0.9,1,2(/)1()0(/)()()()(/)1,2()()(/)()(/)0.8()0.1()()jiijjijjijijpeepeepeepeeeeijpeepepeepepepepeejpepepeepepeepepepe数学模型求的状态极限概率则有：1212221212()(/)()(/)0.2()0.9()12(),()33pepeepepeepepepepe解方程得：（4分）222211111211121221212212222222()()(/)log(/)[()(/)log(/)()(/)log(/)()(/)log(/)()(/)log(/)]0.553(/)ijijiijHXpepeepeepepeepeepepeepeepepeepeepepeepeebitsymbol（3分）（3）02200011002220()loglog211()()10.8810.121()()10.5510.451HXnHHHHXHXHHXHXH物理意义：信源符号的相关性越强，所提供的平均信息量越小，冗余度越大。（6分）2．解：（1）含有1个“1”的个数为1001100C；不含有“1”的个数为10100C；含有2个“1”的个数为49502100C；所以，含少于3个“1”的源符组个数为M=1+100+4950=5051（3分）所需最小码长为DMN22log/log，因为是二元码所以D＝2413log2MN（3分）（2）首先求信源发出一源符组，有码字与之对应的概率。由题意，只有当源符组含少于3个“1”时，才有码字与之对应。因此有码字的概率为985.0075.0304.0606.0)1()0()1()0()1()0(2982100199110001000100PPCPPCPPCPc（3分）无码字与之对应的概率为0015.0985.011cePP（3分）3.解：任意选取3个线性关系的码字作为生成矩阵，其生成矩阵为：100101010110001011G（5分）其监督矩阵为：110100011010101001H（5分）4.122111,1,,24loglog(,,)log2(1)log(1)log(2)(1,,)4kkskNqMqNqMqCrNMHppqqqqHpqqp12解这是一个准对称信道（分）所以（分）5.解：（1）因为q＝8，所以要满足2l≥q＝8，得出l＝3二元码符号/灰度级，即每个灰度级需采用三位二元码符号来传输。这幅图像空间离散后共有N＝100个像素，每个像素的灰度需用三个二元符号来编码，所以这幅图像采用二元等长码后共需300个二元符号来描述，所传输的信道是无噪无损信道，其每秒种传输100个二元符号，因此，需35秒钟才能传送完这幅图像。（3分）（2）若考虑图像的统计特性，把像素的灰度值作为信源S，可得：S12345678P(si)40/10017/10010/10010/1007/1006/1005/1005/100所以H(S)＝－ΣP(si)㏒P(si)≈2.572比特/灰度级。（2分）对此灰度级进行霍夫曼最佳二元编码：（如下）可得：L＝ΣP(si)li＝2.63二元符号/灰度级。（6分）通过霍夫曼最佳二元编码后，每个像素平均需用2.63个二元符号，则此图像平均共需用263个二元符号来表示，因此，需2.63秒才能传送完这幅图像。（2分）（3）实际此图像的像素之间是有依赖的，这时，此图像灰度值信源S可以看成是一阶马尔可夫信源，还可以进一步看成是m阶马尔可夫信源，因此在考虑了这些依赖关系后，像素的灰度值信源S的实际信息熵H∞H(S)。根据香农第一定理，总可以找到一种编码，使每个灰度级的平均码长L→H∞（极限熵），所以，这幅图像还可以进一步压缩，平均每个像素所需的二元码符号数LH(S)。（意思相近3分）码长li码字灰度级概率P(si)0.601110.40→0.40→0.40→0.40→0.40→0.400.230.37300120.17→0.170.200.200.130.230.100.170.174000030.100.100.134000140.100.100.104010050.074010160.064011070.054011180.05