信息论中期习题测验及答案

1、居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6m以上，而女孩中身高1.6m以上的占总数一半。假如我们得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？解：设事件A表示女大学生，B表示身高1.6m以上的女孩，则p(A)=0.25,p(B)=0.5,p(B/A)=0.75,所以375.05.075.0*25.0)()/()()()()/(BpABpApBpABpBApbitBApBAI42.1)/(log)/(2、每帧电视图像可以认为由3*105个像素组成，所有像素均是独立变化，且每一像素又取128个不同的亮度电平，并设亮度电平等概率分布，问每帧含有多少信息量？解：每帧图像/10*1.2128log)(610*35bitXH3、二重扩展信源的熵为H(X2),一阶马尔可夫信源的熵为H(X2/X1),试比较两者的大小，并说明原因。解：因为)/()()(1212XXHXHXH，所以)/()(122XXHXH。因为一阶马尔可夫信源符号间是相关的，具有记忆性。4、设有一信源，它产生0、1序列的消息。该信源在任意时间不论以前发生过什么消息符号，均按p(0)=0.4,p(1)=0.6的概率发出符号。（1）这个信源是否平稳？（2）计算H(X2),H(X3/X1X2),以及)(limXHNN。（3）计算H(X4),并写出X4信源可能发出的所有符号。解：（1）该信源是离散无记忆信源，对任意i1,i2,…,iN和h0,有),...,,(),...,,(21212121NhihihiNiiixXxXxXpxXxXxXpNN,所以该信源是平稳的。（2）bitXHXH94.1)(2)(2bitXHXXXH97.0)()/(3213bitXHXHNN97.0)()(lim（3）bitXHXH884.3)(4)(4可能发出的符号：0000,0001,0010,0011,0100,0101,0110,0111,1000,1001,1010,1011,1100,1101,1110,1111.5、一阶马尔可夫信源的状态转移图如下图所示，信源符号集为{0，1，2}。求：（1）稳态后信源的概率分布（2）信源熵。（3）当p=0或p=1时信源的熵，并说明理由。解：（1）状态转移矩阵'00'0'ppppppP由WP=W,得1''012211100ppppppppppppp，整理后得3/1210ppp（2）)1log'1log'()1log'1log'(31*3)/()(ppppppppSXHSpHiSii（3）当0,0Hp,当0,1Hp。信源熵表示的是信源的平均不确定度。p=0或p=1表明由某一状态转换成另一状态的情况一定发生或一定不发生，是确定事件，因此平均不确定度为零，即熵为零。6、设有一信源发出符号A和B,它们是相互独立的，并已知p(A)=1/4,p(B)=3/4。（1）计算信源熵。（2）若用二进制代码组传输消息，1,0BA，求p(0)和p(1)。（3）该信源发出二重符号消息时，采用费诺编码，求其平均传输速率R及两个码元的概率p(0)、p(1)。（4）该信源发出三重符号消息时，采用霍夫曼编码，求其平均传输速率R及两个码元的概率p(0)、p(1)。解:(1)信源符号/811.0)43log4341log41()(log)()(bitxpxpXHiii(2)4/3)()1(,4/1)()0(BppApp(3)对二重符号信源采用费诺编码，结果为(码字不唯一)BB:0,BA:10,AB:110,AA:111单个符号的平均码长为：P’P’P’ppp012信源符号码元/844.0)3*1613*1632*1631*169(21)(21iiilpl平均传输速率码元符号/961.0844.0811.0)(bitlSHR码元0和1的概率为(0)152715(0)/55.56%,(1)1(0)44.44%1616272lpppl(4)对三重符号信源采用霍夫曼编码，结果为(码字不唯一)BBB:1,BBA:001,BAB:010,BAA:00000,ABB:011,ABA:00001,AAB:00010,AAA:00011单个符号的平均码长为：信源符号码元/8229.064158*31)(31iiilpl平均传输速率码元符号/986.08229.0811.0)(bitlSHR码元0和1的概率为(0)7575158(0)47.47%,(1)1(0)52.53%64641583lpppl