信息论基础》试卷(期末A卷

试题编号：重庆邮电大学2007/2008学年2学期《信息论基础》试卷（期末）（A卷）（半开卷）题号一二三四五六七八总分得分评卷人一、填空题（本大题共10小空，每小空1分，共20分）1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为和2.一个八进制信源的最大熵为3.有一信源X，其概率分布为414121321xxxPX，其信源剩余度为；若对该信源进行十次扩展，则每十个符号的平均信息量是。4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是；其能在每个自由度熵的最大熵是；若放大器的最高频率为F，则单位时间内输出的最大信息量是.5.若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵的最大值为；与其熵相等的非高斯分布信源的功率为6、信源编码的主要目的是，信道编码的主要目的是。7、无失真信源编码的平均码长最小理论极限制为.8、当时，信源与信道达到匹配。9、根据是否允许失真，信源编码可分为和。10、在下面空格中选择填入数学符号“,,,”或“”（1）当X和Y相互独立时，H（XY）H(X)+H(X/Y)。（2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)0,H(Y/X)0,I(X;Y)H(X)。二、（8分）掷两粒骰子，各面出现的概率都是1/6，计算信息量：1.当点数和为3时，该消息包含的信息量是多少？2.当点数和为7是，该消息包含的信息量是多少？3.两个点数中没有一个是1的自信息是多少？三、（12分）设X、Y是两个相互统计独立的二元随机变量，其取-1或1的概率相等。定义另一个二元随机变量Z，取Z=YX（一般乘积）。试计算：1.H（Y）、H（Z）；2.H（XY）、H（YZ）；3.I（X;Y）、I（Y;Z）；四、(15分)如图所示为一个三状态马尔科夫信源的转移概率矩阵P=11022110221114241.绘制状态转移图；2.求该马尔科夫信源的稳态分布；3.求极限熵；五、（12分）在干扰离散对称信道上传输符号1和0，已知P（0）=1/4,P(1)=3/4,试求：1.该信道的转移概率矩阵P2.信道疑义度H（X|Y）3.该信道的信道容量以及其输入概率分布六、（10分）某信道的转移矩阵1.006.03.001.03.06.0P试求：该信道的信道容量及其最佳输入概率分布。七、（13分）信源符号X有六种字母，概率为0.32,0.22,0.18,0.16,0.08,0.04。用赫夫曼编码法编成二进制变长码，写出编码过程并计算其平均码长、编码后的信息传输率和编码效率。010.90.10.10.901八、（10分）设在平均功率受限的高斯可加波形信道中，信道带宽为3KHz，又设信噪比为101.试计算该信道传达的最大信息率（单位时间）；2.若功率信噪比降为5dB，要达到相同的最大信息传输率，信道带宽是多少？《信息论基础》答案一、填空题（本大题共10小空，每小空1分，共20分）1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。2.一个八进制信源的最大熵为3bit/符号3.有一信源X，其概率分布为123xxxX111P244，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是15bit。4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是2Flog（b-a）bit/s.5.若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵的最大值为1log32e2；与其熵相等的非高斯分布信源的功率为16w6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr=Hr(S)）。8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。10、在下面空格中选择填入数学符号“,,,”或“”（1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。（2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)0,H(Y/X)=0,I(X;Y)H(X)。二、掷两粒骰子，各面出现的概率都是1/6，计算信息量：1.当点数和为3时，该消息包含的信息量是多少？2.当点数和为7是，该消息包含的信息量是多少？3.两个点数中没有一个是1的自信息是多少？解：1.P（“点数和为3”）=P（1,2）+P（1,2）=1/36+1/36=1/18则该消息包含的信息量是：I=-logP（“点数和为3”）=log18=4.17bit2.P（“点数和为7”）=P（1,6）+P（6,1）+P（5,2）+P（2,5）+P（3,4）+P（4,3）=1/366=1/6则该消息包含的信息量是：I=-logP（“点数和为7”）=log6=2.585bit3.P（“两个点数没有一个是1”）=1-P（“两个点数中至少有一个是1”）=1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36则该消息包含的信息量是：I=-logP（“两个点数中没有一个是1”）=log25/36=0.53bit三、设X、Y是两个相互统计独立的二元随机变量，其取-1或1的概率相等。定义另一个二元随机变量Z，取Z=YX（一般乘积）。试计算：1.H（Y）、H（Z）；2.H（XY）、H（YZ）；3.I（X;Y）、I（Y;Z）；解：1.2i11111HYPylogPyloglog2222ii（）=-（）（）=1bit/符号Z=YX而且X和Y相互独立1(1)(1)(1)PPXPYPX（Z=1）=P(Y=1)=111222222(1)(1)(1)PPXPYPX（Z=-1）=P(Y=1)=11122222故H(Z)=i2i1(z)log(z)iPP=1bit/符号2.从上式可以看出:Y与X的联合概率分布为:H(YZ)=H(X)+H(Y)=1+1=2bit/符号3.X与Y相互独立，故H(X|Y)=H(X)=1bit/符号I（X;Y）=H(X)-H(X|Y)=1-1=0bit/符号I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-[H(YZ)-H(Z)]=0bit/符号四、如图所示为一个三状态马尔科夫信源的转移概率矩阵P=11022110221114244.绘制状态转移图；5.求该马尔科夫信源的稳态分布；6.求极限熵；解：1.状态转移图如右图2.由公式31()()(|)jijiipEPEPEE,可得其三个状态的稳态概率为：1123223313123111()()()()22411()()()2211()()()24()()()1PEPEPEPEPEPEPEPEPEPEPEPEPE1233()72()72()7PEPEPEP(Y,Z)Y=1Y=-1Z=10.250.25Z=-10.250.253.其极限熵:3ii13112112111H=-|E=0+0+72272274243228=1+1+1.5=bit/7777iPHHHH（E）（X）（，，）（，，）（，，）符号五、在干扰离散对称信道上传输符号1和0，已知P（0）=1/4,P(1)=3/4,试求：4.该信道的转移概率矩阵P5.信道疑义度H（X|Y）6.该信道的信道容量以及其输入概率分布解：1.该转移概率矩阵为P=0.90.10.10.92.根据P（XY）=P（Y|X）P（X），可得联合概率010.90.10.10.901P（XY）YYX=09/401/40X=13/4027/40P(Y=i)12/4028/40由P（X|Y）=P(X|Y)/P(Y)可得P(X|Y)Y=0Y=1X=03/41/28X=11/427/28H(X|Y)=-ijijij(xy)logx|y=0.09+0.12+0.15+0.035=0.4bit/PP，（）符号3.该信道是对称信道，其容量为：C=logs-H=log2-H（0.9,0.1）=1-0.469=0.531bit/符号这时，输入符号服从等概率分布，即0111()22XPX六、某信道的转移矩阵1.006.03.001.03.06.0P试求：该信道的信道容量及其最佳输入概率分布。解：该信道是准对称信道，分解为两个互不相交的子信道矩阵0.60.30.30.60.1000.1这里110.90.9NM22 0.10.1NMC=logr-H(P的行矢量)-2k1log1(0.6.3.1)0.9log0.9-0.1log0.1KKNMH，0，0=0.174bit/符号这时，输入端符号服从等概率分布，即()XPX=011122七、信源符号X有六种字母，概率为0.32,0.22,0.18,0.16,0.08,0.04。用赫夫曼编码法编成二进制变长码，写出编码过程并计算其平均码长、编码后的信息传输率和编码效率。解：该信源在编码之前的信源熵为：6ii1()(x)logxiHSPP（）=0.526+0.481+0.445+0.423+0.292+0.186=2.353bit/符号编码后的平均码长：(0.320.220.18)20.163(0.080.04)4L=2.4码元/信源符号编码后的信息传输率为：()2.3530.982.4HSRLbit/码元码字001011010011001110.320.220.180.160.080.04“1”0100.120100.28110.400.61编码效率为：max()0.98logRHSRLr八、设在平均功率受限的高斯可加波形信道中，信道带宽为3KHz，又设信噪比为101.试计算该信道传达的最大信息率（单位时间）；2.若功率信噪比降为5dB，要达到相同的最大信息传输率，信道带宽是多少？解：1.10dSNRB10SNR故：该信道传送的最大信息速率为：3t4=log+log=bit/sCW（1SNR）=310（11）1.04102.若SNR=5dB，则SNR=10=3.162，在相同tC情况下1.04410=Wlog（1+SNR）=Wlog4.162W=5.04310Hz