信息论基础课程作业汇总

1信息论基础课程作业汇总2015/03/23作业11.查资料了解香农的研究生涯及其信息论的主要内容和应用。作业21.用微分或者积分中值定理证明基本对数不等式。2.用Jessen不等式证明对数和不等式。作业31.在伪币称量问题中，若用天平比较两枚金币的重量，则三种结果的信息量分别是多少？2.在掷色子游戏中，当得知两个色子的点数之和为3时获得多少比特的信息？3.已知平均100人中有2人患有某种疾病，为了查明病情，必须进行某项指标的化验。这种化验的结果对于有病的人总是阳性的，对于健康的人来说有一半可能为阳性、一半可能为阴性。若x表示有这种病，y表示化验结果为阳性，试计算I(x|y)与I(x;y)并说明其含义。4.试证明;|IxyIxIxy作业41.中科大杨孝先版教材第52页，习题2.3。2.设一条电线上串联了8个灯泡，如图所示。假设其中有且只有一个灯泡坏了，并且各灯泡的损坏概率相同，用万用电表通过测量断路找出坏灯泡。（1）平均需要获得多少信息，才能找出其中的坏灯泡。（2）一次测量所获得的信息的最大期望值是多少？（3）试设计一个最佳测量方案，即测量次数的期望值最小的测量方案。3.伪币称量问题：今有12枚金币，其中1枚是伪币，其重量不同于真币。（1）要找出这枚伪币需获得多少信息？（2）确定伪币比真币重还是轻需多少信息？（3）用一台无砝码的天平称量一次，平均最多可获得多少信息？2（4）试设计一个称量方案，用3次称量找出伪币。4.程序设计1：输入有限概率分布，输出该分布的熵。作业51.设一个信源有6种信号，先后输出的信号是独立同分布的，其概率分布为(1/2,1/4,1/8,1/16,1/32,1/32)（1）该信源输出1个符号所提供的平均信息量。（2）该信源输出100个符号所提供的平均信息量。2.在一段时间内，某城市交通的忙闲天数按天气阴晴和气温冷暖进行分类统计如下：（1）计算交通忙闲状态的无条件熵。（2）计算天气和气温状态下的条件熵。（3）计算从天气和气温状态所获得的关于交通状态的信息。3.世界职业棒球锦标赛为7场赛制，只要其中一队赢得4场，比赛就结束。设随机变量X代表在比赛中A队和B队较量的可能结果（X的可能取值如AAAA，BABABAB和BBBAAAA，其中A,B分别表示A队和B对获胜）。设Y代表比赛的场数，取值范围为4到7。假设A队和B队是同等水平的，且每场比赛相互独立。试计算H(X)，H(Y),H(Y|X)和H(X|Y)。作业61.设二元对称信道的误码率为1%，当输入符号的概率分布为均匀分布时，计算该信道的损失熵和信息传输率，并说明其意义。作业71.证明平均符号熵序列是单调递减的，即对于任何n，1212+1()()+1nnHXXXHXXXnn晴忙阴暖8天忙冷27天暖16天晴忙阴暖15天闲冷4天暖12天冷12天冷8天32.设X是一个二元二阶马尔科夫信源，其条件概率矩阵P(X3|X1X2)如下，试画出该信源的隐马尔科夫模型的状态转移图，求其极限分布并计算信源熵率。X3X1X20001101100.80.50.50.210.20.50.50.83.程序设计2：构造英语字母的3-阶马尔科夫模型。输入：英文语料（即英语文章，至少1万个单词，越多越好）。输出：英语符号的2-阶条件概率矩阵。作业81.设X为独立同分布的随机序列，其共同的概率分布为11KKsspp试计算1/12[()]NNPXXX依概率收敛的极限。2.设X为独立同分布的随机序列，其共同的概率分布为010.250.75试计算如下两种情形下长度为n的ε-典型序列的概率。（1）ε=0.10,n=100（2）ε=0.05,n=10作业111.证明定理1.4：若信源S是平稳的，则S的N-次扩展信源也是平稳的，并且NHSNHS2.设计编码方法，根据下列码长构造即时码。logiilp4作业121.设离散无记忆信源的符号概率分布为(0.4,0.2,0.15,0.15,0.1)试根据该分布构造二元霍夫曼码，并计算其平均码长和压缩率。2.程序设计3：霍夫曼编码功能：输入一个信源符号集的概率分布，输出该信源符号集的霍夫曼码本。作业141.设某二元无记忆信源的符号概率分布为p(0)=1/4，p(1)=3/4试对信源序列110010进行2次扩展算术编码。作业151.对cbbcbabcaa分别进行LZ78编码和LZW编码。作业161.设二元对称信道传递符号的速率是1Mb/s，错误概率是0.01。写出该信道的转移矩阵，并计算信道容量。2.设一个均匀分布的二元信源X，产生了一个大小为9Mb的数据w。若直接用上述信道传输该数据会导致大约1%的信息损失。试说明，若对w进行信道编码再发送，能否在10秒钟内以任意小的错误概率发送完该数据。