信息论习题集

信息论习题集第一章、判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。（√）2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。（√）3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。（√）5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。（√）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。（√）7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。（×）第二章一、判断题1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。（√）2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。（×）3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。（×）4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。（×）5、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。（×）6、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。（√）7、互信息的统计平均为平均互信息量，都具有非负性。（×）8、信源剩余度越大，通信效率越高，抗干扰能力越强。（×）9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。（×）10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。（×）11、在信息处理过程中，熵是不会增加的。（√）12、熵函数是严格上凸的。（√）13、信道疑义度永远是非负的。（√）14、对于离散平稳信源，其极限熵等于最小平均符号熵。（√）2-1同时掷两个正常的骰子，也就是各面呈现的概率都是l/6，求：(1)“3和5同时出现”事件的自信息量；(2)“两个1同时出现”事件的自信息量；(3)两个点数的各种组合（无序对）的熵或平均信息量；(4)两个点数之和(即2，3，…，12构成的子集）的熵；(5)两个点数中至少有一个是1的自信息。2-2居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为1.6m以上，而女孩中身高1.6m以上的占总数一半。假如得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？、2-3两个实验和，联合概率为（1）如果有人告诉你和的实验结果，你得到的平均信息量是多少？（2）如果有人告诉你的实验结果，你得到的平均信息量是多少？（3）在已知的实验结果的情况下，告诉你的实验结果，你得到的平均信息量是多少？2-4某一无记忆信源的符号集为，已知，。（1）求信源符号的平均信息量；（2）由100个符号构成的序列，求某一特定序列（例如有个0和个1）的信息量的表达（3）计算（2）中的序列熵。2-5有一个马尔可夫信源，已知转移概率为。试画出状态转移图，并求出信源熵。2-6有一个一阶马尔可夫链各取值于集，已知起始概率为，其转移概率如下：ji1231231/22/32/31/401/31/41/30（1）求的联合熵和平均符号熵；（2）求这个链的极限平均符号熵；（3）求和它们对应的冗余度。2-7一阶马尔可夫信源的状态如图所示，信源X的符号集为{0,1,2}。（1）求平稳后的信源的概率分布；（2）求信源熵；（3）求当和时信源的熵，并说明其理由。2-8设有一信源，它在开始时以的概率发出，如果为时，则为的概率为；如果为时，则为的概率为；如果为时，则为概率为，为的概率为0。而且后面发出的概率只与有关。有。试利用马尔可夫信源的图示法画出状态转移图，并且计算信源熵。第三章一、判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。（√）2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。（√）3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。（√）5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。（√）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。（√）7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。（×）8、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。（√）9、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。（×）10、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。（×）11、信源熵是信号符号集合中，所有符号的自信息的算术平均值。（×）12、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。（×）13、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。（√）14、互信息的统计平均为平均互信息量，都具有非负性。（×）15、信源剩余度越大，通信效率越高，抗干扰能力越强。（×）16、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。（×）17、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。（×）18、在信息处理过程中，熵是不会增加的。（√）19、熵函数是严格上凸的。（√）20、信道疑义度永远是非负的。（√）21、对于离散平稳信源，其极限熵等于最小平均符号熵。（√）22、对于离散无记忆信道，达到信道容量时其输入概率分布是唯一的、特定的。（√）23、噪声功率相同的加性噪声信道中以高斯噪声信道的信道容量最大。（×）24、典型序列中，信源符号出现的频率与它的概率接近。（√）25、为有效抵抗加性高斯噪声干扰，信道输入分布应该是高斯分布。（√）26、最大似然译码准则是使平均译码错误率最小的准则。（×）27、加性高斯噪声信道的信道容量不大于相同平均功率的其他加性噪声信道的信道容量。（√）28、非奇异的定长码是惟一可译码。（√）29、AWGN的信道容量的大小与系统的带宽成正比。（×）30、信源编码可以提高信息传输的有效性。（√）31、连续信源和离散信源的平均互信息都具有非互性。（√）32、当信道输入独立等概率时，信道疑义度达到最大值。（×）33、必然事件和不可能事件的自信息量都是0。（×）34、事件所包含的信息量是与事件发生的概率成反比的。（×）二、选择题1离散信源熵表示信源输出一个消息所给出的（B）。A、实际信息量；B、统计平均信息量；C、最大信息量；D、最小信息量；2平均互信息I(X,Y)等于（C）。A、H(Y)―H(X/Y)；B、H(X)―H(Y/X)C、H(Y)―H(Y/X)；D、H(XY)―H(X)；3设连续信源输出的信号谱宽度为W，平均功率为N（受限），则连续无噪信道的信道容量为（A）。A、Wlog(2πeN)；B、2Wlog(2πeN)；C、Wlog(2πN)；D、2Wlog(2πN)；4对于无记忆离散信源X，其熵值为H(X)，由其生成的扩展信源XN的熵为H(XN)，H(X)与H(XN)之间的关系是（B）。A、H(XN)=H(X)；B、H(XN)=NH(X)；C、H(XN)=HN(X)；D、H(XN)=H(X)/N；5、关于信源编码和信道编码，下面的说法错误的是（B）A、信源编码是为了减少冗余度，信道编码则是有意增加冗余度；B、信源编码提高了可靠性，降低了有效性；C、首先对信源编码，到了信道的输入端再对其进行信道编码；D、信道编码提高了可靠性，降低了有效性。6、以下关于离散平稳信源的说法不正确的是（C）A、平稳信源发出的符号序列的概率分布与时间起点无关；B、平均符号熵随信源关联长度L的增加而减小；C、对于平稳信源，一般情况下，齐次包括平稳，平稳不包括齐次；D、平稳信源的概率分布特性具有时间推移不变性。7、将某六进制信源进行二进制编码如下表示，则这些码中是唯一可译码的是（D）符号概率c1c2c3c4c5c6u11/2000000101u21/4001011010000001u31/160100111101101010100u41/16011011111101100110101u51/1610001111111101001110110u61/161010111111111101111001111A、c1c3c6B、c2c3c6C、c1c2c3D、c1c2c3c68、关于线性分组码，下列说法正确的是（B）A、卷积码是线性分组码的一种；B、最小码距是除全零码外的码的最小重量；C、具有封闭性，码字的组合未必是码字；D、不具有封闭性，码字的组合未必是码字。9、香农公式是用在哪种信道中（D）A、二进制离散信道；B、离散无记忆信道；C、离散输入，连续输出信道；D、波形信道。10、通信系统的性能指标为（A）A、有效性可靠性安全性经济性B、有效性可行性安全性保密性C、保密性可靠性安全性经济性D、高效性可行性安全性经济性11、信源存在冗余度的主要原因是（C）A、信源符符号间的相关性B、信源符号分布的不均匀性C、信源符号间的相关性及分布的不均匀性D、以上都不对12、对于（n，k）线性分组码，设dmin为最小汉明距离，则以下正确的是（D）A、这组码能纠正u个错误的充分必要条件是等dmin=2u+1；B、具有检测L个错误的能力的充要条件是dmin=L+1;C、具有纠正t个错误，同时可以发现L(Lt)个错误的能力的充分条件是dmin=t+L+1;D、以上三个结论都不正确。三、填空题1、单符号离散信源一般用随机变量描述，而多符号信源一般用随机矢量描述。2、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。3、对于一阶马尔可夫信源，其状态空间共有个不同的状态。4、根据输入输出的信号特点，可将信道分成离散信道、连续信道、半离散或半连续信道。5、对于离散无记忆信道和信源的N次扩展，其信道容量=NC6、信道编码论定理是一个理想编码存在性理论，即：信道无失真传递信息的条件是信息传输速率小于信道容量。7、信源编码的目的是提高通信的有效性。8、对于香农编码、费诺编码和霍夫曼编码，编码方法唯一的是香农编码。9、在多符号的消息序列中，大量重复出现的，只起暂时作用的符号称为冗余位。10、若纠错码的最小距离为d,则可以纠错任意小于等于个差错。11、线性分组码是同时具有分组特性和线性特性的纠错码。12、平均功率为P的高斯分布的连续信源，其信源熵为13、当连续信源和连续信道都是无记忆时，则14、信源编码与信道编码之间的最大区别是，信源编码需减少信源的剩余度，而信道编码需增加信源的剩余度。15、离散信源的熵值H(X)越小，说明该信源消息之间的平均不确定性减弱。16、信源符号间的相关程度越大，则信源的符号熵越小，信源剩余度越大。17、唯一可译码的码长必须满足Kraft不等式。18、R（D）是满足D准则下平均传送每个信源符号所需要的最少比特数，它是定义域上严格的递减函数。19、AWGN信道下实现可靠通信的信噪比下界-1.59dB，此时对应的频带利用率为0。20、对于含有n个信源符号的离散信源，其最大熵值为。对于连续信源，当幅度受限时，均匀分布具有最大熵，当平均功率受限时，高斯分布具有最大熵。21、同时掷出两个正常的骰子，骰子分六面，每一面出现的概率是1/6，则“两个1同时出现”这一事件的自信息量为5.17比特。22、已知信源的各个符号分别为字母A、B、C、D，现用四进制码元表示，每个码元的宽度为10ms，如果每个符号出现的概率分别为1/5，1/4，1/4，3/10，则信源熵H(X)为1.985比特/符号，在无扰离散信道上的平均信息传输速率为198.5比特/秒。23、已知8个码组，（000000）、（001110）、（010101）、（011011）、（100011）、（101101）、（110110）、（111000）。则该码组的最小码距为3，若只