信息论与编码第一章答案

第一章信息论与基础1.1信息与消息的概念有何区别？信息存在于任何事物之中,有物质的地方就有信息，信息本身是看不见、摸不着的，它必须依附于一定的物质形式。一切物质都有可能成为信息的载体，信息充满着整个物质世界。信息是物质和能量在空间和时间中分布的不均匀程度。信息是表征事物的状态和运动形式。在通信系统中其传输的形式是消息。但消息传递过程的一个最基本、最普遍却又十分引人注意的特点是：收信者在收到消息以前是不知道具体内容的；在收到消息之前，收信者无法判断发送者将发来描述何种事物运动状态的具体消息；再者，即使收到消息，由于信道干扰的存在，也不能断定得到的消息是否正确和可靠。在通信系统中形式上传输的是消息,但实质上传输的是信息。消息只是表达信息的工具，载荷信息的载体。显然在通信中被利用的（亦即携带信息的）实际客体是不重要的，而重要的是信息。信息载荷在消息之中，同一信息可以由不同形式的消息来载荷；同一个消息可能包含非常丰富的信息，也可能只包含很少的信息。可见，信息与消息既有区别又有联系的。1.2简述信息传输系统五个组成部分的作用。信源：产生消息和消息序列的源。消息是随机发生的，也就是说在未收到这些消息之前不可能确切地知道它们的内容。信源研究主要内容是消息的统计特性和信源产生信息的速率。信宿：信息传送过程中的接受者，亦即接受消息的人和物。编码器：将信源发出的消息变换成适于信道传送的信号的设备。它包含下述三个部分：(1)信源编码器：在一定的准则下，信源编码器对信源输出的消息进行适当的变换和处理，其目的在于提高信息传输的效率。(2)纠错编码器：纠错编码器是对信源编码器的输出进行变换，用以提高对于信道干扰的抗击能力，也就是说提高信息传输的可靠性。(3)调制器：调制器是将纠错编码器的输出变换适合于信道传输要求的信号形式。纠错编码器和调制器的组合又称为信道编码器。信道：把载荷消息的信号从发射端传到接受端的媒质或通道，包括收发设备在内的物理设施。信道除了传送信号外，还存储信号的作用。译码器：编码的逆变换。它要从受干扰的信号中最大限度地提取出有关信源输出消息的信息，并尽可能地复现信源的输出。1.3同时掷一对骰子，要得知面朝上点数之和，描述这一信源的数学模型。解：设该信源符号集合为X23456789101112123456543213636363636363636363636XP1.4二阶马尔可夫信源的符号集X=｛0，1，2｝，Y=｛0，1，2｝，已知符号下发出符号的概率为p(0|0)=1-2p,p(1|0)=p(2|0)=p,p(0|1)=p(2|1)=p,p(1|1)=1-2p,p(0|2)=p(1|2)=p,p(2|2)=1-2p,画出状态转移图并求平稳后各状态的概率分布。解：根据符号转移概率p(y︱x)yx01201-2ppp1p1-2pp2pp1-2p状态空间为S={00（S0），01（S1），02（S2），10（S3），11（S4），12（S5），20（S6），21（S7），22（S8）}可写出转移概率矩阵12000001200000121200000120000012121212ppppppppppppPppppppppppppppp状态转移图（略）由状态转移图列方程组，设各状态的转移概率分别为,0~8ipi00361036231475414762587825881(12)()()()(12)()()(12)()1iipppppppppppppppppppppppppppppppppp解得0481235671233ppppppppppp1.5设有一马尔可夫信源如题图1-1所示，112233,,sxasxasxa（1）求平稳后各状态出现的概率;（2）若在初始时刻L=0时处于状态s1;（3）求L=2时刻x2=a1的概率;（4）求稳态下字母序列a3,a1,a2,a1,a2出现的概率。解：（1）求平稳后各状态出现的概率转移概率矩阵为01434121414100P1S2S3S1:1/2a2:1/4a1:1a3:3/4a3:1/4a2:1/4a由P列方程组12321231212312114431441pppppppppppp解得平稳分布为111613213513ppp（2）若在初始时刻0l时处于状态S1，求2l时刻，21xa的概率S1S2S3S1S11/43/41/21l=0l=1l=221011137{}14248pxaSs或由二步转移概率矩阵(2)711816163378161613044PPP可得（3）∵在L=0时处于状态S1，∴在L=2时x2=a1有两种情况：P1=314，P2=1142=18∴所求概率P=P1+P2=78（4）求稳态下字母序列31212aaaaa出现的概率51115113424416p平稳分布P3转移概率1.6有一个二院对称信道，p=0.06，设该信道以1000个符号/秒的速度传输输入符号，现有一消息序列共有9500个符号，并设消息中q（0）=q（1）=0.5，问从信息传输的角度来考虑，10秒钟能否将消息无失真地传送完？解：信源符号等概率分布，故信源熵为1()12Hbit，9500个符号的信息量为9500bit。又由二进制对称信道的信道矩阵0.940.06.0.60.94P1(0)(1)2qq，1()()12HYHbit/符号发送和接收符号的联合概率矩阵为0.470.030.030.47XYP1()()()log()((0.94,0.06)2)2XYHYXpxpyxpyxH=0.327(;)()()10.3270.673IXYHYHYXbit/符号10秒钟可以传送0.6731000106730bit，故无法在10秒内无失真地传送。1.7求二元删除信道的二次扩展信道。解：二元删除信道的信道矩阵为1001ppPpp，设输入符号集合为X={0,1}，输出符号集合为Y={0,e,1}。2{00,01,10,11}X，2{00,0,01,0,,1,10,1,11}Yeeeeee22222222(1)0(1)(1)00000(1)0(1)(1)000000(1)(1)0(1)00000(1)(1)0(1)ppppppppppppPpppppppppppp1.8设有一反馈通信系统如图1-2所示，信源为二元离散无记忆信源，信道为二元删除信道，反馈信道为无干扰信道。译码器判断若收到为删除符号就通知发端重传原来的符号（0或1），若收到0或1，译码器就将它送给信宿，同时通知发端送下一个符号。试求：（1）每个信息符号被接收端接收所需的平均传送次数。（2）信宿接收的符号的错误概率。解：（1）∵此系统中有二元删除信道且其概率分布如图：∴信息符号被接收端接收的概率为p∴接收端接收所需的平均传送次数为（2）∵信源发出信号是随机的，且此系统中有二元删除信道且译码器判断若收到为删除符号就通知发端重传原来的符号（0或1）∴信宿接收的符号错误概率为0。信源无干扰反馈信道二元删除信道编码器译码器信宿0P0e1-p1P11-p