通信原理第二讲

通信原理第二讲李晓红信息及其度量•一.信息量)]([xpII1.原则:恒量信息多少的物理量•①信息量是概率的函数②P(x)越小，I越大P(x)越大，I越小IP(x)0P(x)1I0•③若干个独立事件所含的信息量=每个独立事件所含信息量的和（可加性）)]([)]([)]()([2121xpIxpIxpxpI2.结论)(log)(1log)]([xpxpxpIIaa单位：a=enit（奈特）a=10Hartly（哈特莱）a=2bit（比特）•【例1】已知二元离散信源只有“0”、“1”两种符号，若“0”出现概率为1／3，求出现“1”所含的信息量。bitI585.023log)1(21loglog()()aaIPxPx例2：消息A和B出现的概率分别为0.765和0.023,分别求出它们的信息量。（1）、单一符号出现时的信息量计算•例3：设二进制离散信源，以相等概率发送数字信号0或者1，计算每个符号出现时的信息量。结论：对于等概的二进制波形，其每个符号（码元）所包含的信息量为1bit例4：四进制离散信源，等概发送，求平均每个符号所含的信息量同理，8进制独立等概，每一波形出现时的信息量？对于离散信源，M个波形等概率（P=1/M）发送，且每一个波形的出现是独立的，即信源是无记忆的，则传送M进制波形之一的信息量为MxPxPIaa2log)(log)(1log[例5]一信息源由4个符号0，l，2，3组成，它们出现的概率分别为3/8，l/4，l/4，l/8，且每个符号的出现都是独立的。试求某个消息20l02013021300120321010032l0l0023l020020l0312032l00l202l0的信息量。在此消息中，0出现23次，l出现14次，2出现13次，3出现7次，消息共有57个符号。其中出现0的信息量为23log28/3＝33bit，出现1的信息量为14log24＝28bit，出现2的信息量为13log24＝26bit，出现3的信息量为7log28＝21bit，故该消息的信息量为I=33+28+26+21=108bit平均（算术平均）一个符号的信息量应为)/(89.157108符号符号数bitII1()1niiPx1log()niaiiInPx1212()()()nnxxxPxPxPx（2）、对于由一串符号构成的消息信息量的计算假设各个符号的出现是相互独立的，根据信息量相加的概念，整个消息的信息量（3）离散信源的平均信息量（信源熵)每个符号所含信息的平均值（平均信息量）(信源熵)：符号）(bit/)(l)()(12niiixPogxPxH•【例题6】求例题5中消息的平均信息量。•解33111111884444881.906/HIbIbIbIbbit因为消息有57个符号，所以该消息所含信息量为I=57×1.906≈108.64bit1()()log()niaiiHXPxPx•不同的离散信息源可能有不同的熵值。•期望熵值愈大愈好。)/(log2符号bitn即P(xi)＝l/n，i＝l，2，…，n，信息源的最大熵发生在每一符号等概率出现时最大熵值等于•例7：某信源的符号集由A，B，C，D，E，共5个符号组成，各符号间独立出现•（1）若他们出现的概率分别为7/16，5/16，3/16，1/32和1/32，试求该信源符号的平均信息量•（2）若各符号等概出现，计算该信息源符号的平均信息量1.5主要性能指标在设计或评价通信系统时，用主要性能指标来衡量其质量的优劣。一：通信系统的性能指标（6性）：有效性、可靠性、适应性、标准性、经济性及维护使用等等。有效性：是指消息传输的“速度”问题；可靠性：指消息传输的“质量”问题。二、模拟通信系统的性能指标•1、有效性：占相同带宽下的传信能力大小来衡量传输频带宽度2、可靠性：用接收端最终输出的信噪比衡量均方误差:是衡量发送的模拟信号与接收端复制的模拟信号之间误差程度的质量指标。均方误差越小，说明复制的信号越逼真。三、数字通信系统主要的性能指标:有效性：传输速率可靠性：差错率1、传输速率①码元传输速率RB(码元速率、传码率，符号传输速率，波特率)。每秒钟传送码元的数目单位为“波特”（Baud），“B”。•数字信号有多进制和二进制之分，但传码率与进制数无关，只与传输的码元长度T有关:1()BRBT=例8：某2进制调频波，一个“1”或“0”的持续时间为T=833×10-6秒，求RB•②信息传输速率Rb（信息速率,传信率、比特率）。单位：比特/秒，bit/s，或b/s，或bps。单位时间内传递的信息量•例9：若某信息源每秒钟传送1200个符号，而每一符号的平均信息量为lbit，求该信息源的信息速率。HRRBMbM★码元速率与信息速率在数值上的关系(bit/s)log2MRBM在二进制下，码元速率与信息速率在数值上相等，只是单位不同•例10：码元速率为1200B，采用8进制等概传输时，信息速率为多少？采用二进制传输时信息速率又是多少？例11：某信源的符号集由A，B，C，D，E组成，每一符号独立出现，其出现的概率为1/4，1/8，1/8，3/16，5/16，信源以1000B速率传送消息（1）求传送一小时的信息量（2）求传送一小时的最大信息量•例13某信源的符号集由A，B，C，D所组成，各符号间独立。•（1）若每个符号的时间宽度为2ms,计算：•①各符号等概出现时的符号速率和平均信息速率•②各符号出现概率分别为1/16，3/6，5/16，7/16时的符号速率和平均信息速率•（2）若每个符号均以二进制脉冲编码A-00，B-01，C-10，D-11，且每个脉冲宽度为1ms，重复（1）计算例12：已知二进制信号在3min内共传送了7200个码元问（1）其码元速率RB2和信息速率Rb2（2）如果码元宽度保持不变，但改为8进制数字信号，其RB和Rb为多少？•③频带利用率)/(HzBBRB单位频带内的传输速率)./(HzsbitBRb频带利用率越大，有效性越好•2、差错率（误码率和误信率）①误码率（码元差错率，误符号率）（SymbolErrorRate,SER）指发生差错的码元数在传输总码元数中所占的比例即码元在传输系统中被传错的概率ep=错误码元数传输总码元数单位时间内错误接收的码元数/单位时间内传输的总码元数•误信率（信息差错率，误比特率）（BitErrorRate,BER）传输总比特数错误比特数bp•在二进制中有:Pb=Pe•Pb是指发生差错的比特数在传输总比特数中•所占的比例(码元的信息量在传输系统中被丢失的概率)•例14：已知：某四进制数字信号传输系统的信息速率为2400bit/s,在半小时内共接收到216个错误码元，试计算系统Pe的值作业：1-2，1-4，1-5，1-6，1-7，1-9请自己独立完成作业