通信原理_第二讲_信息及其量度

通信原理第二讲通信基础教研室潘若禹办公室3号实验楼135电话88166354邮箱[e-mail]1.3信息及其量度1.信息定义信息—information消息—message信息可以理解为消息中包含的有意义的内容例如：今天晚上23点天已经黑了。今天晚上23点学校要放电影。今天晚上23点西安要地震。今天晚上23点地球要灭亡了。信息量依次增大2.信息量I定义：消息出现的概率的函数特性：1)消息出现的概率越小，所包含的信息量越大；(反比的关系)2)若某消息由若干个独立消息所组成，则该消息所包含的信息量是每个独立消息所含信息量之和。（对数的性质）对数的性质:()px1212log[()()]log[()]log[()]aaaPxPxPxPx结论：由以上的分析可得信息量的公式(1-1)单位：单位为比特(bit简写为b)单位为奈特(nat简写为n)单位为笛特(Det)或称为十进制单位单位称为r进制单位2aae10aar1loglog()()aaIpxpx【例1－1】已知二进制离散信源(0,1),每一符号等概独立发送，求传送0和1的信息量。解：由于每一波形出现的概率为，故传送0和1的信息量都为【例1－2】已知二进制离散信源(0,1),若0和1出现的概率分别为0.75和0.25，求0和1的信息量。解：()12Px01221loglog21()IIbitPx02211loglog0.43(0)0.75Ibitp12211loglog2(1)0.25Ibitp3.离散独立等概消息的信息量离散：消息集有M个可能的消息所组成独立：各消息间相互统计独立等概：各消息出现的概率相等1)二进制(M=2)结论：对于等概的二进制波形，其每个符号(码元)所包含的信息量为1bit()12Px221loglog()1()IPxbitPx2)M进制()结论：等概M进制的每个符号(码元)所包含的信息量为Nbit，是二进制的N倍。2NM()12NPxM221loglog()IMNbitPx010110031203图1.7二进制与四进制的波形比较码元宽度Tb4.平均信息量—熵H(X)定义：平均信息量等于各个符号的信息量乘以各自出现的概率之和。单位：bit/符号设各符号出现的概率为则平均信息量(每个符号所包含信息的平均值)为(1-2)12112,,,()1(),(),()nniinxxxPxPxPxPx且1212222()()[log()]()[log()]()[log()]nnHxPxPxPxPxPxPx21()[log()]niiiPxPx重要结论：信息源的最大熵出现于信源中每个符号等概独立之时。此时最大熵为bit/符号(1-3)总信息量I的两种计算方法：1)若某符号集的熵为H(X),则当该符号集发送m个符号时(1-4)2)若消息中包含的符号不太多，可以用实际每个符号出现的次数来计算max22111loglogMiHMMM()1PxM()ImHX【例1－3】已知某四进制离散信源(0,1,2,3)其中每一个符号出现的概率分别为，，，，且相互独立，求信源发送13201010100201300200100210300101020010030103210消息时的信息量。解法一：用熵的方法bit/符号又，所以bit0221log(0)log12Ipbit1214181833200()log()()iiiiiiHPxPxPxI111112331.75248847m471.7582.25ImH12log(1)2Ipbit322log(2)3IIpbit解法二：用实际出现的次数来计算本消息共47个符号，其中0出现24次，1出现12次，2出现6次，3出现5次。每个符号所包含的信息量为所以总的信息量为0221log(0)log12Ipbit12log(1)2Ipbit322log(2)3IIpbit0123241265241122635381IIIIIbit1.5一般通信系统的性能指标对一个一般的通信系统而言，有效性和可靠性是主要的衡量指标。有效性：快慢问题可靠性：好坏问题1.5.1模拟通信系统的性能指标有效性指标——传输带宽如传输一路模拟电话，采用单边带调制占有4KHZ的带宽，采用双边带调制占有8KHZ的带宽。可靠性指标——输出信噪比一般说接收端的输出信噪比越大，系统的可靠性越好。1.5.2数字通信系统的性能指标(重点)有效性指标——传输速率1)码元传输速率RB:单位时间内传输码元(符号)的数目单位：波特BaudB若码元宽度为Tb则(1-5)码元传输速率又称为码元速率传码率码率等2)信息传输速率Rb：单位时间内传送的信息量单位：比特/秒bit/s信息传输速率又称为传信率比特率等1BbRT分析可知码元传输速率与信号的进制数无关，只与码元宽度有关。因为信息量与信号进制数有关，信息传输速率与进制数也有关系。3)两者的关系1.二进制(1-6)两者数值相等，单位不同2.多进制M为进制数(1-7)3.若码元速率保持不变，即(1-8)(1-9)4.若信息速率保持不变，即(1-10)(1-11)22bBRR2logbMBMRRM2BBMRR22logbMbRRM2bbMRR22logBBMRRM5.一般情况下：(1-12)•有效性指标——频带利用率在系统需要的传输带宽不相同的情况下，仅仅比较传输速率是不公平的，因此需要采用频带利用率的指标。定义：单位频带内码元(信息)传输速率的大小意义：把带宽与传输速率相联系，以便更好地考虑有效性。(/)BRBHzB(//)bRbsHzBbBRRH【例1－4】某信息源的符号集有A、B、C、D所组成，各符号间独立。(1)若每个符号的时间宽度为，计算1.各符号等概出现时的码元速率和信息速率2.各符号出现概率分别为，，，时的码元速率和信息速率解：1.2.由于不变，所以仍为500B，而此时2bTms1163165167162bTms311500210BbRBT50021000bit/sbBRRH＝＝22loglog42/HMbit符号bTBR(2)若每一个符号均以二进制脉冲编码，A→00，B→01，C→11，D→10，且每个脉冲宽度为，重复(1)题计算。解：此时每一符号均由两个二进制脉冲所组成，每个脉冲宽度，因而每个码元宽度，与(1)题相同，从而计算结果亦与(1)题相同。21()[log()]1.75/niiiHPxPxbit符号5001.75875/bBRRHbits1bTms1bTms22sbTTms可靠性指标——差错率1.码元差错率码元差错率简称误码率，它是指接收错误的码元数在传送总码元数中所占的比例。更确切地说，误码率就是码元在传输系统中被传错的概率。(1-13)ePePeP单位时间内接收的错误码元数单位时间内系统传输的总码元数单位时间内接收的错误码元数正确码元数错误码元数2.信息差错率信息差错率简称误信率，或误比特率，它是指接收错误的信息量在传送信息总量中所占的比例，或者说，它是码元的信息量在传输系统中被丢失的概率。(1-14)注意：在二进制中ebPebPeb()()P单位时间内系统传输中出错丢失的比特数单位时间内系统传输的总比特数总信息量单位时间内系统传输中出错的信息量单位时间内系统传输的总信息量ebePP＝【例1－5】某消息以二进制码方式传输，信息速率为2Mbit/s:(1)若在接收机输出端平均每小时出现72bit差错，求误比特率；(2)若已知信道的误比特率,试求平均相隔多长时间就会出现1bit差错。思路本题是误比特率概念和计算问题解：(1)每秒出现的差错数为：720.02()3600bit9510bP＝860.0210210bP(2)信息速率误比特率为每秒出现的差错个数即平均每隔100秒出现1bit差错。965102100.01ebbNPR11100()0.01eeTsN2(/)bRMbits9510bP本章考点1.概念本章有许多基本概念，可能作为填空、简答题。2.计算信息量和熵的计算码元速率、信息速率、误码率的计算