北邮信息论课件-第2章离散信息的度量.

北京邮电大学信息与通信工程学院1/76第2章离散信息的度量授课教师：许文俊北京邮电大学信息与通信工程学院2/76•通信系统模型：信源、编码器、信道、译码器、信宿•通信系统三项性能指标：传输的有效性、传输的可靠性、传输的安全性•信息的三个基本层次：语法信息、语义信息、语用信息上章内容复习！注意：香农信息论所研究的信息为语法信息中的概率信息北京邮电大学信息与通信工程学院3/76本章知识结构离散信息的度量单个事件信息度量事件集平均信息度量自信息条件自信息联合自信息互信息条件互信息熵条件熵联合熵平均互信息平均条件互信息67811345912北京邮电大学信息与通信工程学院4/76§2.1自信息和互信息★自信息自信息联合自信息条件自信息★互信息互信息互信息的性质条件互信息北京邮电大学信息与通信工程学院5/76§2.1.1自信息★事件集合X中的事件的自信息：iax()log()XiXiIaPa简记()log()()logiiIxpxIap或1,01iiipp其中：1）2）()Ix非负对数的底数大于1北京邮电大学信息与通信工程学院6/76比特x2log奈特xln哈特x10log比特奈特443.11比特哈特32.31关于对数底的选取证明使用最常用北京邮电大学信息与通信工程学院7/76本书符号的约定X随机事件集合x随机事件()iXixaPa的概率(,)XYijPab联合概率概率论与随机过程北京邮电大学信息与通信工程学院8/76事件发生前事件发生后§2.1.1自信息★自信息为随机变量★自信息的含义包含两方面：事件发生的不确定性事件包含的信息量北京邮电大学信息与通信工程学院9/762.1例箱中有90个红球，10个白球。现从箱中随机地取出一个球。求：（1）事件“取出一个红球”的不确定性；（2）事件“取出一个白球”所提供的信息量；（3）事件“取出一个红球”与“取出一个白球”的发生，哪个更难猜测？北京邮电大学信息与通信工程学院10/76（1）设表示“取出一个红球”的事件，则故事件的不确定性为：比特（2）设表示“取出一个白球”的事件，则故事件所提供的信息量为：比特（3）因为，所以事件“取出一个白球”的发生更难猜测。解：1()0.9pa1a152.09.0log)(1aI1a2a2()0.1pa2a323.31.0log)(2aI)()(12aIaI北京邮电大学信息与通信工程学院11/76联合自信息★事件集合XY中的事件的自信息：jibyax,(,)log(,)XYijXYijIabPab简记()log()Ixypxy其中：1）要满足非负和归一化条件()pxy联合概率空间归一化把xy看成单一事件联合自信息与自信息含义相同北京邮电大学信息与通信工程学院12/762.1(续)例箱中球不变，现从箱中随机取出两个球。求：（1）事件“两个球中有红、白球各一个”的不确定性；（2）事件“两个球都是白球”所提供的信息量；（3）事件“两个球都是白球”和“两个球都是红球”的发生，哪个事件更难猜测？北京邮电大学信息与通信工程学院13/76三种情况都是求联合自信息。设x为红球数，y为白球数。解：(1)11/22/991001090)1,1(2100110190CCCPXY460.211/2log)1,1(I比特(2)110/12/991002/910)2,0(2100210CCPXY782.6110/1log)2,0(I比特(3)110/892/991002/8990)0,2(2100290CCPXY306.0110/89log)0,2(I比特因为，所以事件“两个球都是白球”的发生更难猜测。(0,2)(2,0)II北京邮电大学信息与通信工程学院14/76条件自信息||(|)log(|)XYijXYijIabPab简记(|)log(|)Ixypxy要满足非负和归一化条件★事件给定，事件的自信息：jbyiax(|)pxyx概率空间归一化把x|y看成单一事件条件自信息与自信息含义相同北京邮电大学信息与通信工程学院15/76jiybxa给定，事件发生前jiybxa给定，事件发生后★条件自信息的含义包含两方面：★自信息、条件自信息和联合自信息之间的关系I(xy)=I(x)+I(y|x)=I(y)+I(x|y)事件发生的不确定性事件包含的信息量如何理解条件自信息北京邮电大学信息与通信工程学院16/762.1(续)例箱中球不变，现从箱中先拿出一球，再拿出一球，求：（1）事件“在第一个球是红球条件下，第二个球是白球”的不确定性；（2）事件“在第一个球是红球条件下，第二个球是红球”所提供的信息量。北京邮电大学信息与通信工程学院17/76这两种情况都是求条件自信息，设r表示红球，w表示白球。解：(1)比特(2)比特99/10)|(rxwyp307.399/10log)|(rxwyI99/89)|(rxryp154.099/89log)|(rxryI北京邮电大学信息与通信工程学院18/762.2例有8×8=64个方格，甲将一棋子放入方格中，让乙猜：1）将方格按顺序编号，让乙猜顺序号的困难程度为何？2）将方格按行和列编号，当甲告诉乙方格的行号后，让乙猜列顺序号的困难程度为何？解：两种情况下的不确定性1)I(xy)=log264=6bit2)I(x|y)=-log2p(x|y)=-log2(1/8)=3bit北京邮电大学信息与通信工程学院19/76§2.1.2互信息★互信息★互信息的性质★条件互信息北京邮电大学信息与通信工程学院20/76互信息简记通过计算★离散随机事件之间的互信息：,ijxayb/;(|)(;)log()XYijXYijXiPabIabPa(|)(;)log()pxyIxypx(;)logijijipIabp或)|()();(yxIxIyxII(x;y)与I(x|y),I(xy)的区别北京邮电大学信息与通信工程学院21/76互信息的性质★互易性★当事件x，y统计独立时，互信息为0，即I(x;y)=0★互信息可正可负★任何两事件之间的互信息不可能大于其中任一事件的自信息如何理解(|)()(;)0IxyIxIxy北京邮电大学信息与通信工程学院22/76设e表示“降雨”，f表示“空中有乌云”，且P(e)=0.125，P(e|f)=0.8求：1）“降雨”的自信息2）“空中有乌云”条件下“降雨”的自信息3）“无雨”的自信息4）“空中有乌云”条件下“无雨”的自信息5）“降雨”与“空中有乌云”的互信息6）“无雨”与“空中有乌云”的互信息2.3例)(eI)|(feI)(eI)|(feI);(feI);(feI北京邮电大学信息与通信工程学院23/76分别求自信息、条件自信息及互信息。解：1)I(e)=-log0.125=3bit2)I(e|f)=-log0.8=0.322bit3)I()=-log0.875=0.193bit4)I(|f)=-log0.2=2.322bit5)I(e;f)=3-0.322=2.678bit6)I(;f)=0.193-2.322=-2.129biteee北京邮电大学信息与通信工程学院24/76条件互信息除条件外，条件互信息的含义与互信息的含义与性质都相同★设联合集XYZ，在给定z∈Z条件下x(∈X)与y(∈Y)之间的互信息定义为：(|)(;|)log(|)pxyzIxyzpxz北京邮电大学信息与通信工程学院25/76§2.2信息熵★信息熵的定义与计算★条件熵与联合熵★熵的基本性质北京邮电大学信息与通信工程学院26/76I(x)为事件x的自信息表示对随机变量x用p(x)来进行取平均运算熵的单位为比特（奈特）／信源符号()pxE信息熵的定义与计算★离散信源X的熵定义为自信息的平均值,记为H(X)()()[()]()log()pxxHXEIxpxpx北京邮电大学信息与通信工程学院27/76★信源输出前信源的平均不确定性★信源输出后一个信源符号所提供的平均信息量★表示信源随机性大小：H(X)大的，随机性大★信源输出后，不确定性就解除解除信源不确定性所需信息量信息熵H(X)的含义北京邮电大学信息与通信工程学院28/76一电视屏幕的格点数为500×600=300000，每点有10个灰度等级，若每幅画面等概率出现，求每幅画面平均所包含的信息量2.4例解：可能的画面数是多少？代入公式：30000010300000101pbitpXH63000002210)10(log)/1(log)(如果人眼每秒钟至少需要24幅画面才会没有跳动感，那么电视传输速率至少为多少？北京邮电大学信息与通信工程学院29/762.5例A、B两城市天气情况概率分布如下表：晴阴雨A城市0．80．150．05B城市0．40．30．3问哪个城市的天气具有更大的不确定性？北京邮电大学信息与通信工程学院30/76所以，B城市的天气具有更大的不确定性。解：符号比特/884.005.0log05.015.0log15.08.0log8.0)05.0,15.0,8.0()(HAH符号比特/571.13.0log3.03.0log3.04.0log4.0)3.0,3.0,4.0()(HBH北京邮电大学信息与通信工程学院31/762.6例有甲、乙两箱球，甲箱中有红球50、白球20、黑球30；乙箱中有红球90、白球10。现做从两箱中分别随机取一球的实验，问从哪箱中取球的结果随机性更大？解：设A、B分别代表甲、乙两箱，则所以，从甲箱中取球的结果随机性更大。符号比特/486.13.0log3.02.0log2.05.0log5.0)03,2.0,5.0()(HAH符号比特/469.01.0log1.09.0log9.0)1.0,9.0()(HBH北京邮电大学信息与通信工程学院32/76信息熵的计算★定理2.1离散信源的熵等于所对应的有根概率树上所有节点(包括根节点，不包括叶)的分支熵用该节点概率加权的和，即iiiuHuqXH)()()(其中，q(ui)为节点ui的概率，H(ui)为节点ui的分支熵。北京邮电大学信息与通信工程学院33/762.6例2/31/3r:1p1-p1/21/2a3:2(1-p)/3b2:2/3b1:2p/3a1:p/3a2:p/3a4:1/3北京邮电大学信息与通信工程学院34/76()(|)[(|)]pxyHYXEIyx()log(|)xypxypyx()[(|)log(|)]xypxpyxpyx()(|)xpxHYx(|)(|)log(|)yHYxpyxpyxxY为在取某一特定值时的熵条件熵★条件熵：联合集XY上，条件自信息I(y|x)的平均值北京邮电大学信息与通信工程学院35/762.7例随机变量X和Y，符号集均为{0，1}解：求H(Y|X)32)0(xp31)1(xp21)0|1()0|0(xypxyp1)1|1(xyp)1|()1()0|()0()|()()|(xYHxpxYHxpxYHxpXYHx符号比特/32)1(31)21(32HH北京邮电大学信息与通信工程学院36/76()()[()]pxyHXYEIxyxyyxpyxp)(log)(联合熵★联合熵：联合集XY上，对联合自信息I(xy)的平均值北京邮电大学信息与通信工程学院37/762.7(续)例由已知条件可得XY的联合概率分布，如下表所示解：求H(XY)Yp(xy)01X010313131符号比特/585.13log)31,31,31()Y(HXH北京邮电大学信息与通信工程学院38/76熵的基本性质★凸函数★信息散度★熵的基本性质★各类熵的关系★熵函数的唯一性北京邮电大学信息与通信工程学院39/76凸函数1log)()(iiipp