第二章信息的度量

第二章信息的度量2.1自信息和互信息2.2平均自信息2.3平均互信息2.1自信息和互信息2.1.1自信息定义一个事件（消息）本身所包含的信息，它是由事件的不确定性决定的。自信息量一个事件（消息）本身所包含的信息量，记为。自信息量为概率的函数。)(ixI)(ixp2.1.1自信息根据客观事实和人们的习惯概念，自信息量应满足以下条件（公理化条件）：1.是的严格递减函数。当时，，概率越小，事件发生的不确定性越大，事件发生以后所包含的自信息量越大。2．极限情况下当=0时，；当=1时，=0。3．另外，从直观概念上讲，由两个相对独立的不同的消息所提供的信息量应等于它们分别提供的信息量之和。可以证明，满足以上公理化条件的函数形式是对数形式。)(ixI)(ixp)(ixI)(ixp12()()pxpx12()()IxIx)(ixp()iIx定义：随机事件的自信息量定义为该事件发生概率的对数的负值。设事件的概率为，则它的自信息定义为由图可见：上述信息量的定义正是满足上述公理性条件的函数形式。含义：1）当事件发生以前，等于事件发生的不确定性的大小；2）当事件发生以后，表示事件所含有或所能提供的信息量。ix)(ixp1()log()log()defiiiIxpxpx)(ixI2.1.1自信息自信息量的单位：与所用对数的底a有关。单位换算关系：1奈特=比特=1.443比特e2log1哈特莱=比特=3.322比特10log21r进制单位=比特r2log2.1.1自信息a=2I=-log2P单位为比特（bit）I=-logPa=eI=-lnP单位为奈特（nat）a=10I=-lgP单位为哈特莱（hartley）a=rI=-logrP单位为r进制信息单位[例1]（1）英文字母中“a”出现的概率为0.064，“c”出现的概率为0.022，分别计算他们的自信息量。（2）假定前后两字母出现是互相独立的，求“ac”的自信息量。（3）假定前后字母出现不是独立的，当“a”出现后，“c“出现的概率为0.04，计算”a“出现后，”c”出现的自信息量。（4）比较（3）中计算出的信息量，并与“c“的信息量进行比较和分析。2.1.1自信息解：字母出现相互独立，742.9022.0064.0cIaIlog0.022log0.064logacI[例1]（1）英文字母中“a”出现的概率为0.064，“c”出现的概率为0.022，分别计算他们的自信息量。（2）假定前后两字母出现是互相独立的，求“ac”的自信息量。相互独立事件积事件的信息量为各事件信息量的和。2.1.1自信息解：966.3log0.064aI506.5log0.022cI022.0064.0cpapacp（3）假定前后字母出现不是独立的，当“a”出现后，“c“出现的概率为0.04，计算“a”出现后，“c”出现的自信息量。（4）比较（3）中计算出的信息量，并与“c“的信息量进行比较和分析。可见，“a”出现后，“c”出现的概率增大，其不确定性则变小。（前后字母出现不是独立的，“a”出现给出了“c”的部分信息，故“a”出现后，“c”的不确定性则变小。）2.1.1自信息644.4log0.04acI解：506.5log0.022cI644.4log0.04acI解：0.04acp0.022cp结论：设有两事件a和b：(1)若相互独立，则I(ab)=I(a)+I(b);(2)若不为相互独立，则I(ab)I(a)+I(b).2.1.1自信息证明？[例2]8个串联的灯泡x1，x2，…，x8，其损坏的可能性是等概率的，现假设其中有一个灯泡已损坏，问总共需要多少次测量才能获知和确定哪个灯泡已损坏。2.1.1自信息[例2]8个串联的灯泡x1，x2，…，x8，其损坏的可能性是等概率的，现假设其中有一个灯泡已损坏，问每进行一次测量可获得多少信息量？总共需要多少次测量才能获知和确定哪个灯泡已损坏。解：收到某消息获得的信息量(即收到某消息后获得关于某事件发生的信息量)＝不确定性减少的量＝(收到此消息前关于某事件发生的不确定性)-(收到此消息后关于某事件发生的不确定性)已知8个灯泡等概率损坏，所以先验概率P(x1)＝1/8，即第二次测量获得的信息量=I[P(x2)]-I[P(x3)]=1(bit)第三次测量获得的信息量=I[P(x3)]=1(bit)故：至少要获得3个比特的信息量就可确切知道哪个灯泡已坏了。)(3)(1log)]([121bitxPxPI第一次测量获得的信息量=I[P(x1)]-I[P(x2)]=1(bit)经过二次测量后，剩2个灯泡，等概率损坏，P(x3)＝1/2一次测量后，剩4个灯泡，等概率损坏，P(x2)＝1/4)(2)(1log)]([222bitxPxPI)(1)(1log)]([323bitxPxPI2.1.1自信息联合自信息量:二维联合集XY上元素(xiyj)的自信息量定义为其中，xiyj是积事件；p(xiyj)是二维联合概率。条件自信息量:若事件xi在事件yj给定条件下的概率为p(xi|yj)，则其条件自信息量定义为对于联合事件（多维随机变量）：)(log)(1log)(jijijiyxpyxpyxI)|(log)|(1log)|(jijijiyxpyxpyxI定义：一个事件所给出关于另一个事件的信息定义为互信息，用表示。含义：互信息是已知事件后所消除的关于事件的不确定性，它等于事件本身的不确定性减去已知事件后对仍然存在的不确定性。2.1.2互信息jyix);(jiyxI(|)(;)()(|)log()defijijiijipxyIxyIxIxypx);(jiyxIjyixixix)(ixI(|)ijIxyjy理解：因此，已知事件后所消除的关于事件的不确定性为：即：2.1.2互信息信道信宿信源干扰或噪声消息ix)(ixIjy)(ixpjiyxp(|)ijIxy(|)(;)()(|)log()defijijiijipxyIxyIxIxypxjiiyxIxIjyix特例（无干扰信道）：因此，已知事件后所消除的关于事件的不确定性为：即：2.1.2互信息ix)(ixIjy)(ixpjiyxp(|)ijIxyjyix信道信宿信源消息=1=0ijixIy;xIijiixIyxIxI2.1.2互信息[例3]某地二月份天气出现的概率分别为：晴1/2，阴1/4，雨1/8，雪1/8。某一天有人告诉你：今天不是晴天，把这句话作为接收的消息y1,求收到y1后，y1与各种天气的互信息量。解：记：x1（晴），x2（阴），x3（雨），x4（雪）1）求收到y1后，各种天气的后验概率。则：011111ypyxpyxp11212ypyxpyxp4112yxp218181411yp2112yxp2.1.2互信息同理：2）根据互信息量定义，计算收到y1与各种天气的互信息。则：11111xpyxplogyxI；4113yxp4114yxpbitlogxxlogyx1412121212pypI；bitlogxxlogyx1814131313pypI；bitlogxxlogyx1814141414pypI；设某班学生在一次考试中获优（A）、良（B）、中（C）、及格（D）和不及格（E）的人数相等。当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？[例4]解：令P(a)表示“得到老师通知前甲的成绩的不确定性（概率）”P(a|b)表示“得到老师通知后甲的成绩的不确定性（概率）”则P(a)=1/5，P(a|b)=1/4)(aI)(log2ap)5/1(log22.3219)(bit)|(baI)|(log2bap)4/1(log22)(bit);(baI)(aI)|(baI2-2.32190.3219)(bit总的需要信息剩余信息获得信息2.1.2互信息条件互信息量:在联合集XYZ中，在给定zk的条件下，xi与yj之间的互信息量定义为条件互信息量。其定义式为:联合互信息:联合事件{Y＝yj,Z＝zk}与事件{X＝xi}之间的联合互信息为:对于联合事件（多维随机变量）：)|()|(log)|;(kikjikjizxpzyxpzyxI)|;();()|()|(log)()|(log)()|(log);(jkijijikjiijiikjikjiyzxIyxIyxpzyxpxpyxpxpzyxpzyxI(|)(;)()(|)log()defijijiijipxyIxyIxIxypx(|)(;)()(|)log()defijijiijipxyIxyIxIxypx回顾自信息自信息量条件自信息量联合自信息量互信息)(log)(1log)(jijijiyxpyxpyxI(|)ijIxyixIjy;Iix)|yI(x)I(y)yI(x)|xI(y)I(x)yI(xjijjiijiji)|yI(x)I(x);yI(xjiiji)yI(x)I(y)I(x);yI(xjijiji)p(x)|yp(x);yI(xijijilog)|y)p(xp(y)|x)p(yp(x)yp(xjijijiji自信息量与互信息量的联系2.2平均自信息（信源熵，信息熵，熵）2.2.1平均自信息的概念引出：信源不确定性的度量（信源信息的度量）1）自信息量2）平均自信息量信源中每个消息信息量的统计平均值。平均自信息量又称为：信源熵、信息熵或熵。不可行2.2.1平均自信息的概念信源及其分布的表示形式（概率空间）信源具有不确定性，所以我们把信源用随机变量来表示。相应地，其可能取值和这些取值的概率就可以用概率空间来表示。其中，X代表信源，代表其可能的各种取值，为各种取值的概率。)(,),(),(,,,)(2121qqxPxPxPxxxXPXix)(ixpXPX,平均自信息量的定义随机变量X的每一个可能取值的自信息的统计平均值这里q为所有X可能取值的个数。信息熵是随机变量X的概率分布的函数，所以又称为熵函数，且为（q-1）元函数。把概率分布，记为，则熵函数又可以写成概率矢量的函数的形式，记为。)(ixI1()()()log()qiiiiHXEIxpxpx2.2.1平均自信息的概念(),12ipxiq，，，qppp,,,21),,,(21qpppp)(pH121()log(,,,)()qiiqiHXppHpppHp)(XH平均自信息量（熵）的含义1）熵是从整个集合的统计特性来考虑的，它从平均意义上来表征信源的总体特征。2）信息熵表征了信源的随机性。3）在信源输出前，信息熵H(X)表示信源的平均不确定性；4）在信源输出后，信息熵H(X)表示每个消息提供的平均信息量。2.2.1平均自信息的概念几点说明1）熵的单位与所取对数的底数有关。根据所取的对数底不同，可以是比特/符号、奈特/符号、哈特莱/符号或者是r进制单位/符号。通常用比特/符号为单位。2）信息熵也成为负热熵。3）信源熵给出了对信源输出的消息进行无失真编码时，平均每个信源符号至少要用的符号数。4）信息熵并不等于收信者平均获得的信息量。传输系统往往有噪声和干扰，因此收信者不能全部消除信源的平均不确定性，获得的信息量往往小于信息熵。2.2.1平均自信息的概念熵的计算例：有一布袋内放l00个球，其中80个球是红色的，20个球是白色的。随便摸出一个球，求平均摸取一次所能获得的信息量。如果被告知摸出的是红球，那么获得的信息量是：I(a1)＝－logp(a1)＝－log0.8=0.32（比特）如被告知摸出来的是白球，所获得