信息理论基础 ch2

第2章信息的统计度量2.1自信息量和条件自信息量2.2互信息量和条件互信息量2.4离散集的平均互信息量2.3离散集的平均自信息量2.5连续随机变量的互信息和相对熵本章教学要求：1、熟练掌握消息的自信息量和条件自信息量以及互信息量和条件互信息量2、熟练掌握离散集的平均自信息和平均互信息量3、了解连续随机变量的互信息和相对熵2.1自信息量和条件自信息量2.2.1自信息量2.2.2条件自信息量定义：一个随机事件的自信息量定义为其出现概率对数的负值。即:)(log)(iixpxI1.自信息量说明：因为概率越小，的出现就越稀罕，一旦出现，所获得的信息量也就较大。由于是随机出现的，它是X的一个样值，所以是一个随机量。而是的函数，它必须也是一个随机量。)(ixpixix)(ixIix2.2.1自信息量自信息量的单位的确定在信息论中常用的对数底是2，信息量的单位为比特（bit）；若取自然对数，则信息量的单位为奈特（nat）；若以10为对数底，则信息量的单位为笛特（det）。这三个信息量单位之间的转换关系如下：1nat＝log2el.433bit，ldet＝log2103.322bit典型例子一个以等概率出现的二进制码元（0，1）所包含的自信息量为：I（0）=I（1）=-log2（1/2）=log22=1bit若是一个m位的二进制数，因为该数的每一位可从0,1两个数字中任取一个，因此有2m个等概率的可能组合。所以I=-log2(1/2m)=mbit，就是需要m比特的信息来指明这样的二进制数。定义：随机事件的不确定度在数量上等于它的自信息量．说明:两者的单位相同，但含义却不相同。具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的特性，而自信息量是在该事件发生后给予观察者的信息量。2.不确定度一个出现概率接近于1的随机事件，发生的可能性很大，所以它包含的不确定度就很小；反之，一个出现概率很小的随机事件，很难猜测在某个时刻它能否发生，所以它包含的不确定度就很大；若是确定性事件，出现概率为1，则它包含的不确定度为0。两个消息xi，yj同时出现的联合自信息量说明：当xi,yj相互独立时，有P(xiyj)=P(xi)P(yj)，那么就有I(xiyj)=I(xi)+I(yj)。xiyj所包含的不确定度在数值上也等于它们的自信息量。)(log)(jijiyxpyxI2.2.2条件自信息量定义：在事件yj出现的条件下，随机事件xi发生的条件概率为，则它的条件自信息量定义为条件概率对数的负值：)/(log)/(jijiyxpyxI说明：在给定yj条件下，随机事件xi所包含的不确定度在数值上与条件自信息量相同，但两者含义不同。1.条件自信息量)/(jiyxp例子英文字母中“e”出现的概率为0.105，“c”出现的概率为0.023，“o”出现的概率为0.001。分别计算它们的自信息量。解：“e”的自信息量I（e）=-log20.105=3.25bit“c”的自信息量I（c）=-log20.023=5.44bit“o”的自信息量I（o）=-log20.001＝9.97bit2.2互信息量和条件互信息量2.2.1互信息量2.2.2条件互信息量2.2.2互信息量的性质2.2.1互信息量信源X有扰离散信道信宿Y干扰源图1简化通信系统模型基本概念1.什么叫信源X的先验概率p(xi)?由于信宿事先不知道信源在某一时刻发出的是哪一个符号,所以每个符号消息是一个随机事件。信源发出符号通过有干扰的信道传递给信宿。通常信宿可以预先知道信息X发出的各个符号消息的集合,以及它们的概率分布，即预知信源X的先验概率p(xi)。2.什么叫后验概率?当信宿收到一个符号消息yj后，信宿可以计算信源各消息的条件概率p(xi/yj),i=1,2,…N,这种条件概率称为后验概率。3.什么叫互信息量？互信息量为后验概率与先验概率比值的对数:即两个离散随机事件集X和Y，事件yi的出现给出关于xi的信息量，定义为互信息量。根据对数函数的性质知，互信息量等于自信息量减去条件自信息量。或者说互信息量是一种消除的不确定性的度量。即疑义度。什么叫疑义度？信道上的干扰和噪声所造成的对信源符号X的平均不确定度I（X／Y），称为疑义度。I（xi;yj）=log)()/(ijixpyxp)(1log)(1log)(;iiiiiyxpxpyxI说明:在通信系统中，若发端的符号是X，而收端的符号是Y，I（X；Y）就是在接收端收到Y后所能获得的关于X的信息。若干扰很大，Y基本上与X无关，或说X与Y相互独立，那时就收不到任何关于X的信息.若没有干扰，Y是X的确知一一对应函数，那就能完全收到X的信息H（X）。2.2.1互信息量的性质互信息量具有下述四个主要性质：Ⅰ.互易性证明：)()(;;iiiixyIyxI)()()(log)()(/)(log)()()()(log)()(log)(;;iiiiiiiiiiiiiiiiiiixyIypxypypxpyxpypxpypyxpxpyxpyxI附：I（X；Y）＝I（X）一I（X／Y）证明:jiijijijxpyxpyxpypYXI,)()/(log)/()();(jijijijyxPyxpyp,)/(log)/()(jiijijxPyxpyp,)(log)/()(jijijiyxPyxp,)/(log)(iiixPxp)(log)()/()(YXIXIⅡ.互信息量可以为零当事件xi,yi统计独立时，互信息量为零，即I（Xi；Yi）＝0证明：由于xi,yi统计独立，则有p（Xi；Yi）＝p（Xi）p（Yi）则即不能从观测yi获得关于另一个事件xi的任何信息。011)()()(log)()(log),(bypxpyxpxpyxpyxIiiiiiiiiiⅢ.互信息量可正可负当后验概率大于先验概率时，互信息量大于零，为正值；反之，为负值。互信息为正意味事件的出现有助于事件的出现；反之则不利。)(iiyxp)(ixp)(;iiyxIiyixⅣ.任何两个事件之间的互信息量不可能大于其中任一事件的自信息量。证明：由于互信息量为一般，所以同理，)()(log)(;iiiiixpyxpyxI)()(1log)(;iiiixIxpyxI1)(iiyxp)()(;iiiyIxyI2.2.３条件互信息量1.定义联合集XYZ中，在给定的条件下，ｘｉ与ｙｉ之间的互信息量定义为条件互信息量。其定义式为联合集XYZ上还存在ｘｉ与ｙｉzk之间的互信息量，其定义式为)()(log)(;kikiikiizxpzyxpzyxI)()(log)(;ikiikiixpzyxpzyxI说明：一对事件yizk出现所提供的有关xi的信息量I（xi;yjzk），等于事件yi出现后所提供的有关xi的信息量I（xi;yj）加上在给定事件yi的条件下再出现事件zk所提供的有关xi的信息量。即：I（xi;yjzk）＝I（xi;zk）＋I（xi;yj/zk）证明：)()/(log);(ikjikjixpzyxpzyxI)/()/()()/(logkikiikjizxpzxpxpzyxp)()/(log)/()/(logikikikjixpzxpzxpzyxp)/;();(kjikizyxIzxI2.3离散集的平均自信息量问题：什么叫信源熵？什么叫平均自信息量？熵的性质有哪些？什么叫条件熵？什么叫联合熵？联合熵、条件熵和熵的关系是什么？一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。解:依据题意这一随机事件的概率空间为2.08.021xxPX2.3.1平均自信息量（熵）例2-3-1其中：x1表示摸出的球为红球事件，x2表示摸出的球是白球事件。如果摸出的是红球，则获得的信息量是I（x1）=-log2p（x1）=-log20.8bit如果摸出的是白球，则获得的信息量是I（x2）=-log2p（x2）=-log20.2bit3）如果每次摸出一个球后又放回袋中，再进行下一次摸取。则如此摸取n次，红球出现的次数为np（x1）次，白球出现的次数为np（x2）次。随机摸取n次后总共所获得的信息量为np（x1）I（x1）+np（x2）I（x2）说明：自信息量I（x1）和I（x2）只是表征信源中各个符号的不确定度，一个信源总是包含着多个符号消息，各个符号消息又按概率空间的先验概率分布，因而各个符号的自信息量就不同。所以自信息量不能作为信源总体的信息量。说明：则平均随机摸取一次所获得的信息量为H（X）=1/n[np（x1）I（x1）+np（x2）I（x2）]=-[p（x1）log2p（x1）+p（x2）log2p（x2）=0.72比特/次212)(log)(iiixpxp因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也是非负值，且0p（xi）1，故信源的平均不确定度H（X）也是非负量。平均不确定度H（X）的定义公式与热力学中熵的表示形式相同，所以又把H（X）称为信源X的熵。熵是在平均意义上来表征信源的总体特性的，可以表征信源的平均不确定度。注：离散信源熵H(X)(平均自信息量/平均不确定度/平均信息量)定义：信源的平均自信息量H(X)为信源中各个符号不确定度的数学期望，即：iiiiiixpxpxIxpXH)(log)()()()(某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，必有信源的熵值；这熵值是在总体平均上才有意义，因而是一个确定值，一般写成H（X），X是指随机变量的整体（包括概率分布）。信息量则只有当信源输出符号而被接收者收到后，才有意义，这就是给予接收者的信息度量，这值本身也可以是随机量，也可以与接收者的情况有关。当某一符号的概率为零时，在熵公式中无意义，为此规定这时的也为零。当信源X中只含一个符号时，必定有此时信源熵H（X）为零。ixipiipplogiipplogx1)(xppip熵的单位信息熵的单位与公式中的对数取底有关。通信与信息中最常用的是以2为底，这时单位为比特（bit）；理论推导中用以e为底较方便，这时单位为奈特（nat）；工程上用以10为底较方便，这时单位为哈特（hat）。它们之间可以引用对数换底公式进行互换。比如：1bit=0.693nat=0.301hat1hat=3.322bit1nat=1.443bit例2－3－2电视屏上约有500×600=3×105个格点，按每点有10个不同的灰度等级考虑，则共能组成个不同的画面。按等概率1/计算，平均每个画面可提供的信息量为=3×105×3.32比特/画面106bit510310n510321210log)(log)()(niiixpxpXH5103101例2－3－3有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文N=100001000=104000篇仍按等概率1/100001000计算，平均每篇千字文可提供的信息量为H（X）＝log2N＝4×103×3．321．3×104比特／千字文说明：“一个电视画面”平均提供的信息量远远超过“一篇千字文”提供的信息量。熵函数主要具有以下代数性质：1.对称性2.非负性3.扩展性4.可加性5.极值性6.确定性7.上凸性2.3.2熵函数的代数性质1．对称性熵函数所有变元顺序可以任意互换，而熵函数的值不变。即H（x1，x2，…，xn）＝H（x2，x1，…，xn）＝H（xn，x1，…，x2）＝…因为熵函数只与随机变量的总体结构有关，例如下列信源的熵都是相等的：6/12/13/1321xxxPX2/16/13/1321yyyPY6/13/12/1321zzzPZ说明：由根据加法交换律，熵函数所有变元顺序可以任意互换，而熵函数的值不变。说明：(1)熵函数的对称性表明,信源的信息熵