信息论第二章信息的度量.

第2章信息的度量内容提要：根据香农对于信息的定义，信息是一个系统不确定性的度量，尤其在通信系统中，研究的是信息的处理、传输和存储，所以对于信息的定量计算是非常重要的。本章主要从通信系统模型入手，研究离散情况下各种信息的描述方法及定量计算，讨论它们的性质和相互关系。第2章信息的度量2.1自信息量和互信息量一个事件的自信息量就是对其不确定性的度量。互信息量则表明了两个随机事件的相互约束程度。对于随机事件集X={x1，x2，…，xi，…，xI}中的随机事件xi，其出现概率记为q(xi)，将两个事件xi,yj同时出现的概率记为p(xiyj)，则q(xi)，p(xiyj)应满足：IiiixqIixq11)(,,2,10)(相应的条件概率为IiJjjijiyxpyxp111)(0)()()()()()()(ijiijjjijixqyxpxypyyxpyx信息量直观的定义为：收到某消息获得的信息量=不确定性减少的量将某事件发生所得到的信息量记为I(x)，I(x)应该是该事件发生的概率的函数，即I(x)=f[q(x)]2．1．1自信息量和条件自信息量自信息量联合自信息量条件自信息量信息量1．自信息量直观地看，自信息量的定义应满足以下四点：a.I(x)应该是q(x)的单调递减函数：概率小的事件一旦发生赋予的信息量大，概率大的事件如果发生则赋予的信息量小；b.信息量应具有可加性：对于两个独立事件，其信息量应等于各事件自信息量之和；c.当q(x)=1时，I(x)=0：表示确定事件发生得不到任何信息；d.当q(x)=0时，I(x)→∞：表示不可能事件一旦发生，信息量将无穷大。综合上述条件，将自信息量定义为:(2-1))(log)(xqxI自信息量的单位与log函数所选用的对数底数有关，如底数分别取2、e、10，则自信息量单位分别为：比特、奈特、哈特一个以等概率出现的二进制码元(0,1)所包含的自信息量为1bit。时，当21)1()0(pp221:(0)(1)loglog212IIbit有时，当41)3()2()1()0(pppp2bit4log(3)(2)(1)(0)2IIII有：【例2.3】若盒中有6个电阻，阻值为1Ω、2Ω、3Ω的分别为2个、1个、3个，将从盒子中取出阻值为iΩ的电阻记为事件（i=1，2，3），则事件集X={x1,x2,x3}，其概率分布计算出各事件的自信息量列表2-1如下：ix216131)(321xxxXqX消息xix1x2x3概率分布q(xi)1/31/61/2自信息量I(xi)log3log6log2自信息量具有下列性质:图2.1对数曲线1是非负值。)(iaI0)(1)(iiaIap时，当2)(0)(iiaIap时，当3)()(iiapaI是的单调递减函数。4自信息量自信息量I(xi)代表两种含义：1.事件xi发生以前，表示事件发生的先验不确定性2.当事件xi发生以后，表示事件xi所能提供的最大信息量（在无噪情况下）)(log)(jijiyxpyxI二维联合集XY上元素xiyj的联合自信息量I(xiyj)定义为：(2-3)2.联合自信息量)(,),(,),(,),(,,,,,,11111111mnnmmnnmbapbapbapbapbabababa)(XYPXY其中nimjjibap111)(。),,2,1;,,2,1(1)(0mjnibapji3.条件自信息量在已知事件yj条件下,随机事件xi发生的概率为条件概率φ(xi︱yj),条件自信息量定义为：)(log)(jijiyxyxI(2-5)4-2)()(）（jibIaI，有相互独立时与当)()()(,jijibpapbapYX代入式自信息量的公式就有)(log)(log)(jijibpapbaI)(Ijiyx联合自信息量和条件自信息也满足非负和单调递减性，同时，它们也都是随机变量。自信息量、条件自信息量和联合自信息量之间有如下关系式：)()(ijiabIaI)()(jijbaIbI)(log)(jijibapbaI))p((logijiabap))p((logjijbabp4.联合自信息量和条件自信息量间的关系【例2.6】某住宅区共建有若干栋商品房，每栋有5个单元，每个单元住有12户，甲要到该住宅区找他的朋友乙，若：1.甲只知道乙住在第5栋，他找到乙的概率有多大？他能得到多少信息？2.甲除知道乙住在第5栋外，还知道乙住在第3单元，他找到乙的概率又有多大？他能得到多少信息？用xi代表单元数，yj代表户号：（1）甲找到乙这一事件是二维联合集XY上的等概分布，这一事件提供给甲的信息量为I(xiyj)=-logp(xiyj)=log60=5.907（比特）601)(jiyxp（2）在二维联合集XY上的条件分布概率为，这一事件提供给甲的信息量为条件自信息量I(yj︱xi)=-logp(yj︱xi)=log12=3.585（比特）121)(ijxyp1.互信息量信源符号X={x1，x2，…，xI}，xi∈{a1,a2,…,ak}，i=1,...,I。信宿方接收到符号Y={y1，y2，…，yJ}，yj∈{b1,b2,…,bD}，j=1,2,…,J。图2－1简单的通信模型{x1，x2，…xI}{y1，y2，…yJ}信源符号集{a1,a2,…,ak}信源{b1,b2,…,bD}信宿符号集干扰信道信宿2．1．2互信息量和条件互信息量事件xi是否发生具有不确定性，用I(xi)度量。接收到符号yj后，事件xi是否发生仍保留有一定的不确定性，用I(xi︱yj)度量。观察事件前后，这两者之差就是通信过程中所获得的信息量，用I(xi;yj)表示：。)()();(jiijiyxIxIyxI)()(logijixqyx注：式（2-6）的I(xi；yj)和式（2-3）的I(xiyj)的区别在于：前者是事件xi∈X和事件yj∈Y之间的互信息量，后者是二维空间XY上元素xiyj的自信息量。称(2-6)式为事件xi和事件yj之间的互信息量。（2-6）根据概率互换公式p(xiyj)=p(yj︱xi)q(xi)=φ(xi︱yj)ω(yj)互信息量I(xi;yj)有多种表达形式:(2-7)(2-8))()()()()()(log);(jijijijijiyxIyIxIyxqyxpyxI)()()()(log);(ijjjijjixyIyIyxypyxI”的概率和输出端出现“输入端出现jiba()()()ijijpabpapb先验不定度（联合自信息量）)()(1log)(jijibpapbaI发送接收物理解释：通信前输入输出端的联合概率()()()()()ijijijijpabpapbapbpab后验不定度1()log()ijijIabpab通信后发送接收这样，通信后流经信道的信息量，等于通信前后不定度的差)()()(logjijibpapbap)(1log)()(1log)bI(a-)bI`(a)b;I(ajijijijijibapbpap),,2,1;,,2,1(mjni将事件互信息量的概念推广至多维空间：在三维XYZ联合集中，有：I(xi;yjzk)=I(xi;yj)+I(xi;zk︱yj)（2-9）类似，在N维U1U2…UN联合空间,有：I(u1;u2u3…uN)=I(u1;u2)+I(u1;u3︱u2)+…+I(u1;ui︱u2…ui-1)+…+I(u1;uN︱u2…uN-1)（2-10）三维XYZ联合集中，在给定条件zk的情况下,xi,yj的互信息量I(xi;yj︱zk)定义为：（2-11）)()(log);(kikjikjizxpzyxpzyxI2．条件互信息量3．互信息量的性质（1）互易性————对称性I(xi;yj)=I(yj;xi)(2-12)（2）可加性：);();();();();(12112123121321NNiiNuuuuIuuuuIuuuIuuIuuuuI（4）互信息量I(xi;yj)可以是正数，也可以是负数。（3）当xi,yj统计独立时，互信息量I(xi;yj)=0及条件互信息量0);(kjizyxI（5）两个事件的互信息量不大于单个事件的自信息量，即有：（2-13）)()();(jijiyIxIyxI【例2.8】信源包含7个消息x0,x1,x2,x3,x4,x5,x6信源编码器将其对应编成7个三位二进制数000，001,…,110。各消息的先验概率已知，在接收过程中，每收到一个数字，各消息的后验概率都相应地发生变化。考虑在接受100三个数字的过程中，各后验概率的变化，计算信息量I(x4;100)。信源消息码字消息先验概率消息后验概率收到1后收到10后收到100后x00001/16000x10011/16000x20101/16000x30111/16000x41001/22/34/51x51011/81/61/50x61101/81/600表2-4为7个三位二进制数对应的各种概率。根据给定的先验概率，可算出：21)(4xp3281812121)1(4xp54613232)10(4xpP(x4︱100)=1将各种后验概率的计算结果列于表2-3中，再根据式（2-10）计算出互信息量：I(x4;100)=I(x4;1)+I(x4;0︱1)+I(x4;0︱10)(比特)也可直接计算出：(比特))10()100(log)1()10(log)()1(log444444xpxpxpxpxpxp12log541log3254log2132log1211log)()100(log)100;(444xpxpxI2．2离散集的平均自信息量信源熵熵条件熵联合熵2．2离散集的平均自信息量1．平均自信息量(熵)无记忆信源的平均自信息量定义为各消息自信息量的概率加权平均值（统计平均值），即平均自信息量H(X)定义为：（2-15）iiiiiixqxqxIxqXH)(log)()()(H(X)的表达式与统计物理学中的热熵具有相类似的形式，在概念上二者也有相同之处，故借用熵这个词把H(X)称为集合X的信息熵，简称熵。【例2.9】计算下列信源的熵（1）信源一：熵H(X1)=-0.99log0.99－0.01log0.01=0.08比特/符号（2）信源二：等概信源熵H(X2)=-0.5log0.5-0.5log0.5=1比特/符号（3）信源三:等概信源熵H(X3)=-4×0.25log0.25=log4=2比特/符号5.05.0)(1022xxXqX25.025.025.025.0)(321033xxxxXqX01.099.0)(1011xxXqX(5)信源五：一般情况下，二元信源的概率分布为熵H(X)=–δlogδ-（1-δ）log（1-δ）记H2(δ)=–δlogδ-（1-δ）log（1-δ）H2(δ)与δ的关系如图2-2所示。110)(55XqX（4）信源四：信源为确定事件熵H(X4)=-0log0–1log1=0计算结果说明确定事件的熵为零10)(1044xxXqXH2(δ)00.51δ图2-2H2(δ)与δ关系信源熵与信息量的比较信源的平均不确定度消除不定度得到信息与信源是否输出无关接收后才得到信息确定值一般为随机量有限值可为无穷大熵信息量信源熵和平均自信息量两者在数值上是相等的，但含义并不相同总括起来，信源熵有三种物理含义：信源熵H(X)表示信源输出后，离散消息所提供的平均信息量。信源熵H(X)表示信源输出前，信源的平均不确定度。信源熵H(X)反映了变量X的随机性。1