第二章信息度量1.

第二章信息论的基本概念——信息的统计度量引言——预备知识1信息的度量信息的可度量性-建立信息论的基础；信息度量的方法:结构度量﹑统计度量﹑语义度量﹑模糊度量等；统计度量：用事件统计发生概率的对数来描述事物的不确定性，得到消息的信息量，建立熵的概念；熵概念是香农信息论最基本最重要的概念。2单符号离散信源的数学模型离散信源只涉及一个随机事件，可用离散随机变量来表示。单符号离散的数学模型X，Y，Z代表随机变量，指的是信源整体；代表随机事件的某一结果或信源的某个元素。不可混淆!)(,),(),(,,,)(2121nnxpxpxpxxxxPX1)(1)(0:1niiixpxp且满足ljizyx,,3概率复习mjjijiijnijijijijijiijijijjijijijimjijinijjimjnijimjijnijimjjniijiijjijiminiyxpyxpxypyxpyxpyxpypxpyxpxpyxpypxypYXyxpypxypxpyxpxpyxpypyxpyxpxypyxpypxpyxpxypyxpypxpyyyyxxxxYX11111111112121)()()/(,)()()/()6()()()(),()/(),()/(,)5()/()()/()()()4()()(),()()3(1)(,1)/(,1)/(,1)(,1)()2(1)(),/(),/(),(,)(0)1(:},,,,{},,,,{,相互独立时与当和分别取值于集合随机变量4中学数学知识Log(xy)=logx+logyLog(x/y)=logx-logy2.1自信息和条件自信息量2.1.1自信息量自信息量HartNatBitPPI102iiilogloglog)a(log)a(1log)a(InformationI(ai)ofaimustbefunctionofai’suncertaintysuchasP(ai)ItcanbeexpressionasI(ai)=f[P(ai)]HowaboutI(ai)=P(ai)?Notsuitfor4axiomIfP(ai),;IfP(ai)=0,I(ai)=∞;IfP(ai)=1,I(ai)=0;IfP(a1)andP(a2)areindependentthenI(a1a2)=I(a1)+I(a2)对于单个消息随机变量U，出现某个消息，对应概率为，这时可获得的信息量为，则有：解释：小概率事件，一当出现必然使人感到意外，因此产生的信息量就大；几乎不可能事件一旦出现，将是一条爆炸性的新闻，一鸣惊人。大概率事件，是预料之中的，即使发生，也没什么信息量，特别是当必然事件发生了，它不会给人以任何信息量。的递降函数是iiiiiiiiipIpIppIppIppIp0)(,1;)(,)(,0;)(,)(ipI注：I－－自信息自信息量I(ai)的性质•I(ai)是非负值；•当P(ai)=1时，I(ai)=0；•当P(ai)=0时，I(ai)=∞；•I(ai)是P(ai)的单调递减函数联合自信息量•信源模型(涉及两个随机事件)•联合自信息量1)(,1)(0)(,),(),(),(,,,,,,,,)(11121111212111nimjjijimnmmnnmmyxpyxpyxpyxpyxpyxpyxyxyxyxyxyxXYPXY)(log)(2jijiyxpyxI举例2.12(6)2.1.2条件自信息量•条件概率对数的负值•在特定条件下(已定)随机事件发生所带来的信息量•定义联合自信息量和条件自信息量也满足非负和单调递减性。关系•当X和Y独立时，jyix)/(log)/(2jijiyxpyxI)/()()/()(log)/()()/()(log)(22jijjijijiijijiyxIyIyxpypxyIxIxypxpyxI)()()(log)(log)(22jijijiyIxIypxpyxI2.2互信息量和条件互信息量信源发出消息的概率称为先验概率，信宿收到后推测信源发出的概率称为后验概率。定义的后验概率与先验概率比值的对数为对的互信息量，用表示，即互信息量等于自信息量减去条件自信息量。第三种表达方式：jyix)(ixpix)/(jiyxpixjyix);(jiyxI),,2,1;,,2,1()()/(log);(2mjnixpyxpyxIijiji)/()()/(log)(log);(22jiijiijiyxIxIyxpxpyxI)()()();(jijijiyxIyIxIyxI互信息的性质•对称性•当X和Y相互独立时，互信息为0•互信息量可为正值或负值条件互信息量•给定条件下，与之间的互信息量，其定义式jyixkz)/;();();()/()/(log)/;(2kjikikjikikjikjizyxIzxIzyxIzxpzyxpzyxI问题与思考课堂疑问?某地二月份天气构成的信源为现有人告诉你:“今天不是晴天。”，把这句话作为收到的消息。当收到消息后，各种天气发生的概率变成后验概率了。其中81,81,41,21)(),(),(),()(4321雪雨阴晴xxxxXPX1y1y41)/(;41)/(;21)/(;0)/(14131211yxpyxpyxpyxp计算与各种天气之间的互信息量之间与不必再考虑对天气11111,0)/(,yxyxpx信息量1y分别得到了这表明从同理对天气1141322122122),(1):():()(14/12/1log)()/(log):(:ybityxIyxIbitxpyxpyxIx)(2/10log)()/(log):(2111211bitxpyxpyxIX2、x3、x4各1比特的信息量，也可以理解为y1使X2、x3、x4不确定度各减少1比特说明收到y1后，不仅没有使x1的不确定度减少，反而使x1不确定更大，互信息量为负举例2.2概率复习2.3信源熵2.3.1熵的引入一个离散随机变量X，以不同的取值概率有N个可能取值,XP（x）＝a1a2…aNp1p2…pN信息论关心：X的不确定性不确定性－－大，获取的信息－－多熵的引入箱内100个球摸到红球不确定性分析：随机变量X、Y、ZXP（x）＝a1a20.990.01ZP（z）＝a1a2a3a4a50.20.20.20.20.2YP（y）＝a1a20.50.5问题：能否度量、如何度量？？小大99个红球，1个黑球50个红球，50个黑球20个红球，其它4种颜色各20个2.3.2信源熵数学描述信源熵•定义：信源各个离散消息的自信息量的数学期望（即概率加权的统计平均值）为信源的平均信息量，一般称为信源的信息熵，也叫信源熵或香农熵，有时也称为无条件熵或熵函数，简称熵。•公式：•熵函数的自变量是X,表示信源整体，实质上是无记忆信源平均不确定度的度量。也是试验后平均信息量为熵•单位：以2为底，比特/符号•为什么要用熵这个词，与热熵的区别？)(log)(])(1[log)]([)(212iniiiixpxpxpExIEXH不确定性＝携载的信息熵的单位信息熵的单位与公式中的对数取底有关。通信与信息中最常用的是以2为底，这时单位为比特（bit）；理论推导中用以e为底较方便，这时单位为奈特（Nat）；工程上用以10为底较方便，这时单位为笛特（Det）。它们之间可以引用对数换底公式进行互换。比如：1bit=0.693Nat=0.301Det香农熵与热力学中热熵的关系熵•这个名词是仙农从物理学中的统计热力学借用过来的，在物理学中称它为热熵是表示分子混乱程度的一个物理量，这里，仙农引用它来描述信源的平均不确定性，含义是类似的。但是在热力学中已知任何孤立系统的演化，热熵只能增加不能减少；而在信息论中，信息熵正相反，只会减少，不会增加。所以有人称信息熵为负热熵。•二者还有一个重大差别：热熵是有量纲的，而香农熵是无量纲的。•信源熵和平均自信息量两者在数值上是相等的，但含义并不同。信源熵表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息的量度。熵作为信息的度量•小结：信源熵H(X)的三种物理含义–表示信源输出后，每个离散消息所提供的平均信息量。–表示信源输出前，信源的平均不确定度。–反映了变量X的随机性和无序性。举例（不确定性）熵可以作为信息的量度对于随机变量而言：试验前－－试验后－－各取值的概率分布确切取值（0）（不确定性）熵一定的确切性多次试验后－－通过试验－－消除了不确定性－－获得了信息－－信息的数量＝例1.1:试验前：试验后：XP（x）＝1234561/61/61/61/61/61/6H(x)=log6=2.58bits=1.79nats(实验前不确定量-熵）X1P（x1）＝123456010000H(x1)=0H(x)－H(x1)=log6（做完实验后提供信息量）获得了信息数量＝熵例1.2:试验前：H(x)=log8=3(bit/符号)H(x2)－H(x3)=1－－获得1bit信息量XP（x）＝123456781/81/81/81/81/81/81/81/812312345678第一次测量后：X1P（x1）＝123456781/41/41/41/40000H(x1)=log4=2(bit/符号)第二次测量后：X2P（x2）＝123456781/21/2000000H(x2)=log2=1(bit/符号)第三次测量后：X3P（x3）＝1234567810000000H(x3)=log1=0(bit/符号)H(x)－H(x1)=1－－获得1bit信息量H(x1)－H(x2)=1－－获得1bit信息量H(X)表示在获知哪个灯泡是坏的情况前，关于哪个灯泡已损坏的平均不确定性，即要确定哪个灯泡是坏的，至少需要获得3个bit的信息量，才能完全消除不确定性。？？必须测3次吗？？熵的计算举例2.5概率复习2.3.3条件熵•条件熵是在联合符号集合XY上的条件自信息量的数学期望。在已知随机变量Y的条件下，随机变量X的条件熵定义为：)/(log)()/()()]/([)/(21111jimjnijijimjnijijiyxpyxpyxIyxpyxIEYXH思考：求条件熵时为什么要用联合概率加权？是已知一随机变量，对另一个随机变量的不确定性的量度概率复习•条件熵是一个确定值，表示信宿在收到Y后，信源X仍然存在的不确定度。这是传输失真所造成的。有时称H(X/Y)为信道疑义度，也称损失熵。•称条件熵H(Y/X)为噪声熵。2.3.4联合熵（共熵）•联合离散符号集合XY上的每个元素对的联合自信息量的数学期望。是二元随机变量不确定性的度量。•公式：jiyx)/(log)()]/([)/(211ijnimjjiijxypyxpxyIEXYH)(log)()()()(21111jinimjjijinimjjiyxpyxpyxIyxpXYH联合熵、条件熵的关系：)/()()/()()(YXHYHXYHXHXYH当X,Y相互独立时，有：)()(),(jkjkbpapbap)()|()()|(jkjkjkbpabpapbap于是有：)()|()()|()()()(YHXYHXHYXHYHXHXYH理解：当随机变量相互独立时，其联合熵等于单个随机变量的熵之和，而条件熵等于无条件熵。联合熵、条件熵的关系：一般情况下)()|()()|()()()(YHXYHXHYXHYHXHXYH理解：表明一般情形下：条件熵总是小于无条件熵。注意：这是平均意义上的联合熵、条件熵的计算举例2.15概率复习