第二章-信息的度量

第二章：信息的度量一、自信息和互信息二、平均自信息三、平均互信息第二章：信息的度量1.自信息，条件自信息，联合自信息2.互信息一、自信息和互信息二、平均自信息三、平均互信息哪个输出包含更多的信息，x1还是xn？度量信息的基本思路考虑一个信源，它输出x1,…,xn，n种消息。设x1为最大可能的输出,xn为最小可能的输出。例如，假设信源输出代表天气情况,x1为晴或多云天气,xn为冰雹或其它强对流天气。直观地，传递xn给出了更多的信息。由此可以合理地推算信源输出的信息量应该是输出事件的概率的减函数。信息量的另一个直观属性是，某一输出事件的概率的微小变化不会很大地改变所传递的信息量，即信息量应该是信源输出事件概率的连续减函数。平均自信息平均互信息自信息和互信息第二章：信息的度量1.自信息（量）公理性条件：(1)如果p(x1)p(x2)，则I(x1)I(x2)，I(xi)是p(xi)的单调连续递减函数；(2)如果p(xi)=0，则I(xi)→∞;如果p(xi)=1，则I(xi)=0;(3)由两个相对独立的事件所提供的信息量，应等于它们分别提供的信息量之和：I(xiyj)=I(xi)+I(yj)问题：什么函数能够同时满足以上条件呢？对数函数平均自信息平均互信息自信息和互信息第二章：信息的度量1.自信息（量）随机事件的自信息定义为该事件发生概率的对数的负值：关于对数底的选取：以2为底，单位为比特(bit)以e为底，单位为奈特(nat)以10为底，单位为哈特莱(Hartley)一般都采用以2为底的对数，为了书写简洁，有时把底数2略去不写。ix()log()iiIxpx自信息含义当事件xi发生以前：表示事件xi发生的不确定性。当事件xi发生以后：表示事件xi所含有（或所提供）的信息量。在无噪信道中，事件xi发生后，能正确无误地传输到收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。这是因为消除了I(xi)大小的不确定性，才获得这么大小的信息量。自信息的测度单位及其换算关系信息论中“比特”与计算机术语中“比特”区别1p(xi)I(xi)log单位之间的换算关系：1奈特=log2e比特=1.443比特1哈特莱=log210比特=3.322比特1r进制单位=log2r比特试问四进制、八进制的每一波形所含的信息量是二进制每一波形所含的信息量的多少倍？在通信及目前的绝大多数信息传输系统中，都是以二进制为基础的，因此信息量单位以比特最为常用。因此一般都采用以“2”为底的对数，为了书写简洁，有时把底数2略去不写。信息论中“比特”与计算机术语中“比特”区别如果p(xi)=1/2，则I(xi)=1比特。所以1比特信息量就是两个互不相容的等可能事件之一发生时所提供的信息量。信息论中“比特”是指抽象的信息量单位；计算机术语中“比特”是代表二元数字；这两种定义之间的关系是：每个二元数字所能提供的最大平均信息量为1比特。1.自信息（量）平均自信息平均互信息自信息和互信息第二章：信息的度量例1:设在甲袋中放入n个不同阻值的电阻，随意取出一个，求当被告知“取出的电阻阻值为i”时所获得的信息量。解：1()ipxn12in，，，2()log()logiiIxpxn比特由于是随意取出一个电阻,所以取出任意阻值的电阻的概率相等:例2:在乙袋中放入个电阻，其中阻值为1的1个，2的2个，…，n的n个随意取出一个，求被告知“取出的电阻阻值为1”和“取出的电阻阻值为n”时分别获得的信息量。解：121nn1.自信息（量）平均自信息平均互信息自信息和互信息第二章：信息的度量11()()11(1)(1)22nnpxpxnnnn==++L111()log(1)()log(1)22nIxnnIxn轾轾犏犏=+=+犏犏臌臌L1.自信息（量）平均自信息平均互信息自信息和互信息第二章：信息的度量1.自信息（量）平均自信息平均互信息自信息和互信息第二章：信息的度量例3：设在A袋放入n个不同阻值的电阻，随意取出一个，求当被告知“取出的电阻阻值为i”时所获得的信息量。在B袋中放入m种不同功率的电阻，任意取出一个，求被告知“取出的电阻功率为j”时获得的信息量。在C袋中放入n种不同阻值，而每种阻值又有m种不同功率的电阻，即共有nm个电阻，随意选取一个，被告知“取出的电阻阻值为i，功率为j”时获得的信息量。13联合自信息量def：两个事件同时发生时对外提供的信息量。定义为：二维联合集XY上的联合概率的对数负值。记作：X、Y相互独立时()log()ijijIxypxy()()()ijijIxyIxIy()(()()log()log((())log(log()()()ijijijijijijijpxypxpyIxypxypxpypxpyIxIy独立）））证明：即：两个随机事件相互独立时，同时发生得到的信息量，等于各自单独发生时得到的信息量之和。14条件自信息量def：联合集XY中，事件在已经发生的情况下再发生时对外提供的自信息量。定义为：条件概率的对数负值。注意：jy(/)log(/)ijijIxypxy即：1)/(,0)/()()/(),()/(相等独立相等，，独立，，jijiijiijiyxpyxIYXxpyxpxIyxIYX(/)()(/)()(/)()(/)()jiijiijijiijiijiyxpxypxIxyIxyxpxypxIxyIx当的发生能促进的发生时，即，此时当的发生不利于的发生时，即，此时注：ix15三种自信息量之间的关系：()log()log(()(/))log()log(/)()(/)()()(/)ijijijiijiijiijjijIxypxypxpyxpxpyxIxIyxIxyIyIxy同理：1.自信息（量）（续7）平均自信息平均互信息自信息和互信息第二章：信息的度量例3：设在A袋放入n个不同阻值的电阻，随意取出一个，求当被告知“取出的电阻阻值为i”时所获得的信息量。在B袋中放入m种不同功率的电阻，任意取出一个，求被告知“取出的电阻功率为j”时获得的信息量。在C袋中放入n种不同阻值，而每种阻值又有m种不同功率的电阻，即共有nm个电阻，随意选取一个，被告知“取出的电阻阻值为i，功率为j”时获得的信息量。1.自信息（量）（续8）平均自信息平均互信息自信息和互信息第二章：信息的度量I(xi)=–logp(xi)=logn比特I(yj)=–logp(yj)=logm比特I(xiyj)=–logp(xiyj)=log(nm)=I(xi)+I(yj)比特解：对应A,B,C三袋，随意取出一个电阻事件的概率分别为：nxpi1)(1()jpym1()ijpxynm因此1.自信息（量）（续9）平均自信息平均互信息自信息和互信息第二章：信息的度量例4：设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意的放在棋盘中的某方格且让乙猜测棋子所在位置。（1）将方格按顺序编号，令乙猜测棋子所在的顺序号。问猜测的难易程度。（2）将方格按行和列编号，甲将棋子所在方格的列编号告诉乙之后，再令乙猜测棋子所在行的位置。问猜测的难易程度。解：p(xiyj)=1/64i=1,2,…,8;j=1,2,…,8（1）I(xiyj)=–logp(xiyj)=6比特（2）I(xi|yj)=–logp(xi|yj)=–log[p(xiyj)/p(yj)]=3比特I(xi)=–logp(xi)=3比特I(yj)=3比特1.自信息（量）（续10）平均自信息平均互信息自信息和互信息第二章：信息的度量20不确定度和自信息量的关系def：随机事件发生以前具有不确定度，发生以后或者收到以后不确定度消失，但是对外提供了自信息量。所以自信息量是用来消除不确定度的。二者等量，但一个处于接收前，另一个处于接收后。与概率都是反比关系。在无噪信道中，事件发生后，能准确无误地传输到收信者，所以自信息量可以代表收到消息后获得信息量。这是因为消除了不确定性，才获得了这么多的信息量。ixixix()iIx2.互信息（量）2.互信息（量）平均自信息平均互信息自信息和互信息第二章：信息的度量设X为信源发出的离散消息集合；Y为信宿收到的离散消息集合；信源发出的消息，经过有噪声的信道传递到信宿；信宿信道信源图1通信系统的简化模型噪声XY信宿信道信源理想通信系统（无噪声）的情况XY因为无噪声，所以X=Y；信源发送消息，信宿准确无误收到；信源发送消息的不确定度为；信宿收到消息后所获得的信息量为，两者相等。在无噪声时，通过信道的传输，可以完全不失真地收到所发的消息，收到此消息后关于某事件发生的不确定性完全消除，此项为零。因此收到某消息获得的信息量＝收到前信源发出此消息的不确定度ixixixIixixIix有噪声通信系统的情况信宿信道信源噪声XY先验概率：信源发出消息的概率。后验概率：信宿收到消息后推测信源发出的概率，即条件概率。ix()ipxixjy(|)ijpxy收到某消息获得的信息量＝不确定度减少的量＝(收到此消息前关于某事件发生的不确定度)－(收到此消息后关于某事件发生的不确定度)I(xi;yj)=I(xi)–I(xi|yj)2.互信息（量）（续2）平均自信息平均互信息自信息和互信息第二章：信息的度量互信息定义为：互信息有两方面的含义：表示事件出现前后关于事件的不确定度减少的量；事件出现以后信宿获得的关于事件的信息量。ixjy(;)()(|)log()log(|)(1,2,,;1,2,,)(|)log()ijiijiijijiIxyIxIxypxpxyinjmpxypxixjy2.互信息（量）（续3）平均自信息平均互信息自信息和互信息第二章：信息的度量讨论：(3)p(xi|yj)=1(|)1(;)loglog()()()ijijiiipxyIxyIxpxpx(2)若p(xi)p(xi|yj)则I(xi;yj)0(1)统计独立p(xi|yj)=p(xi)，I(xi|yj)=I(xi)I(xi;yj)=0若p(xi)p(xi|yj)则I(xi;yj)0I(xi;yj)=logp(xi|yj)–logp(xi)=I(xi)–I(xi|yj)2.互信息（量）（续4）平均自信息平均互信息自信息和互信息第二章：信息的度量例5：某地二月份天气构成的信源为某一天有人告诉你：“今天不是晴天”，把这句话作为收到的消息y1,求当收到y1后,y1与各种天气的互信息量。解：1234()()()()1/21/41/81/8XxxxxPX晴阴雨雪11111(|)(;)log()pxyIxypx11111()(|)0()pxypxypy11(;)Ixy2121221111.1()()(|)14(|)111()()2488pxypxpyxpxypypy21212(|)1/2(;)loglog1()1/4pxyIxypx311(|)4pxy411(|)4pxy31313(|)1/4(;)loglog1()1/8pxyIxypx41414(|)1/4(;)loglog1()1/8pxyIxypx2.互信息（量）（续5）平均自信息平均互信息自信息和互信息第二章：信息的度量2.互信息（量）（续6）平均自信息平均互信息自信息和互信息第二章：信息的度量xiyj观察者站在输出端I(xi;yj)=logp(xi|yj)–logp(xi)=I(xi)–I(xi|yj)：对yj一无所知的情况下xi存在的不确定度；：收到yj后xi仍然存在的不确定度；互信息：收到yj前和收到yj后不确定度被消除的部分。()iIx(|)ijIxy2.互信息（量）（续7）平均自信息平均互信息自信息和互信息第二章：信息的度量观察者站在输入端I(yj;xi)=logp(