平均互信息量

2.1.5平均互信息量一、平均互信息量定义二、平均互信息量物理意义三、平均互信息量性质平均互信息量的定义：互信息量在联合概率空间P(XY)中的统计平均值。);(jibaI)()/(log)();()();(21111ijinimjjijinimjjiapbapbapbaIbapYXI)()()(log)(211jijinimjjibpapbapbap一、平均互信息量的定义称I(X;Y)是Y对X的平均互信息量平均互信息量简称平均互信息，也称平均交互信息量或交互熵。I(X;Y)克服了互信息量的随机性，成为一个确定的量，因此，可以作为信道中流通信息量的整体测度)b;I(aji二、平均互信息量的物理含义（1）观察者站在输出端（2）观察着站在输入端（3）观察着站在通信系统总体立场上（1）观察者站在输出端)/()()(1log)()(1log)()()/(log)();(112112211YXHXHapbapapbapapbapbapYXInimjinimjjiijiijinimjjiH(X/Y)-----信道疑义度/损失熵。Y关于X的后验不确定度。表示收到变量Y后，对随机变量X仍然存在的不确定度。代表了在信道中损失的信息H(X)-----X的先验不确定度/无条件熵I(X;Y)-----收到Y前、后关于X的不确定度减少的量。也就是从Y获得的关于X的平均信息量（2）观察者站在输入端)/()()/(1log)()(1log)()()/(log)();(112112211XYHYHabpbapbpbapapabpbapXYInimjijnimjjijjiiijnimjjiH(Y/X)------噪声熵。表示发出随机变量X后，对随机变量Y仍然存在的平均不确定度。如果信道中不存在任何噪声，发送端和接收端必存在确定的对应关系，发出X后必能确定对应的Y，而现在不能完全确定对应的Y，这显然是由信道噪声引起的。I(Y;X)------发出X前、后关于Y的先验不确定度减少的量。（3）观察着站在通信系统总体立场上)()()()(1log)()(1log)()(1log)()()()(log)();(112112112211XYHYHXHbapbapapbapapbapbpapbapbapYXInimjjinimjjiinimjjiijijijinimjjiH(XY)------联合熵。表示输入随机变量X，经信道传到信宿，输出随机变量Y。即收、发双方通信后，整个系统仍然存在的不确定度。I(X;Y)------通信前、后整个系统不确定度减少量。在通信前把X和Y看成两个相互独立的随机变量，整个系统的先验不确定度为X和Y的联合熵H(x)+H(y);通信后把信道两端出现X和Y看成由信道的传递统计特性联系起来的、具有一定统计关联关系的两个随机变量，这时整个系统的后验不确定度由H(XY)描述。结论：以上从三种不同的角度说明：从一个事件获得另一个事件的平均信息需要消除不确定度，一旦消除了不确定度，就获得了信息。三、平均互信息量的性质（1）对称性（2）非负性（3）极值性（4）凸函数性（5）数据处理定理);();(I)();()();(1111XYIabbapbaIbapYXIijnimjjijinimjji（1）对称性I(X;Y)=I(Y;X)该性质表示从集Y中获得关于X的信息量等于从集X中获得关于Y的信息量。I(X;Y)和I(Y;X)只是观察着的立足角度不同。当集X和集Y统计独立时，有I(X;Y)=I(Y;X)=0它意味着不能从一个集获得关于另一个集的任何信息。);();(ijjixyIyxI证明：根据互信息量的对称性()(;)()log;(|)ln1;loglnlog()(;)(|)()1log(|)()()(|)()log0,,()(iijXYijiijjXYijijijjXYXYiipxIXYpxypxy证明:按照平均互信息的定义式利用不等式和关系式等号成立的条件是对于都有|),(()0),(;)0jjypyXYIXY即当且仅当与相互独立时证毕（2）非负性I(X;Y)0•平均互信息量不是从两个具体消息出发，而是从随机变量X和Y的整体角度出发，并在平均意义上观察问题，所以平均互信息量不会出现负值。•或者说从一个事件提取关于另一个事件的信息，最坏的情况是0，不会由于知道了一个事件，反而使另一个事件的不确定度增加。当然，保密通信中故意置乱的情况除外。结论：•从一个事件提取关于另一个事件的信息量，至多是另一个事件的熵那么多，不会超过另一个事件自身所含的信息量。•当X和Y是一一对应关系时：I(X;Y)=H(X),这时H(X/Y)=0。从一个事件可以充分获得关于另外一个事件的信息，从平均意义上来说，代表信源的信息量可全部通过信道。•当X和Y相互独立时：H(X/Y)=H(X),I(Y;X)=0。从一个事件不能得到另一个事件的任何信息，这等效于信道中断的情况。I(X;Y)H(X)；I(X;Y)H(Y)（3）极值性证明：因为I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)，条件熵H(X/Y),H(Y/X)为非负，故两个不等式成立。凸函数性：平均互信息量I(X;Y)是信源概率分布的上凸函数；该性质是研究信道容量的理论基础平均互信息量I(X;Y)是信道传递概率的下凸函数。该性质是研究率失真函数的理论基础)(iap)/(ijabp（4）凸函数性（5）数据处理定理数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小当对信号、数据或消息进行多级处理时，每处理一次，就有可能损失一部分信息，也就是说，数据处理会把信号、数据或消息变成更有用的形式，但是绝不会创造出新的信息。