2.5 离散集的平均互信息量

信息论与编码技术电子信息工程专业主讲：孙静机械电子工程系2.5离散集的平均互信息量【回顾】1.互信息量I(xi;yj)：表示信宿Y在接收端收到yj后，获得的关于信源X发出xi的信息量。)()|(log);(ijijixpyxpyxI2.5离散集的平均互信息量2.互信息量不能从整体上作为信道中信息流通的测度。3.作为信道的测度，应该是从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。2.5.1平均条件互信息量1.【前提条件】当集合Y产生某一具体事件yj后，推测集合X发生事件xi的概率，已由先验概率p(xi)转变为后验概率p(xi|yj)。2.5.1平均条件互信息量2.【平均条件互信息量的定义】从yj中获取关于xi的平均信息量，是互信息量I(xi;yj)在条件概率空间p(X|y=yj)中的统计平均值，因此，平均条件互信息量可以表示为：niijijinijijijxpyxpyxpyxIyxpyXI11)()|(log)|();()|();(2.5.2平均互信息量3.【平均互信息量的定义】为了从整体上表示从一个随机变量Y所给出关于另一个随机变量X的信息量，定义互信息量I(xi;yj)在的XY联合概率空间中的统计平均值为随机变量X和Y间的平均互信息量。2.5.2平均互信息量4.【平均互信息量的数学描述】nimjijijinimjjijimjjjxpyxpyxpYXIyxIyxpyXIypYXI11111)()|(log)();();()();()();(2.5.2平均互信息量5.【物理意义】在通信系统中，平均互信息量I(X;Y)代表接收到输出符号后平均每个符号获得的关于信源X的信息量。同时也表明，输入与输出两个随机变量之间的统计约束程度。2.5.3平均互信息量的性质1.非负性①性质描述有离散集合X和Y，则I(X;Y)≥0当且仅当X和Y统计独立时，等式成立。【证明】见板书。1.非负性②性质说明a.通过一个信道获得的平均信息量不会是负值，一般总能获得一些信息量。b.也就是说，观察一个信道的输出，从平均的角度来看总能消除一些不确定性，接收到一定的信息。c.只有在信道输入和输出是统计独立时，才接收不到任何消息。2.对称性—互易性①性质描述I(X;Y)＝I(Y;X)【证明】见板书。①性质说明a.I(X;Y)表示从Y中提取的关于X的信息量，而I(Y;X)表示从X中提取的关于Y的信息，它们是相等的。2.对称性—互易性②性质说明b.当X和Y统计独立时，就不可能从一个随机变量获得另一个随机变量的信息。所以I(X;Y)＝I(Y;X)＝0c.而当两个随机变量X和Y一一对应时，从一个变量就可以充分获得另一个变量的信息，即I(X;Y)＝I(Y;X)＝H(X)＝H(Y)3.有界性—极值性①性质描述平均互信息量具有极值性，即平均互信息量最大不会超过信源熵。I(X;Y)≤H(X)【证明】见板书。3.有界性—极值性②性质说明a.接收者通过信道获得的信息量不可能超过信源本身固有的信息量。b.只有当H(X|Y)＝0，即信道中传输信息无损失时，接收到Y后获得关于X的信息量才等于符号集X中平均每个符号所含有的信息量。c.在一般情况下，平均互信息量必在0～H(X)值之间。4.凸函数性由于又有可见，平均互信息量I(X;Y)是输入信源概率分布p(x)和信道转移概率p(y|x)的凸函数。nimjjijijinimjijijiypxypxypxpxpyxpyxpYXI1111)()|(log)|()()()|(log)();(mjijijxypxpyp1)|()()(2.5.4平均互信息量和熵之间的关系【重要关系式】【证明】见板书。)()()();()|()();()|()();(XYHYHXHYXIXYHYHXYIYXHXHYXI2.5.5信息在通信系统中的意义（传输特性）一、各类概率的物理意义1.先验概率p(xi)=P(X=xi)(i=1,2,…,n)【信宿在接收到一个输出符号以前，输入符号的概率】一、各类概率的物理意义2.输出符号概率p(yj)=P(Y=yj)(j=1,2,…,m)【信宿接收到一个输出符号的概率】3.前向概率p(yj|xi)=P(Y=yj|X=xi)【已知发送符号xi，通过信道传输接收到的符号为yj的概率】—又称信道传递概率一、各类概率的物理意义4.后向概率p(xi|yj)=P(X=xi|Y=yj)【已知信道输出端接收到的符号为yj，而发送符号为xi的概率】—又称后验概率5.联合概率p(xiyj)=P(X=xi,Y=yj)【当发送符号为xi，并且信宿接收到符号为yj的概率】2.5.5各种熵在通信系统中的意义1.先验熵信息熵H(X)是信源单符号熵，即信源发出单个字符的平均不确定度。它依赖于先验函数，因此也称为先验熵。2.损失熵条件熵H(X|Y)是信宿在接收到输出状态Y后，对于信源X仍然存在的平均不确定性，称为信道的疑义度。它主要依赖于后验函数，因此也称为后验熵。2.损失熵由于这个对X尚存在的不确定性是由于干扰（噪声）引起的，它表示信源符号通过有噪信道传输后引起的信息量的损失，故后验熵也称为损失熵。3.噪声熵条件熵H(Y|X)表示发出X后，对Y仍然存在的平均不确定性。主要是由于噪声的影响，可看唯一地确定信道噪声所需要的平均信息量，故又称噪声熵或散布度，它反映了信道中噪声源的不确定性。噪声熵完全是由于信道中噪声引起的，它反映了信道中噪声源的不确定性。H(XY)≤H(X)+H(Y)H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)I(X;Y)=I(Y;X)≥0I(X;Y)=H(X)+H(Y)-H(XY)I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)当X=Y时，有I(X;X)=H(X)4.各类熵和平均互信息的关系5.维拉图(也称集合图)H(Y)H(X)H(X|Y)H(Y|X)H(XY)I(X;Y)5.维拉图(也称集合图)【物理意义】从信源概率空间的角度来看，通信就是信源对信宿的概率状态空间减小的过程。通信前对信源的不确定度大，其熵为H(X)；通信后，对信源的不确定度缩小为信道疑义度H(X|Y)，这是由噪声带来的，又称损失熵；两者之差就是获得的平均信息量I(X;Y)。