信息论与编码民大02-信源与信源熵

2020/3/111/45信息与信息熵InformationandEntropy信源的统计特性和数学模型各类信源的信息测度—---信息熵及其性质。2020/3/112/45信源的统计特性在信息论中，确切地说信源是产生消息(符号)、消息序列和连续消息的来源。从数学上看，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源。其次，讨论信源的统计特性。客观信源的基本特性是具有随机不确定性。2020/3/113/45首先讨论离散单个消息(符号)信源（单符号离散信源）。它是最简单的也是最基本的信源，是组成实际信源的最基本单元。其次，讨论实际信源。实际信源不可能仅发送单个消息(符号)，对离散信源而言，发送的是一组消息(符号)串，即一个随机序列（多符号离散信源）；对连续信源而言则是一随机过程（连续信源）。信源的分类讨论2020/3/114/45在实际问题中，连续的模拟信源往往可以采用两种方法进行分析。一类是将连续信源离散化为随机序列信源，再采用前面的随机序列信源进行分析；另一类则是直接分析连续模拟信源，但是由于数学上的困难，只能分析单个连续消息变量的信源。有3类最常用展开式：傅氏级数展开、取样函数展开及K-L展开。2020/3/115/45单符号离散信源数学模型单符号离散信源的数学模型就是离散型的概率空间：X代表随机变量，指的是信源整体xi代表随机事件的某一结果或信源的某个元素p(xi)=P(X=xi)，表示随机事件X发生某一结果xi的概率。n是有限正整数或可数无限大)(,),(),(,,)(2121nnxpxpxpxxxXPX，1)(1)(01niiixPxp，2020/3/116/45不确定性与发生概率事件发生的概率越小，我们猜测它有没有发生的困难程度就越大，不确定性就越大。概率等于1的必然事件，就不存在不确定性。某事件发生所含有的信息量应该是该事件发生的先验概率的函数。用函数f[p(xi)]来表示信息量与先验概率的关系，可以从数学上证明这种函数形式是对数形式。2020/3/117/451928年，信息论的先驱者之一哈特莱(Hartley)首先研究了具有Nm个组合的单个消息信源。他对这类非概率(实际是等概率)信源进行了研究，并给出了最早的信息度量公式,定义为可能消息量的对数:I=log(1/p(xi))=logNm=mlogNp(xi)=1/Nm2020/3/118/45用概率测度定义信息量：设离散信源X，其概率空间为如果知道事件xi已发生，则该事件所含有的自信息定义为)(1log)(ixpixI)(,),(),(,,)(2121nnxpxpxpxxxXPX，自信息2020/3/119/45自信息含义当事件xi发生以前：表示事件xi发生的不确定性。当事件xi发生以后：表示事件xi所含有（或所提供）的信息量。在无噪信道中，事件xi发生后，能正确无误地传输到收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。这是因为消除了I(xi)大小的不确定性，才获得这么大小的信息量。2020/3/1110/45•联合自信息量信源模型为其中0≤p(xiyj)≤1(i=1,2,…,n;j=1,2,…,m)则联合自信息量为当X和Y相互独立时，p(xiyj)=p(xi)p(yj)两个随机事件相互独立时，同时发生得到的信息量，等于各自自信息量之和。)(,),(,),(,),(),(,),(,,,,,,,,,)(12121111212111mnnmmmnnmmyxpyxpyxpyxpyxpyxpyxyxyxyxyxyxXYPXYnimjjiyxp111)()()(logloglog)()(12)(12)()(12jiypxpypxpjiyIxIyxIjiji)(12log)(jiyxpjiyxI2020/3/1111/45•条件自信息量设yj条件下，发生xi的条件概率为p(xi/yj)，那么它的条件自信息量I(xi/yj)定义为自信息量、条件自信息量和联合自信息量之间的关系)/(12log)/(jiyxpjiyxI)/()(log)/()(log)()/()(12)/()(12jijyxpypijixypxpjiyxIyIxyIxIyxIjijiji2020/3/1112/45最简单的通信系统模型：X—信源发出的离散消息集合；Y—信宿收到的离散消息集合；信源X、信宿Y的数学模型为niiininixpxpxpxpxpxpxxxxXPX121211)(,1)(0)(,)(,),(),(,,,)(，njjinjnjypypypypypypyyyyYPY121211)(,1)(0)(,)(,),(),(,,,)(，互信息量和条件互信息量P(yj|xk)YX2020/3/1113/45互信息量(mutualinformation)yj对xi的互信息量定义为后验概率与先验概率比值的对数。先验概率：信源发出消息xi的概率p(xi)。后验概率：信宿收到yj后推测信源发出xi的概率p(xi/yj)。转移概率：信源发出xi后信宿收到yj的概率p(yj/xi)。)/()(loglog),,2,1;,,2,1(log);()/(12)(12)()/(2jiiyxpxpxpyxpjiyxIxImjniyxIjiiiii)/()()/()()(ijiijijiyxpypxypxpyxp其中2020/3/1114/45•条件互信息量消息xi与消息对yjzk之间的互信息量为条件互信息量定义：在给定zk条件下，xi与yj之间的互信息量。)/(12)/(12)/()/(2logloglog)/;(kjikikikjizyxpzxpzxpzyxpkjizyxI)/(12)(12)()/(2logloglog);(kjiiikjizyxpxpxpzyxpkjizyxI2020/3/1115/45信息熵(Entropy)—平均信息量平均信息量—信源熵：自信息的数学期望。信息熵的单位：一般以2为底，其单位为比特/符号。信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，不同的信源因统计特性不同，其熵也不同。nixpixpiixpEXH1)(1)(1log)(][log)(2020/3/1116/45信源熵的三种物理含义信源熵有以下三种物理含义。信源熵H(X)是表示信源输出后每个消息/符号所提供的平均信息量；信源熵H(X)是表示信源输出前，信源的平均不确定性；用信源熵H(X)来表征变量X的随机性(如下例)2020/3/1117/45举例有两个信源，其概率空间分别为信息熵分别为H(X)=-0.99log0.99-0.01log0.01=0.08比特/符号H(Y)=-0.5log0.5-0.5log0.5=1比特/符号可见H(y)H(x)本例结论信源Y的二个输出消息是等可能性的，所以事先猜测哪一个消息出现的不确定性要大；信源X的二个输出消息不是等概率的，事先猜测x1和x2哪一个出现，虽然具有不确定性，但大致可以猜出x1会出现，所以信源X的不确定性要小；信息熵反映的就是信源输出前平均不确定程度的大小。5.0,5.0,)(21yyYPY01.0,99.0,)(21xxXPX2020/3/1118/45•条件熵定义：条件熵是在联合符号集合XY上的条件自信息的数学期望。在已知Y时，X的条件熵为已知X时，Y的条件熵为条件熵是一个确定的值H(X|Y)≤H(X);H(Y|X)≤H(Y)mjniyxpjimjnijijijijiyxpyxIyxpyxIEYXH11)/(1211log)()/()()]/([)/(nimjxypjiijijyxpxyIEXYH11)/(12log)()]/([)/(2020/3/1119/45熵的基本性质和定理熵函数H(X)：熵H是p(x1),p(x2),…,p(xn)的n元函数（实际上，因Σp(xi)=1，独立变量只有n-1个，H是(n-1)元函数）:(1)非负性(2)对称性(3)最大离散熵定理(4)扩展性(5)确定性(6)可加性(7)极值性(8)上凸性niiinixpinnixpxpxpxpxpxpHXHi11)(121),,2,1(1)(01)(log)()(,),(),()(和2020/3/1120/45(1)非负性H(X)≥0因为随机变量X的所有取值的概率分布满足0≤p(xi)≤1；当取对数的底大于1时logp(xi)≤0，而-p(xi)logp(xi)≥0，所以熵H(X)≥0；2020/3/1121/45(2)对称性①定义：当变量p(x1),p(x2),…,p(xn)的顺序任意互换时，熵函数的值不变，即②含义：该性质说明熵只与随机变量的总体结构有关，与信源的总体统计特性有关。如果某些信源的统计特性相同（含有的符号数和概率分布相同），那么这些信源的熵就相同。niiixpxpxpHxpxpxpHniiinn,,2,1,,)](,),(),([)](,),(),([212121，其中2020/3/1122/45(3)最大离散熵定理(极值性)定理：离散无记忆信源输出n个不同的信息符号，当且仅当各个符号出现概率相等时(即p(xi)=1/n)，熵最大。H[p(x1),p(x2),…,p(xn)]≤H(1/n,1/n,…,1/n)=log2n出现任何符号的可能性相等时，不确定性最大。2020/3/1123/45(4)扩展性因为所以上式成立。本性质说明，信源的取值增多时，若这些取值对应的概率很小（接近于零），则信源的熵不变。虽然概率很小的事件出现后，给予收信者较多的信息。但从总体来考虑时，因为这种概率很小的事件几乎不会出现，所以它在熵的计算中占的比重很小。这也是熵的总体平均性的一种体现。)](,),(),([])(,)(,),(),([lim2101211nnnnnxpxpxpHxpxpxpxpH020loglim2020/3/1124/45(5)确定性H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H(1,0,…,0)=02020/3/1125/45(6)可加性H(XY)=H(X)+H(Y/X)H(XY)=H(Y)+H(X/Y)H(X1X2…XN-1XN)=H(X1)+H(X2/X1)+H(X3/X1X2)+…+H(XN/X1X2…XN-1)H(X1…XN)≤H(X1)+…+H(XN)jijijijijijxpiixypijjixpijijiijxypxpjiijyxpjixypxypxpyxpXYHXHXYHxypxpyxpxypxpyxpyxpXYHiijiijiji1)/()/()()()/()()/()/(log)(log)(log)/()(log)(log)()()(12)/(12)(12)/()(12)(12其中2020/3/1126/45(7)极值性/香农辅助定理对任意两个消息数相同的信源有上式含义：任一概率分布p(xi)，它对其它概率分布p(yi)的自信息取数学期望时，必大于p(xi)本身的熵。niYPYXPX，,2,1,)()(iiiiniypinixpinnypxpxpxpxpxpxpHii1)()(log)(log)()(,),(),(1)(121)(1221其中][log)(12iyp2020/3/1