2.5平均互信息的凸性

2.5平均互信息的凸性连续信源熵复习∫−=bacdxxpxpXH)(log)()(()ln2cHXM≤峰值功率受限的最大熵定理平均功率受限的最大熵定理()()21log22ccGHXHXeπσ≤=2()212CHXeeσπ=熵功率平均互信息–定义及含义–与熵的关系–性质：对称性、非负性、极值性–信息处理定理)()()()|()()|()();(XYHYHXHXYHYHYXHXHYXI−+=−=−=);();(ZXIYXI≥–凸性复习)()1()(])1([qfpfqpfαααα−+≥−+qp)1(αα−+在[a,b]上定义的上凸函数凸集若集合nRC⊂（n维欧氏空间），有CqCp∈∈,且对任意实数有(1),pqCλλ+−∈显然，n维欧氏空间为一凸集合。0≤λ≤1则称为C为凸集合。概率矢量构成集合为凸集定义若一个K维矢量α=(α1,α2,…,αK)的所有分量为非负的，且和为1，即就称α为概率矢量。引理概率矢量全体所构成的区域R是凸的。证：若α,β∈R，对0≤θ≤1构造矢量γ=θα＋(1-θ)βKkakkk,2,10)1(=≥−+=βθθγ因此γ是概率矢量，仍属于R，所以R是凸的。∑∑∑====−+=KkKkkkKkka1111)1(βθθγ凸函数定义定义在凸集R上的一个实函数f，若它对所有α,β∈R和0≤θ≤1满足θf(α)+(1－θ)f(β)≤f(θα＋(1－θ)β)就称函数f为R上的凸∩函数，若式中不等号的方向相反，就称f为凸∪函数，若等号仅当θ=0或1时成立，就称f为严格凸∩或严格凸∪的。凸函数性质1)若f(α)是凸∩的，则-f(α)是凸∪的，反过来也成立。2)若f1(α),f2(α),…,fL(α)是R上的凸∩函数，c1,c2,cL是正数，则为R上的凸∩函数，若其中任一个是严格凸的，则和式也是严格凸的。∑=Llllfc1)(α3)(Jensen不等式)若f(α)是R上的凸∩函数，则E[f(α)]≤f(E(α))Kuhn-Tucker定理(K-T条件)是凸区域R上的上凸函数是概率矢量。假定偏导数存在且在R域上连续，则在R上为极大的充分必要条件是其中为一常数。()fα()12,,...,nαααα=()/kfαα∂∂()fα()()/,0./,0.kkkkffααλαααλα∂∂=∀∂∂≤∀=λ凸函数性质所以，所以，平均互信息平均互信息I(XI(X;;Y)Y)只是信源只是信源XX的概率分布的概率分布P(P(xx))和信道的转移概率和信道的转移概率P(P(y/xy/x))的函数，的函数，即：即：I(X;Y)=I(X;Y)=ff[[P(xP(x),P(y|x)]),P(y|x)],,(|)(|)(;)(;)()log()(|)log()()()()(|)XYXYXPyxPyxIXYIYXPxyPxPyxyyyqxPyxωωω====∑∑∑其中：2.5凸函数和互信息的凸性z平均互信息I(X;Y)是输入信源的概率分布P(x)的∩型凸函数。••（（11）对固定信道，选择不同的信源）对固定信道，选择不同的信源((其概率分布不其概率分布不同同))与信道连接，在信道输出端接收到每个符号后获与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。得的信息量是不同的。••（（22）对于每一个固定信道，一定存在有一种信源）对于每一个固定信道，一定存在有一种信源((某一种概率分布某一种概率分布P(x))P(x))，，使输出端获得的平均信息量使输出端获得的平均信息量为最大。为最大。2.5凸函数和互信息的凸性z平均互信息I(X;Y)是信道传递的概率P(y/x)的∪型凸函数。•当信源固定后，选择不同的信道来传输同一信源符号，在信道输出端获得关于信源的信息量是不同的。•对每一种信源都存在一种最差的信道，此时干扰(噪声)最大，而输出端获得的信息量最小。2.5凸函数和互信息的凸性[例]设二元对称信道(BSC)的信源空间为：X={0,1};[Q(X)]={ω,1-ω};01-p0pp11-p1平均交互信息量为：I(X;Y)=H(Y)-H(Y/X)H(Y/xi)=-∑p(yj/xi)logp(yj/xi)=-[plogp+(1-p)log(1-p)]=H(p)(i=1,2)其中：H(p)=-[plogp+(1-p)log(1-p)]H(Y/X)=ωH(Y/x0)+(1-ω)H(Y/x1)=H(p)为了求H(Y)，利用w(yj)=∑q(xi)p(yj/xi)可得：w(y=0)=ω(1-p)+(1-ω)pw(y=1)=ωp+(1-ω)(1-p)(由信道图形看)所以：H(Y)=H(ω(1-p)+(1-ω)p)可得平均交互信息量为：I(X,Y)=H(ω(1-p)+(1-ω)p)-H(p)求平均互信息I(X;Y)？解：根据这个关系，当p值一定，即固定信道，可知I(X;Y)是ω的上凸函数，其曲线如图：当BSC信道的信道矩阵固定后。只有当输入为等概分布时，p(0)=p(1)=1/2时，接收端的信息量才为最大值[1-H(p)]。这就是平均互信息的上凸函数性质。I(X,Y)=H(ω(1-p)+(1-ω)p)-H(p)ω();IXY0112()1Hp−„当信源一定时，平均互信息是信道转移概率的下凸函数[例]：在上例中，I(X,Y)=H(ω(1-p)+(1-ω)p)-H(p)，当固定信源先验概率分布ω时，I(X,Y)是信道转移概率p的下凸函数，如图所示。当信源固定后，存在一种BSC信道，p=(1-p)=1/2，使在信道输出端获得信息量最小，即等于0。也就是说，信源的信息全部损失在信道中了。这是最差的信道，这个性质说明，每个信源都存在一种最差的信道，此信道的干扰最大。p();IXY0112()Hω定理当条件分布p(y|x)给定时，平均互信息I(X;Y)是输入分布q(x)的上凸函数。思路需要证明利用2.5凸函数和互信息的凸性XY()1yω()1qxXY()2yω()2qxXY()3yω()121qqθθ+−()()()()()1212,1,1,IqpIqpIqqpθθθθ+−≤+−()()()()()()()312|,|1;logpyxpxypyxqqIxyyθθω=+−=2.5凸函数和互信息的凸性证明()()()()()()()331212log1log0yyyyyyyyωωθωθωωω=+−=∑∑()()()()()()()()()()()()()()()()()()()()()12123112212,1,1|1,||lo||log1|loggxxyyyxpIqpIqpIqqppyxpyxyxqpyxpyxyqxxqxpyxyxyqθθθθωωθθθθω−+−−−+−=+−+∑∑∑∑∑∑()()()()()()()()()3321211|log|logyxyxyqxpyyqxpyyyxxωωωθθω=−+∑∑∑∑()()()()()()()()()331212log|1log|xyxyyyqxpyxqxpyxyyωωθθωω≤+−∑∑∑∑()()()()()()()()()331212log|1|yxyxyyqxpyxqxpyxyyωωθθωω⎛⎞⎛⎞=+−⎜⎟⎜⎟⎜⎟⎜⎟⎝⎠⎝⎠∑∑∑∑Jensen不等式f为R上的上凸函数，则()11nniiiiiipffpαα==⎛⎞≤⎜⎟⎝⎠∑∑定理当先验分布q(x)给定时，平均互信息I(X;Y)是转移分布p(y|x)的下凸函数。思路需要证明2.5凸函数和互信息的凸性XY()1yω()qxXY()2yω()qx()()()()()1212,1,1,IqppIqpIqpθθθθ+−≤+−XY()3yω()qx()()()()()()312,/1/pxyqxpyxpyxθθ=+−()()()|;logpxyIxyqx=利用()()()()()()()()()()()()()()()()()()()3111133223322123/1log//1log/1lo/log//g/log/log/xyyxyxyyxyxxpxyypxypxyypxyypxpyxyypxypyxypxyypxyθθωθωωθθθωωω≤++⎛⎞+⎜⎟⎝−−⎛⎞−⎜=⎟⎝⎠⎠=∑∑∑∑∑∑∑∑∑∑∑∑()()()()()()()()()()()()()()()()()()()()()12123221112//1/,1,,1log1//o/lg/logxyxyxypxyqxpyxpxyqxpyxqxIqpIqpIqpppxyqxqxxyxqyxppθθθθθθθθ−−−−++−=−+−−+∑∑∑∑∑∑()()()()()()()()()()()()()()()()()()33223113112122/1/log//1/log///log///log/xyxyxyxypxyqxpyxppxyqxpyxpxypxyypxypxyxpxyypxypyyxθθθθωω−++==−∑∑∑∑∑∑∑∑本章作业2.42.92.132.232.282.292.72.142.172.18无条件熵交互熵联合熵条件熵条件熵图示关系符号名称)/()()();()/()/()(XYHXYHXHYXIYXHYXHXH−=+=≥)(XH)(YH)/(YXH)/(XYH)()(YXHXYH=);();(XYIYXI=)/()()();()/()/()(YXHXYHYHYXIXYHXYHYH−=+=≥);()()()()/(YXIXHYHXYHYXH−=−=);()()()()/(YXIYHXHXYHXYH−=−=);()/()/();()()()/()()/()()(YXIXYHYXHYXIYHXHYXHYHXYHXHXYH++=−+=+=+=)()()()/()/()()/()()/()();(XYHYHXHYXHXYHXYHXYHYHYXHXHYXI−+=−−=−=−=YXYXYXYXYXYX各种熵之间的关系