2015秋.信息论.第3章离散信道与平均互信息量

第3章离散信道与平均互信息量研究信源，研究的是信源输出的信息量，即信源的熵H(X)。研究信道，研究的是流经信道的信息量，即信道的输出Y与输入X之间的平均互信息量I(X;Y)。12§3.1信道模型及其分类一、信道的数学模型信道是信息传输的媒质或通道。信道输入端输出端信源信宿信道相当于一个数学变换，可以用条件概率描述p(y/x)。干扰输入事件的概率空间为[XP]输出事件的概率空间为[YP]3二、信道的分类1、根据输入输出事件的时间特性和集合的特点①离散信道：Ｘ和Ｙ都是离散事件集合，数字信道②连续信道：Ｘ和Ｙ都是连续事件集合，模拟信道③半连续信道：Ｘ和Ｙ一个是离散事件集合，一个是连续事件集42、根据输入和输出的个数两端信道：输入和输出都只有一个事件集合。多端信道：输入和输出至少有一端有两个以上的事件集合，也称多用户信道。卫星通信上行线是多元接入信道，卫星通信下行线是广播信道。53、根据信道的统计特性恒参信道：信道统计特性不随时间变化。随参信道：信道统计特性随时间变化。4、根据信道的记忆特性无记忆信道：信道输出集Ｙ仅与当前输入集Ｘ有关有记忆信道：信道输出集Ｙ与当前和以前若干个输入集有关，例如由于滤波器的特性不理想存在码间干扰的数字信道。65、根据信道上是否存在干扰进行分类无扰信道：信道上无干扰，理想信道；有扰信道：信道上有干扰，大部分信道。两端、恒参、无记忆离散信道。7三、离散信道数学模型信道p(y|x)Ｘ=X1X2…XKY=Y1Y2…YK信道特性可用转移概率p(y|x)=p(y1y2…yK|x1x2…xK)描述，信道数学模型为[Xp(y|x)Y]输入符号集A={a1,…,ar}，输出符号集B={b1,…,bs}输入序列Ｘ=X1X2…XK，取值x=x1x2…xK，xi∈A输出序列Y=Y1Y2…YK，取值y=y1y2…yK，yi∈B81、离散无记忆信道(discretememorylesschannel，DMC)若离散信道对任意N长的输入输出序列转移概率满足则称其为离散无记忆信道，其数学模型为[Xp(yk|xk)Y]KkkkKKxypxxxyyypp12121)|()...|...()|(xy对任意给定的n和m，若离散无记忆信道还满足p(yn=bj|xn=ai)=p(ym=bj|xm=ai)则称此信道为平稳的离散无记忆信道，其信道转移概率不随时间变化。平稳的离散无记忆信道只需研究单个字符的传输。我们所讨论的离散无记忆信道一般均是平稳的。9（1）一般单符号离散信道输入随机变量为X，取值为x，输出随机变量为Y，取值为y，信道传递(转移)概率为12,,...,rxAaaa(|)(|)(|)jijipyxPYbXaPba1,2,...,1,2,...,irjs；1)|(0)|(1sjijijabpabp},...,,{21sbbbBy信道ＸYp(y|x)2、单符号离散信道10信道传递概率实际上是一个传递概率矩阵，称为信道矩阵。111212122212ssrrrspppppppppP信道矩阵P每个元素均大于等于零,每行元素之和等于1。2112......sraabbab11（2）二进制对称信道。简记为BSC。其信道矩阵为：12（3）二进制删除信道。其信道矩阵为：13（4）二进制纯删除信道。其信道矩阵为：0014离散信道中主要的概率关系①先验概率②前向概率（即信道传递概率）()()1,2,,iipaPXair(|)(|)jijipbapYbXa1)(0)(1riiiapapsjri,...,2,1,...,2,1riabpabpsjijij,...2,1,1)|(0)|(1信道ＸYp(y|x)15③联合概率④后向概率（又称后验概率）⑤输出符号概率)|()(),()(ijijijiabpapbYaXPbap1()(|)(|)(|)()(|)ijiijijrijiipapbapabPXaYbpapbariijijjabpapbYPbp1)|()()()(信道ＸYp(y|x)163.2互信息量与平均互信息量3.2.1互信息量–定义3.1对两个离散随机事件集X和Y，事件yj的出现给出关于事件xi的信息量，定义为互信息量，其定义式为(;)()(/)ijiijIxyIxIxy(/)11logloglog()(/)()ijiijipxypxpxypxxiyj互信息量等于自信息量减去条件自信息量，是获得的信息量，或消除的不确定性的度量。17例：某地二月份天气构成的信源为现有人告诉你“今天不是晴天”。收到这个消息后，各种天气发生的概率为：81,81,41,21)(),(),(),()(4321雪雨阴晴xxxxXPX1y2111211()11111(/)0;(/);4488()2pxypxypxypy21(;)Ixy22111loglog211()()(/)bitpxpxy314111(/);(/)44pxypxy18由y1分别得到x2、x3、x4各1比特的信息量，也可以理解为y1使x2、x3、x4不确定度各减少1比特3141(;)(;)1()IxyIxybit同理21(;)Ixy1()bit19互信息量的性质–互信息量的互易性由事件yj提供的有关事件xi的信息量等于由事件xi提供的有关事件yj的信息量。证明：–当事件xi，yj统计独立时，互信息量为零。不能从观测yj获得关于另一个事件xi的任何信息。证明：(;)(;)ijjiIxyIyx(;)(;)0ijjiIxyIyxxiyjxiyj(/)log()ijipxypx20–任何两个事件之间的互信息量不可能大于其中任一事件的自信息量。•自信息量I(xi)是为了确定事件xi的出现所必须提供的信息量，也是任何其他事件所能提供的最大信息量。xiyj(/)(;)log()ijijipxyIxypx11loglog()(/)()(/)iijiijpxpxyIxIxy21–互信息量可正可负•当后验概率p(xi|yj)大于先验概率p(xi)时，互信息量I(xi;yj)大于零，为正值，意味着事件yj的出现有助于肯定事件xi的出现；•当后验概率p(xi|yj)小于先验概率p(xi)时，互信息量I(xi;yj)小于零，为负值，意味着事件yj的出现不利于肯定事件xi的出现。造成不利的原因是存在信道干扰。(;)ijIxy11loglog()(/)iijpxpxy22()0.50.5XPx危险安全信源信道信宿XYY=危险X=危险；Y=安全X=安全2(/)1()loglog1()()1/2pxyIxybitpx安全安全安全安全安全;若信道无干扰2(/)1()loglog1()()1/2pxyIxybitpx危险危险危险危险危险;23信源信道信宿XYY=安全X=安全；信道故障（设备故障，人员问题）XX信道错误，X,Y取值相反(/)()log()pxyIxypx安全安全安全安全安全;24–互信息量是定量地研究信息流通问题的重要基础。•但只能描述信源发出某个具体消息，信宿收到某具体消息时流经信道的信息量，是随和变化的随机变量。•不能从整体上作为信道中信息流通的测度。–平均互信息量•从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。);(jiyxIixjyixjy3.2.2平均互信息量);(YXI25(/)(;)()(;)()log()ijijijijijijipxyIXYpxyIxypxypx•互信息量I(xi;yj)在集XY上的概率加权平均值称为集合Y与集合X间的平均互信息量。111111()log()log(/)()1()log(|)()()(|)nmnmijijijijijiniiipxypxypxypxpxHXYpxHXHXY26①H(X)是先验的不确定性；②H(X|Y)是输出端收到符号Y后，对输入符号X尚存在的平均不确定程度，称为信道疑义度(损失熵)；③I(X;Y)是消除的不确定性，获得的信息量；(;)()()IXYHXHXY27(;)()(/)ijiijIxyIxIxy(/)11logloglog()(/)()ijiijipxypxpxypx(;)jiIyx互信息量1.互易性2极值性3互信息量可正可负11loglog()(/)iijpypyx复习一下iii1(x)loglog(x)(x)IPP(/)log(/)ijijIxypxy1()[()]()log()niiiiHXEIxpxpx()(/)loglog()()()ijjiijjpxypyxpxpypy28将已知信源5.05.0)(21xxXPX接到下图所示的信道上，求在该信道上传输的平均互信息量I(X;Y)、信道疑义度H(X/Y)、噪声熵H(Y/X)和联合熵H(XY)。(/)(;)()log()ijijijipxyIXYpxypx()()log()ijijijHXYpxypxy/()log(/)ijijijHXYpxypxy（）/()log(/)ijjiijHYXpxypyx（）2949.098.05.0)/()()(11111xypxpyxp01.002.05.0)/()()(12121xypxpyxp10.020.05.0)/()()(21212xypxpyxp40.080.05.0)/()()(22222xypxpyxp),/()()(ijijixypxpyxP解：（1）由求出各联合概率：0.50.530()(),jijiPyPxy)(1yp11121()()()0.490.100.59iiPxypxypxy41.059.01)(1)(12ypyp（2）由得到Y集各消息概率：0.50.531831.059.049.0)()()/(11111ypyxpyxp169.0)/(1)/(1112yxpyxp)()()/(jjijiypyxpyxp（3）由，得到X的各后验概率：1222(/)0.024(/)0.976pxypxy32（4）平均互信息(/)(;)()log()0.55(ijijijipxyIXYpxypxbit）(,)()log()ijijijHXYpxypxy{0.49log0.490.01log0.010.10log0.100.40log0.40}1.43()bit（5）联合熵33/()log(/)ijijijHXYpxypxy（）{0.49log0.8310.01log0.0240.10log0.1690.40log0.976}0.45(bit）/()log(/)ijjiijHYXpxypyx（）{0.49log0.980.01log0.020.10log0.200.40log0.80}0.43(bit）（6）条件熵信道疑义度噪声熵341111(/)(;)()log()()(;)log()ln(/)nmijijijinmiijijijpxyIXYpxypxpxIXYepxypxy平均互信息量的性质–非负性111111()log()(/)(1)(/)log()()log()(/)0nmijijijijnmnmjijijijijpxepypxypxyepypxepypxy351111(/)(;)()log()(/)()()log()()nmijijijinmijjijijijpxyIXYpxypxpxypypxypxpy–互易性（对称性）当集合X,Y相互独立