4-第四讲_信道容量及其计算

第四讲4－1信道容量4－2信道容量的计算方法信道容量及其计算YXa1=0pp1-p1=b2a2=10=b11-ppppp1110101、常见的简单DMC离散信道：pPPpPP)0|1()1|0(,1)1|1()0|0(二元对称信道（DSC）：输入符号X取值于{0,1}，输出符号取值于{0,1}，传递概率为4－1信道容量二元删除信道（BEC）：输入符号X取值于{0,1}，输出符号取值于{0,2,1}，传递概率为01q1-p1-qp120qqpp100110120010？21删除信道的必要性2、信道容量定义信息传输率：信道中平均每个符号所能传送的信息量。R=I(X;Y)=H(X)-H(X|Y)（bit/符号）有时我们需要关心单位时间内（一般为秒为单位）平均传输的信息量，若平均传输一个符号需要t秒，则信道每秒平均传输的信息量为（速率）sec)/()|(1)(1);(1bitYXHtXHtYXItRtI（X；Y）是输入随机变量的概率分布的上凸函数，所以对于固定的信道，总存在一种信源分布，使传输每个符号平均获得的信息量最大，也就是说，每一个固定信道都有一个最大的信息传输率。信道容量定义为信道中每个符号所能传递的最大信息量，也就是最大I(X；Y)值。)};({max)(YXICxP此时输入的概率分布称为最佳输入分布。信道容量C与输入信源的概率无关（C只对应着一种信源概率分布，即最佳概率分布），它只是信道传输概率的函数（不同的转移概率对应不同的信道），只与信道的统计特性有关，所以信道容量是完全描述信道特性的参量。信道容量表示了信道传送信息的最大能力，这个量在信息论研究中有重要意义。编码定理将证明：传送的信息量R必须小于信道容量C，否则传送过程中将会造成信息损失；若RC，就可以通过编码方法保证将全部信息几乎无误地传送倒收端。4－2信道容量的计算（1）、对称信道的容量对称信道：信道矩阵的每一行都是由同一概率分布的不同排列组成，并且每一列也是同一元素集的不同的排列组成。216131312161613121,3131616161613131PP1/31/31/61/61/31/31/61/6行列1/21/31/61/61/31/21/31/61/2行列而以下两个矩阵不是对称的，而是准对称的。（行对称而不是列对称）,3161316161613131P1/31/31/61/61/31/31/61/6二元对称信道的容量：)()(]1log1log[)()|(1log)|()()()|()();(pHYHppppYHxyPxyPxPYHXYHYHYXIYX例：7.01.02.02.01.07.0P0.70.10.20.20.10.7对于对称信道XYXxXYHxpxypxypxpXYHXYHYHYXI)|()()|(1log)|()()|()|()();(由于信道是对称的，上边的条件熵与x无关，所以)]',','()([max)',','()();()',','()|(1log)|()|()|(21)(2121JxpJJypppHYHCpppHYHYXIpppHxypxypxXYHXYH对于对称信道，输入符号的概率分布为等概时，输出符号也一定是等概的。)',','(log21JpppHJC例：3131616161613131P)/(0817,0)61log6161log6131log3131log31(2)61,61,31,31(4logsymbolbitHC(P95－例3.5)输出符号集个数（2）、准对称信道的容量准对称信道：信道矩阵（列）的子阵是对称矩阵。7.01.02.02.01.07.0,3161316161613131PP定理：达到准对称离散信道信道容量的输入分布为等概分布。nkkksMNpppHrC121log)',','(logr是输入个数，n是不相交子集数，Nk是行之和，Mk是列之和解：达到信道容量的输入分布为等概分布。2/1)1()0(PP此时输出分布为：例：求二元对称删除信道的C。（例3.8中特例）qqqq1001101201-qqq1-qqPPPPPqPPPPPqPPPPPxxyxxyxxy)1|2()1()0|2()0()2(;2/)1()1|1()1()0|1()0()1(2/)1()1|0()1()0|0()0()0(012qqqqqPPPPPPPPPPPPPPPPPPyPxyPxyPyPxyPxyPyxIpyxIpYXIyyyyyyyyx1]1log2log)1(0[21]1log02log)1[(21])2()1|2(log)1|2()1()1|1(log)1|1()0()1|0(log)1|0([21])2()0|2(log)0|2()1()0|1(log)0|1()0()0|0(log)0|0([21)()1|(log)1|(21)()0|(log)0|(21);1()1();0()0();(1（与公式计算的结果相同）)1(2log)1(log)1log()1(qqppqpqpC此时平均互信息就是信道容量此例题可作为后面：一般信道容量充分必要条件定理的例子。该定理说明：只要信源每个符号对于输出端Y提供相同的互信息（概率为零的除外），则此时平均互信息就是信道容量。定理：一般离散信道的平均互信息I(X;Y)达到极大值的充要条件是：输入概率矢量满足其中是信道输入x=k时，关于信道输出一个字母的平均互信息，即},,{110KQQQQ0,);(0,);(kkQkallforCYkxIQkallforCYkxI);(YkxIijijPiPkjPkjPYkxI)|()()|(log)|();(（3）、一般DMC容量的计算一般信道容量的计算方法（拉格朗日乘子法）定理1：如果信道的输入随机序列为通过信道传输，接收到的随机序列为若信道是无记忆的，即满足则),,(21NXXXX),,(21NYYYY,)|()|(1NiiixyPxyPNiiiYXII1);()(YX;（4）、扩展信道的信道容量证明：设信道输入输出序列X和Y的一个取值为NibbbbbbbNiaaaaaaaJhhhhhKkkkkkiNiN,2,1},,,{),(,2,1},,,{),(21212121])()|([log)()|(log)();(,hkhhkhYXhkppEpppYXI因为信道是无记忆的：])()|()|()|([log);(21211hkhkhkhpabpabpabpEYXINN另一方面])()()()|()|()|([log)()()()|()|()|(log)()()|(log)()()|(log)()()|(log)()()|(log)();(21122112112211211122222221111111,,,,,1,1NNNNNNNNNNNNNNNNNiiiiiiihhhkhkhkhhhhkhkhkhYXYXhhkkYXhkhhkYXhkhhkYXhkhhkNiYXhkhhkNiiibpbpbpabpabpabpEbpbpbpabpabpabpbbaapbpabpbapbpabpbapbpabpbapbpabpbapYXI这里用到（全概率公式）211)()()()(211211XXXXNxxpxpxxxpxpN01log)()()(log)()()()|(log)()()()()(log])()()()([log])()()()([log])()()()|()|()|(log)()|()|()|([log);();(2121212121211221121211,,1NNNNNNNNNNhhhYhhhYXhkhhhhYXhkhhhhhhhhhhhkhkhkhhkhkhkhNibpbpbpbpbpbpppbpbpbpppbpbpbpEpbpbpbpEbpbpbpabpabpabppabpabpabpEYXIYXI定理2：如果信道的输入随机序列为通过信道传输，接收到的随机序列为若信源是无记忆的，即满足则),,(21NXXXX),,(21NYYYY,)()(1NiiXPPXNiiiYXII1);()(YX;所以，如果信道和信源都是无记忆的，则NiiiYXII1);()(YX;（5）、信道的组合并联信道：两个或更多个信道并行，同时分别传送；信道1p(j|k)}{1kaX}{1jbY信道2p(j’|k’)}'{2kaX}'{2jbY定理：独立并行信道的容量为各分信道容量之和。21CCC级联信道：信道1的输出作为信道2的输入。和信道：随机选取信道1或信道2传送，（并信道）。1)2()1(channelPchannelP定理：和信道的容量满足下式21222CCC},min{21CCC第四讲信道容量及其计算结束