信息论与编码3信道与信道容量

第3章信道与信道容量信道分类和表示参数离散单个符号信道及其容量离散序列信道及其容量连续信道及其容量13.1信道分类和表示参数信道分类用户数量：单用户、多用户输入端和输出端关系：无反馈、有反馈信道参数与时间的关系：固参、时变参噪声种类：随机差错、突发差错输入输出特点：离散、连续、半离散半连续、波形信道23.1信道分类和表示参数信道参数3号之间统计的依赖关系来描述信道输入输出信条件概率输出矢量为输入矢量为设信道)(,,),,,,(,,),,,,(121121Y/XYXpbbXYY，YaaXXXXmjjnii•信道种类有干扰有记忆信道有干扰无记忆信道无干扰信道3213.1信道分类和表示参数二进制对称信道（BSC）4pppp11P1-p1-ppp01103.1信道分类和表示参数离散无记忆信道5nmnnmmppppppppp212222111211Pb2a2a1anbmb13.1信道分类和表示参数离散输入、连续输出信道6222/)(21)/(iayiYeayp+XYG3.1信道分类和表示参数波形信道7+x(t)y(t)n(t))()(),()(),()/(),,/,,()/(,,2121npxpnxpxpyxpxypxxxyyypxypnxyxxyxYLLYY3.2离散单个符号信道及其容量信息传输率信道在单位时间内平均传输的信息量定义为信息传输速率R=I(X;Y)=H(X)－H(X/Y)比特/符号Rt=I(X;Y)/t比特/秒信道容量比特/符号（bits/symbol或bits/channeluse）8);(max)(YXICiap3.2离散单个符号信道及其容量无干扰离散信道的信道容量9XYXYXY1111111111111(a)无噪无损信道(b)无噪有损信道(c)有噪无损信道部分理想化的无干扰离散信道3.2离散单个符号信道及其容量X、Y一一对应C＝maxI(X;Y)＝logn多个输入变成一个输出C＝maxI(X;Y)＝maxH(Y)一个输入对应多个输出C＝maxI(X;Y)＝maxH(X)103.2离散单个符号信道及其容量对称DMC信道定义输入对称如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称输出对称如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称对称的DMC信道如果输入、输出都对称113.2离散单个符号信道及其容量对称DMC信道例子1231316161616131312161313121616131213.2离散单个符号信道及其容量输入对称13•输出对称无关与iabpabpjijij)/(log)/()/()/(log)/()/(log)/()()/(ijijijjijijiixYHabpabpabpabpapXYHiijiijijabpnabpapbp)/(1)/()()(3.2离散单个符号信道及其容量对称信道容量14)/()(max)]|()([max)]|()([max);(max)()()()(XYHYHXYHYHYXHXHYXICiiiiapapapap＝mjijijippmaYHmC1loglog)|(log3.2离散单个符号信道及其容量Eg.求信道容量153131616161613131P符号/082.0)61,61,31,31(4log2bitHC3.2离散单个符号信道及其容量Eg.求信道容量16111111111nnnnnnP信道输入符号和输出符号的个数相同，都为n，且正确的传输概率为1－，错误概率被对称地均分给n-1个输出符号，此信道称为强对称信道或均匀信道，是对称离散信道的一个特例)1,,1,1(lognnHnC3.2离散单个符号信道及其容量二进制对称信道容量C＝1－H（）1700.20.40.60.8100.20.40.60.813.2离散单个符号信道及其容量串联信道18信道1信道2…信道m串联信道C(1,2)=maxI(X;Z)，C(1,2,3)=maxI(X;W)…3.2离散单个符号信道及其容量Eg.设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量191121PP222221)1()1(2)1(2)1(1111PPP3.2离散单个符号信道及其容量信道容量I(X;Y)=1-H()，I(X;Z)=1-H[2(1-)]2000.5100.20.40.60.81m=1m=2m=33.2离散单个符号信道及其容量准对称DMC信道如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称DMC信道213/16/13/16/16/16/13/13/11P7.01.02.02.01.07.02P3.2离散单个符号信道及其容量准对称DMC信道容量对于准对称DMC信道，当输入分布为等概分布时，互信息达到最大值，即为信道容量22)/()(max)]|()([max);(max)()()(XYHYHYXHXHYXICiiiapapap＝3.2离散单个符号信道及其容量Eg.求信道容量232.05.03.02.03.05.0P方法一：信道的输入符号有两个，可设p(a1)＝，p(a2)＝1－信道的输出符号有三个，用b1、b2、b3表示ijijbapbp)()(2.0)1(2.02.0)(2.05.0)1(5.03.0)(2.03.0)1(3.05.0)(321bpbpbp0);(YXI符号/036.0);(maxbitYXIC3.2离散单个符号信道及其容量方法二当p(a1)＝p(a2)＝1/2时，p(b1)＝p(b2)＝(1-0.2)/2＝0.4C=H(Y)-H(Y/X)=0.036bit/符号24方法三将转移概率矩阵划分成若干个互不相交的对称的子集rkkksMNpppHnC121log)',','(logn为输入符号集个数；p1’，p2’，…ps’是转移概率矩阵P中一行的元素，即H(p1’，p2’，…ps’)＝H(Y/ai)；Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和，r是互不相交的子集个数3.2离散单个符号信道及其容量方法三252.05.03.02.03.05.0P2.02.0,5.03.03.05.0符号/036.04.0log2.08.0log8.0)2.0,3.0,5.0(2log222bitHC3.2离散单个符号信道及其容量Eg.求信道容量263/16/13/16/16/16/13/13/11P符号/041.0)6/16/1(log6/1)3/13/1(log3/1)6/13/1(log)6/13/1()6/1,6/1,3/1,3/1(2log2222bitHC3.2离散单个符号信道及其容量一般DMC信道1972年由R.Blahut和A.Arimoto分别独立提出的一种算法，现在称为Blahut-Arimoto算法•I(ai;Y)=C对于所有满足p(ai)0条件的I•I(ai;Y)C对于所有满足p(ai)=0条件的I当信道平均互信息达到信道容量时，输入符号概率集{p(ai)}中每一个符号ai对输出端Y提供相同的互信息，只是概率为零的符号除外273.3离散序列信道及其容量离散序列信道28信道p(Y/X)YXX=(X1X2…XL)Xl{a1,a2,…,an}Y=(Y1Y2…YL)Yl{b1,b2,…,bm}3.3离散序列信道及其容量离散无记忆序列信道29LlllLLXYpXXYYpp111)/()/()/(XY11111进一步信道是平稳的)/()/(xyppLXY)()/(log)()/()()()/(log)()/()();(YXYXYXYXXYYXpppXYHYHpppYXHXHILLLLLL3.3离散序列信道及其容量离散无记忆序列信道3011111如果信道无记忆如果输入矢量X中的各个分量相互独立LlllYXII1);();(YXLlllYXII1);();(YXLlLlllPLlllPPLlCYXIYXIICX111)();(max);(max);(maxXXYX当信道平稳时CL=LC1，一般情况下，I(X;Y)LC13.3离散序列信道及其容量扩展信道如果对离散单符号信道进行L次扩展，就形成了L次离散无记忆序列信道3111111BSC的二次扩展信道X{00,01,10,11}，Y{00,01,10,11}，二次扩展无记忆信道的序列转移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p200101101000110113.3离散序列信道及其容量扩展信道32111122222222)1()1()1()1()1()1()1()1()1()1()1()1(ppppppppppppppppppppppppP]),1(),1(,)1[(4log2222ppppppHC若p＝0.1，则C2＝2－0.938＝1.062比特/序列3.3离散序列信道及其容量独立并联信道序列的转移概率p(Y1Y2…YL/X1X2…XL)=p(Y1/X1)p(Y2/X2)…p(YL/XL)331111X1p(Y1/X1)Y1X2p(Y2/X2)Y2……XLp(YL/XL)YLLlllYXII1);();(YXLllLCIC112);(maxYX3.4连续信道及其容量连续单符号加性信道34x(xR)p(y/x)y(yR)连续单符号信道npn(n)＝N(0,2)平均互信息为I(X;Y)＝HC(X)－HC(X/Y)＝HC(Y)－HC(Y/X)＝HC(X)＋HC(Y)－HC(XY)信道容量)/()(max);(max)()(XYHYHYXICCCxpxp2)()(2log21)(max)()(maxeYHnHYHCCxpCCxp噪声是均值为零、方差为2的加性高斯噪声3.4连续信道及其容量连续单符号加性信道35pY(y)＝N(0,P)，pn(n)＝N(0,2)，y=x+n，所以pX(x)＝N(0,S))1log(21log212log212log21222SPeePCC＝1/2log(1+SNR)信道输入X是均值为零、方差为S的高斯分布随机变量时，信息传输率达到最大值若是加性的，可以求出信道容量的上下界)(2log21)1log(212nHePCSC3.4连续信道及其容量多维无记忆加性连续信道36信道输入随机序列X＝X1X2…XL，输出随机序列Y＝Y1Y2…YL，加性信道有y=x+n，其中n=n1n2…nL是均值为零的高斯噪声加性信道输入序列x输出序列y高斯噪声nX＝X1X2…XLY＝Y1Y2…YLn=n1n2…nL+X1Y1=X1+n1X1+X2Y2=X2+n2+XLYL=XL+nL3.4连续信道及其容量连续单符多维无记忆高斯