第9章-高斯信道

高斯信道一、时不变连续信道及信道容量第9章高斯信道1、时不变连续信道定义对应于时不变连续信源和时不变连续信宿的信道为时不变连续信道。表示高斯信道信源符号X取值于集合[a,b]信宿符号Y取值于集合[c,d]Xp(y/x)Yp(y/x)为信道转移概率密度函数1dy)x/y(pdc且满足高斯信道2、时不变连续信道的噪声熵}]y)x/y(plog[yx)yx(p{lim)X/Y(Hm1jn1iijji0y,xm,n①噪声熵m1jn1iijji0y,xm,n)x/y(plogyx)yx(plimm1jn1iji0y,xm,nylogyx)yx(plim高斯信道dcbadxdy)x/y(plog)xy(pyloglimdxdy)x/y(plog)xy(p0ymdcbadcba0ymdxdy)xy(pyloglim②噪声微分熵dcbadxdy)x/y(plog)xy(p)X/Y(h表示高斯信道3、平均互信息)X/Y(H)Y(H)Y;X(Iyloglim)Y(h0ymyloglim)X/Y(h0ym)X/Y(h)Y(h虽然微分熵不能作为信息度量，但平均互信息是熵差，具有信息度量的意义。高斯信道①非负性0)Y;X(I)Y(h)X/Y(h4、平均互信息的主要性质dcdcbady)y(plog)y(pdxdy)x/y(plog)xy(pdcbadxdy)x/y(p)y(plog)xy(p高斯信道dcbadxdy]1)x/y(p)y(p)[xy(pelog0]dxdy)xy(pdx)x(pdy)y(p[elogdcbabadc0)X/Y(h)Y(h)Y;X(I②对称性)X;Y(I)Y;X(I高斯信道③严格凸函数性5、信道容量与最大信息传输速率信道固定时，平均互信息量是信源概率密度函数p(x)的严格上凸函数，总能找到一种信源概率密度函数p(x)，使通过信道的平均互信息量达到最大。信道固定时，I(X;Y)是信源概率密度函数p(x)的严格上凸函数信源固定时，I(X;Y)是信道转移概率密度函数p(y/x)的严格下凸函数高斯信道定义信道转移概率密度函数p(y/x)不变时平均互信息量的最大值为该信道的信道容量，用C表示。表示)Y;X(ImaxC)x(p连续信道一般考虑信道在单位时间内平均互信息量的最大值。高斯信道其中T为平均传输一条消息所需的时间最大信息传输速率的单位为bit/sec(bps)表示)Y;X(ImaxT1TCC)x(pt定义单位时间的信道容量为最大信息传输速率，用Ct表示。高斯信道1、高斯信道信道中噪声对信号的作用表现为线性叠加的称为加性噪声，相应的信道为加性信道。其中，X的概率密度函数为p(x)，Y的概率密度函数为p(y)，噪声N的概率密度函数为p(n)。XY=X+NN二、高斯信道及信道容量高斯信道X和N相互独立时，加性信道的转移概率密度函数p(y/x)=p(n)设坐标变换相应的雅可比行列式11011yfyfxfxfJ2121)x/y(p)x(p)xy(p)n(p)x(p)xn(pJ)xn(p)xy(pxyfn,xfx21高斯信道2、高斯信道的信道容量dxdy)x/y(plog)x/y(p)x(p)X/Y(hdxdn)n(plog)n(p)x(pdn)n(plog)n(p)eP2log(21)e2log(21)N(hN2如果噪声N是均值m=0、方差σ2=PN的(白色)高斯加性噪声WGAN，信道为高斯加性信道，简称高斯信道。高斯信道)}X/Y(h)Y(h{max)Y;X(ImaxC)x(p)x(p)N(h)Y(hmax)x(pX和N相互独立时，信源X取均值m=0、方差的高斯分布，信宿Y也满足高斯分布，其均值m=0、方差为X2XPNX22X2YPP)eP2log(21)Y(hmaxN)x(p根据平均功率受限下的最大微分熵定理，当信宿Y取均值m=0、方差的高斯分布时具有最大微分熵NX2YPP高斯信道)]PP(e2log[21)e2log(21h(Y)maxNX2Yp(x)高斯信道的信道容量)PP1log(21)eP2log(21)]PP(e2log[21CNXNNXSNRPPNX为信噪功率比其中高斯信道3、高斯信道的最大信息传输速率当所传输信号的有效带宽为B时，根据采样定理，只要采样频率取为2B，符号序列即可保留时间连续消息的全部信息)PP1log(BCNXt平均不失真传输一条消息(符号)所需时间为T=1/2B，相应最大信息传输速率该式称为香农公式高斯信道)BNP1log(B)PP1log(BC0XNXt的单边功率谱密度为设WGANBPNN0香农公式的意义：最大信息传输速率与所传输信号的有效带宽成正比最大信息传输速率与信噪功率比基本呈对数关系，且信噪功率比小于1时最大信息传输速率仍大于0高斯信道0XtBNPelogClim最大信息传输速率一定时，增大所传输信号的有效带宽，可以降低对信噪功率比的要求，反之亦然当所传输信号的有效带宽趋于无穷时，最大信息传输速率趋于有限值高斯信道已知高斯信道所传输信号的带宽B=3kHz，最大信息传输速率Ct=1.5×104bps，求信噪功率比；如果将信噪功率比降低到-3dB，求保持同样最大信息传输速率所需的带宽。4NX3NXt105.1)PP1log(103)PP1log(BC5315)PP1log(NX例1高斯信道4NXt105.1)5.01log(B)PP1log(BC)dB(9.1431lg10PPlg10NX即3.0PPlg3PPlg10NXNX即5.010PP3.0NX)kHz(6.25585.0105.15.1log105.1B443113212PP5NX