您好,欢迎访问三七文档
信道与信道容量1信道的基本概念2离散单个符号信道及其容量3离散序列信道及其容量4连续信道及其容量11信道的基本概念信道:信息传输的通道广义:信源与信宿之间狭义:中间远距离传输部分定义:传输信息的载体任务:以信号方式传输信息、存储信息信道容量主要研究理论上能够传输的最大信息量2信道的分类1.1用户数量:单用户、多用户输入端和输出端关系:无反馈、有反馈信道参数与时间的关系:固定参数、时变参数噪声种类:随机差错、突发差错输入输出信号特点:离散、连续、半离散半连续、波形信道等3信道参数1.2信道输入矢量为输出矢量为采用条件概率p(Y|X)来描述信道输入输出信号之间统计的依赖关系。•信道种类根据信道是否存在干扰以及有无记忆,将信道分为3大类:(1)无干扰(无噪声)信道(2)有干扰无记忆信道(3)有干扰有记忆信道(1)无干扰(无噪声)信道信道的输出信号Y与输入信号X之间有确定的关系:Y=f(X)转移概率:6(2)有干扰无记忆信道信道的输出信号Y与输入信号X之间没有确定的关系。信道无记忆只需分析单个符号的转移概率p(yj|xi)–二进制离散信道–离散无记忆信道–离散输入、连续输出信道–波形信道7转移概率满足:二进制离散信道信道转移概率p(yj|xi):无错误传输的概率二进制对称信道(BSC)8传输发生错误的概率离散无记忆信道(DMC)9转移概率矩阵转移概率矩阵的每一行元素之和为1对任意j∈{0,1,…,m},由全概率公式有:10一些DMC信道特例:二进制离散信道BSC二元删除信道BECZ型信道离散输入、连续输出信道加性高斯白噪声(AWGN)信道波形信道波形信道多维连续信道信道转移概率密度函数信道转移概率密度函数=噪声概率密度函数pn(n)13(3)有干扰有记忆信道方法:(1)将记忆很强的L个符号当作矢量符号,矢量符号间认为无记忆。(2)转移概率p(Y|X)看成马尔可夫链的形式143.2离散单个符号信道及其容量信息传输率R信道中平均每个符号所能传送的信息量复习平均互信息I(X;Y):接收到Y后平均每个符号获得的关于X的信息量。信道的信息传输率就是平均互信息15信息传输速率Rt信道在单位时间内平均传输的信息量Rt=R/t=I(X;Y)/tbit/st为平均传送一个符号所需的时间信道容量C信道所能传送的最大信息量,亦即最大的信息传输率C=maxI(X;Y)bit/符号p(ai)单位时间的信道容量Ct信道最大的信息传输速率复习平均互信息I(X;Y)的凸状性质BSC输入概率空间信道矩阵信道输出熵:条件熵:平均互信息量:17当p固定时,I(X,Y)是q的型上凸函数,存在一个极大值18说明:•信道容量是信道本身的特性,与信源无关;•信道容量是信息传输率R的上限,定量描述了信道信息的最大通过能力;•不是所有的信源传输符号时都可以达到这个传输速率,使信道达到最大传输率的输入概率分布称为最佳输入分布。192.1无干扰离散信道信道输入输出无噪:1个输入只对应1个输出,噪声熵H(Y|X)=0无损:1个输出只对应1个输入,疑义度H(X|Y)=0X、Y一一对应(n=m)无噪无损信道1)无噪无损信道H(Y|X)=H(X|Y)=0p(ai)多个输入变成一个输出(n>m)2)噪声熵H(Y|X)=00?0?损失熵H(X|Y)≠0?0??I(X;Y)=H(Y)H(X)1?1??C=maxI(X;Y)=maxH(Y)=logmp(ai)21无噪有损信道一个输入对应多个输出(n<m)3)噪声熵H(Y|X)≠0损失熵H(X|Y)=0I(X;Y)=H(X)H(Y)C=maxI(X;Y)=maxH(X)=logn有噪无损信道p(ai)222.2对称DMC信道输入对称如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素),称该矩阵是输入对称。输出对称如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素),称该矩阵是输出对称。对称信道输入、输出都对称。23练习:判断下列矩阵表示的信道是否对称信道24输入对称与信道输入符号概率分布无关25若信道输入符号等概率分布,则信道输出也等概率分布要使H(Y)最大,只有信道输出符号等概率分布,此时输入符号也等概率分布。※对称DMC信道的容量与对称信道矩阵中行矢量和输出符号集的个数m有关26例:某对称离散信道的信道矩阵为信道容量为:强对称信道(均匀信道)输入符号和输出符号个数相同(都等于n),且正确传输概率为1-ε,错误概率ε被对称地均分给n-1个输出符号,信道矩阵为各列之和也等于1强对称信道的信道容量二进制对称信道(BSC)二进制对称信道的信道容量C=1-H(p)串联信道在实际通信系统中,信号往往要通过几个环节的传输或多步的处理,这些传输或处理都可看成是信道,它们串接成一个串联信道。信息不增原理H(X)≥I(X;Y)≥I(X;Z)≥I(X;W)…C(1,2)=maxI(X;Z),C(1,2,3)=maxI(X;W),…串接的信道越多,其信道容量可能会越小,当串接信道数无限大时,信道容量就有可能趋于零。30例:设有两个离散BSC信道串接,两个BSC信道的转移矩阵为:串联信道的转移矩阵为:串联信道的信道容量2.3准对称DMC信道转移概率矩阵P是输入对称而输出不对称,即P的每一行都包含同样的元素而各列的元素可以不同。准对称信道的信道容量由I(X;Y)表达式1求其极大值公式法232例:求信道容量信道有两个输入符号,可设信道有三个输出符号,联合概率矩阵对于准对称DMC信道,当输入符号分布为等概率时,互信息达到最大值,即为信道容量。公式法将信道矩阵分成若干个互不相交的对称的子集例:2.4一般DMC信道一般离散信道的平均互信息I(X;Y)达到极大值的充分和必要条件是输入概率{p(ai)}必须满足:I(ai;Y)=C对于所有满足p(ai)0条件的iI(ai;Y)≤C对于所有满足p(ai)=0条件的i当信道平均互信息I(X;Y)达到信道容量时,输入符号概率集{p(ai)}中每一个符号ai对输出端Y提供相同的互信息,只是概率为零的符号除外。一般情况下,最佳分布不一定是唯一的,只须满足上述结论,并使互信息最大即可。37信道容量计算:对所有可能的输入概率分布P(ai)求该信道平均互信息I(X;Y)的极大值。由于I(X;Y)是P(ai)的∩型凸函数,所以极大值一定存在。n个变量满足概率存在条件:ΣP(ai)=1。计算:拉格朗日乘数法则计算该条件极值m=n,信道矩阵为非奇异阵3离散序列信道及其容量无记忆离散序列信道信道转移概率进一步信道是平稳的40仅与当前输入有关扩展信道如果对离散单符号信道进行L次扩展,就形成了L次离散无记忆序列信道---离散无记忆L次扩展信道例:BSC的二次扩展信道2次扩展信道的信道容量:若p=0.1,则C2=2-0.938=1.062比特/序列C1=0.531bit/序列独立并联信道将L个相互独立的信道进行并联,每个信道的输出Yl只与本信道的输入Xl有关序列的转移概率:独立并联信道的信道容量不大于各个信道的信道容量之和。只有当输入符号相互独立时,且达到各自最佳分布时,容量最大,为各自容量之和。444连续信道及其容量(加性噪声)4.1连续单符号加性信道输入x与干扰n相互无关限功率最大熵定理只有Y为正态分布时,其熵最大45信道输入X是均值为零、方差为S的高斯分布随机变量时,信息传输率达到最大值:信噪比SNR对于加性均值为零,平均功率为σ2的非高斯噪声信道4.2多维无记忆加性连续信道多维无记忆高斯加性信道可等价成L个独立的并联高斯连续单符号加性信道47当且仅当输入随机矢量X中各分量统计独立,且是均值为零、方差为Pl的高斯变量时,才能达到此信道容量噪声均值为零、方差相同噪声均值为零、方差不同,输入总平均功率受限484.3限时限频限功率加性高斯白噪声信道波形信道的平均互信息:限频(W)高斯白噪声过程可分解L=2WtB维统计独立的随机序列多维无记忆高斯加性信道信道容量:单位时间的信道容量:N0/2-功率谱密度N0W-噪声功率W-带宽PS-信号功率信噪功率比SNR=PS/N0W香农公式是加性高斯白噪声波形信道的信道注容量,对于非高斯波形信道,由香农公式得到的值是其信道容量的下限值。50香农公式香农公式的讨论带宽一定时,信噪比与信道1容量成对数关系当输入信号功率一定,增加带2宽,容量可以增加即使带宽无限,信道容量仍是有限当C∞=1bit/s,PS/N0=-1.6dB,即当带宽不受限制时,传送1比特信息,信噪比最低只需-1.6dB(香农限)频带利用率:单位频带的信息传输速率Ct一定时,带宽W增大,信噪比SNR可降低,3即两者是可以互换的。信道容量可以通过系统带宽与信噪比的互换而保持不变52例:如果SNR=7,W=4000Hz,则可得C=12×103b/s;但是,如果NR=15,W=3000Hz,则可得同样C值。信噪比和带宽的互换性在通信工程中有很大的用处。例如,在宇宙飞船与地面的通信中,飞船上的发射功率不可能做得很大,因此可用增大带宽的方法来换取对信噪比要求的降低。相反,如果信道频带比较紧张,如有线载波电话信道,这时主要考虑频带利用率,可用提高信号功率来增加信噪比,或采用多进制的方法来换取较窄的频带。53小结重点掌握信道容量的概念对称DMC信道容量的计算准对称DMC信道容量的计算限时限频限功率加性高斯白噪声信道容量的计算一般掌握信道模型及其分类了解一般DMC信道、离散序列信道的容量54C=maxI(X;Y)=logn无噪无损信道p(ai)C=maxI(X;Y)=maxH(Y)=logm无噪有损信道p(ai)对称DMC信道强对称信道准对称DMC信道限时限频限功率加性高斯白噪声信道55信道矩阵中行矢量
本文标题:信道与信道容量
链接地址:https://www.777doc.com/doc-4262144 .html