最新文档-信息论与编码第三章复习-PPT精品文档

第三章对称DMC信道无干扰信道单符号加性信道限时限频高斯白噪声信道分类离散单符号信道离散序列信道连续信道多维无记忆加性信道（注水法）第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity33.1信道的分类和表示参数(1)一般信道的数学模型(2)信道的分类(3)实际的信道(4)信道的参数第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity4(1)一般信道的数学模型信道编码器信道编码器基带调制器信道+噪声调制器信道+噪声解调器写入头存储介质+介质缺陷读出头基带解调器输入X输出Y黑箱第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity5(1)一般信道的数学模型转移概率矩阵(/)jipba输入输出XY信道模型X∈{a1,a2,…,ai,…,an}Y∈{b1,b2,…,bj,…,bm}第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity61211121121222212(/)(/)(/)(/)(/)(/)(/)(/)(/)mmmnnnmnbbbapbapbapbaapbapbapbaapbapbapbaP信道转移概率矩阵111212122212mmnnnmppppppppp第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity7(2)信道的分类a)根据输入输出随机信号的特点分类(连续/离散）b)根据输入输出随机变量个数的多少分类（单符号/多符号）c)根据输入输出个数分类（单用户/多用户）d)根据信道上有无干扰分类e)根据信道有无记忆特性分类f)根据输入和输出之间有无反馈第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity8(3)实际的信道实际信道的带宽总是有限的，所以输入和输出信号总可以分解成随机序列来研究。一个实际信道可同时具有多种属性。最简单的信道是单符号离散信道。第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity9(4)信道参数A.二进制离散信道模型B.离散无记忆信道C.离散输入、连续输出信道D.波形信道第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity10A.二进制离散信道模型a）二进制离散信道模型的组成二进制离散信道模型由一个允许输入值的集合X＝{0,1}和可能输出值的集合Y={0,1}，以及一组表示输入、输出关系的条件概率（转移概率）组成。第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity11b）二进制对称信道（简称为BSC信道）0输入10输出11-p1-ppp二进制对称信道第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity12B．离散无记忆信道（a）离散无记忆信道（DMC信道）x1x2··xny1y2···ym第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity13联合条件概率112211(,,,/,,)nnnnpYyYyYyXxXx1(/)nkkkkkpYyXx第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity14C．离散输入、连续输出信道离散时间无记忆信道假设信道输入符号选自一个有限的、离散的输入字符集X={a1，a2，…，an}，而信道输出未经量化（m－》∞），这时的译码器输出可以是实轴上的任意值，即y={-∞，∞}。这样的信道模型为离散时间无记忆信道。第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity15说明：a)它的特性由离散输入X、连续输出Y以及一组条件概率密度函数pY(y/X=ai),i=1,2,…,n来决定。b)这类信道中最重要的一种是加性高斯白噪声（AWGN）信道，对它而言Y=X＋G,式中G是一个零均值、方差为的高斯随机变量，X=ai，i=1，2，…，n。2第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity16当X给定后，Y是一个均值为ai、方差为的高斯随机变量222()/21(/)2iyaYipyae第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity17D．波形信道波形信道是这样一种信道模型：其输入是模拟波形，其输出也是模拟波形。假设输入该信道的是带限信号x（t），相应的输出是y（t），那么y（t）=x（t）＋n（t）这里n（t）代表加性噪声过程的一个样本函数。第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity183.2离散单个符号信道及其容量引言：信道容量定义3.2.1无干扰离散信道3.2.2对称DMC信道3.2.3准对称DMC信道3.3.4一般DMC信道第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity19信道的信息传输率信道的信息传输率：就是平均互信息R=I(X;Y)。I(X;Y)是信源无条件概率p(ai)和信道转移概率p(bj/ai)的二元函数：当信道特性p(bj/ai)固定后，I(X;Y)随信源概率分布p(ai)的变化而变化。由平均互信息的性质已知，I(X;Y)是p(ai)的上凸函数，因此总能找到一种概率分布p(ai)（即某一种信源），使信道所能传送的信息率为最大。第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity20信道容量信道容量C：在信道中最大的信息传输率。单位时间的信道容量Ct：若信道平均传输一个符号需要t秒钟，则单位时间的信道容量为：Ct实际是信道的最大信息传输速率。()()maxmax(;)(/)iipxpxCRIXY比特信道符号)/();(max)(1秒比特YXICixptt第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity213.2.1无干扰离散信道①具有一一对应关系的无噪信道②具有扩展性能的无噪信道③具有归并性能的无噪信道第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity22①具有一一对应关系的无噪信道这种信道如右图所示第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity23I(X;Y)=H(X)=H(Y)。当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量2()()max(;)max()logiipxpxCIXYHXn第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity24②具有扩展性能的无噪信道此信道的举例如右图所示。nm，输入X的符号集个数小于输出Y的符号集个数。第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity25信道疑义度H(X/Y)=0，I(X;Y)=H(X)-H(X/Y)=H(X)。信道容量为：2()()max(;)max()logiipxpxCIXYHXn第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity26③具有归并性能的无噪信道这种信道如下图所示。nm，输入X的符号集个数大于输出Y的符号集个数。第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity27信道噪声熵H(Y/X)=0。信道容量为：2()()max(;)max()logiipxpxCIXYHYm第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity283.2.2对称DMC信道对称信道矩阵，它的每一行和每一列都是同一集合各个元素的不同排列。可当信道输入呈等概率分布时，强对称离散信道能够传输最大的平均信息量，即达到信道容量：()221max[()]log(/)log(/)imipxmjijijHYHmpbapbaC第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity293.2.3准对称DMC信道准对称离散信道定义：一个n行m列单符号离散信道矩阵[P]的行可排列，列不可排列。但是矩阵中的m列可分成S个不相交的子集，各子集分别有m1,m2,…,ms个元素(m1+m2+…+ms=m)，由n行mk(k=1,2,…,s)列组成的子矩阵[P]k具有可排列性。当输入分布达到等概时，达到信道容量：2121(()log()),,,skkmkkpCmpbHqqbq第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity30()kpbk其中为第个子集中概率的平均值()()()1,2,,jkjpbMkkpbpbksm12(,,,)PmHqqq为矩阵一行元素的熵。第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity31为使I（X;Y）最大化以便求取DMC容量，输入概率{p（xi）}必须满足的充分和必要条件是:(/)(;)(/)log()jiijijjpbaIaYpbapb3.2.4一般DMC信道每个概率非零的输入符号对Y提供相同的平均互信息(;),i(;)CiiiIaYCIaY对于所有满足p(xi)0的，对于所有满足p(xi)=0的其中：第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity32本讲内容3.3离散序列信道及其容量3.4连续信道及其容量第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity333.3离散序列信道及其容量(1)离散序列信道的定义(2)离散序列信道的模型(3)离散序列信道的信道容量第三章信道与信道容量2019/11/18DepartmentofCommunicationChinaJiLiangUniversity343.3离散序列信道及其容量（1）