信息论与编码课件第三章

信息论与编码课件第三章23.1信道分类和表示参数3.2离散单个符号信道及其容量3.3离散序列信道及其容量3.4连续信道及其容量内容33.1信道分类和表示参数4信道•信道：信息传输的通道–在通信中,信道按其物理组成常被分成微波信道、光纤信道、电缆信道等。–信息论不研究信号在信道中传输的物理过程,并假定信道的传输特性已知,这样信息论就可以抽象地将信道用下图所示的模型来描述。信道输入量X(随机过程)输出量Y(随机过程)53.1.1信道分类•按输入/输出信号在幅度和时间上的取值分类:•1、离散信道：–输入和输出的随机序列取值都是离散的信道•2、连续信道：–输入和输出的随机序列取值都是连续的信道•3、半离散(半连续)信道：–输入变量取值离散而输出变量取值连续–输入变量取值连续而输出变量取值离散•4、波形信道：–信道的输入和输出在时间上，取值上都连续的随机信号。6信道分类•按输入/输出之间关系的记忆性来分类：•1、无记忆信道：–信道的输出只与信道该时刻的输入有关,而与其他时刻的输入无关•2、有记忆信道：–信道的输出不但与信道现时的输入有关而且还与以前时刻的输入有关7信道分类•按输入／输出信号之间的关系是否是确定关系•1、无干扰信道：–输入/输出符号之间有确定的一一对应关系。•2、有干扰信道：–输入/输出之间关系是一种统计依存的关系--输入/输出的统计关系：用符号条件概率矩阵p(Y|X)来描述。83.1.2信道参数•设信道的输入X=(X1,X2…Xi,…),Xi∈{a1…an}输出Y=(Y1,Y2…Yj,…),Yj∈{b1…bm}•信道转移概率矩阵p(Y|X)：–描述输入/输出的统计依赖关系,反映信道统计关系信道XYp(Y|X)9无干扰(无噪声)信道•1、无干扰(无噪声)信道–信道的输出信号Y与输入信号X之间有确定的关系Y=f(X),已知X后就确知Y–转移概率:)f()f(pXYXYXY,0,1)|(10有干扰无记忆信道•2、有干扰无记忆信道–信道的输出信号Y与输入信号X之间没有确定的关系,但转移概率满足:)|()|()|()|(2211LLxypxypxyppXY•有干扰无记忆信道可分为:(1)离散无记忆信道(2)二进制离散信道(3)离散输入、连续输出信道(4)波形信道(不学）3、有干扰有记忆信道11(1)离散无记忆信道DMC•信道输入是n元符号X∈{a1,a2,…,an}•信道输出是m元符号Y∈{b1,b2,…,bm}•转移矩阵nnmnnmmmaaapppppppppPbbb2121222211121121a1a2anb1b2bm::::::p11p12p21p22pnmpij=p(bj|ai)12•P:转移概率矩阵–已知X,信道输出Y表现出来的统计特性–完全描述了信道的统计特性,其中有些概率是信道干扰引起的错误概率,有些是正确传输的概率niabpmjij,2,11)|(1)|()|()|()|()|()|()|()|()|(2122221112112121nmnnmmnmabpabpabpabpabpabpabpabpabpaaaPbbb转移概率矩阵13•反信道转移概率矩阵–已知Y,信道输入X表现出来的统计特性)|()|()|()|()|()|()|()|()|(2122221112112121mnmmnnmnbapbapbapbapbapbapbapbapbapbbbPaaa•p(ai|bj):后向概率–已知信道输出端接收到符号bj但发送的输入符号为ai的概率。14(2)二进制离散信道BSC•二进制离散对称信道BSC–输入符号X取值{0,1}；–输出符号Y取值{0,1}•很重要的一种特殊信道•信道转移概率：p(0|0)=1－pp(1|1)=1－pp(0|1)=pp(1|0)=p0101pp1-p1-p101110ppppP无错误传输的概率传输发生错误的概率15(3)二元删除信道BEC•二元删除信道BEC–输入符号X取值{0,1}；–输出符号Y取值{0,1,2}•转移矩阵02101p1-pq1-qqqppP1001163.1.3信道容量•我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量,即信道的信息传输率R•平均互信息I(X;Y)：–接收到符号Y后平均每个符号获得的关于X的信息量。ijijijijypxypxypxpYXHXHYXI)()|(log)|()()|()();(•信道的信息传输率就是平均互信息17信道容量•信道容量C：（信道中平均每个符号所携带的最大信息量）(bit/符号)–最大的信息传输率);(max)(YXICiap•单位时间的信道容量：(信道中平均每秒所携带的最大信息量）(bit/秒)CTYXITCiapt1);(max1)()(iap•其中为信源X的概率分布,即选择使得平均互信息最大的信源得到的最大信息传输率，即为信道容量。183.2离散单个符号信道及其容量193.2.1三种特殊无记忆离散信道及容量•设信道的输入X∈A={a1…an},输出Y∈B={b1…bm}•无嗓无损信道–输入和输出符号之间有确定的一一对应关系)3,2,1,(10)|()|(jijijibapabpjiijX100010001Pa1b1Ya2b2a3b311120无噪无损离散信道•无嗓无损信道X0001001001001000Pa1b1Ya2b2an-1bn-1anbn1121无噪无损离散信道•无嗓无损信道•由)|(log),()|(ijijjixypyxpXYH)|(log),()|(jiijjiyxpyxpYXH•计算得：•噪声熵H(Y|X)=0损失熵（疑义度）H(X|Y)=0)()(),(YHXHYXInYXICiap2)(log);(max22无噪有损离散信道•无嗓有损信道–多个输入变成一个输出(n＞m)X1010010101Pa1Ya2b1a3a4b2a51111101)|(01)|(或或jijibapabp输出Y是输入X的确定函数,但不是一一对应,而是多一对应关系。23无噪有损离散信道•无嗓有损信道–多个输入变成一个输出(n＞m)–发送X符号后,对接受的符号Y是完全确定的。•噪声熵H(Y|X)＝0•损失熵(疑义度)H(X|Y)≠0)()(),(XHYHYXI)(max);(max)(YHYXICiap01)|(01)|(或或jijibapabp24有噪无损离散信道•有嗓无损信道–一个输入对应多个输出(n＜m)Xb1Ya1b2b3a2b4b51/31/31/31/43/43/1)|(3/1)|(3/1)|(131211abpabpabp•计算得1)|(1)|(1)|(312111bapbapbap1)|(1)|(5242bapbap•同理111003331300044P•由25有躁无损离散信道•有嗓无损信道一个输入对应多个输出(n＜m)•接收到符号Y后,对发送的X符号是完全确定的。•噪声熵H(Y|X)≠0损失熵(疑义度)H(X|Y)=0)()(),(YHXHYXI)(max);(max)(XHYXICiap(|)10(|)10ijijpbapab或，或263.2.2对称DMC信道•对称离散无记忆信道：•对称性:（同时满足行置换，列置换）–每一行都是由同一集合{p1,p2,…pm}的诸元素不同排列组成——输入对称（行置换）–每一列都是由{q1,q2,…qn}集合的诸元素不同排列组成——输出对称（列置换）2131616121313161213131616161613131PP满足对称性,所对应的信道是对称离散信道。27非对称DMC信道•反例：若信道矩阵为以下形式7.01.01.02.02.07.03161316161613131PP•不具有对称性,因而所对应的信道不是对称离散信道。28对称DMC信道•对称离散信道的平均互信息为()()()(,)()(|)()(|)max(,)max[()(|)]max()(|)iiipapapaIXYHXHXYHYHYXCIXYHXHXYHYHYX1)(|)()(|)log(|)(|)log(|)(|)1,2,ijijiijjijijiHYXpapbapbapbapbaHYain),,()|()|(21mipppHaYHXYH2)():MaxHYY则信宿为等概率分布即可logm29对称DMC信道•对称DMC信道的容量：•上式是对称离散信道能够传输的最大的平均信息量,它只与对称信道矩阵中行矢量{p1,p2,…pm}和输出符号集的个数m有关。121log(,)loglogmmijijjCmHpppmpp30例某对称离散信道的信道矩阵为3131616161613131P符号/082.0]61log6161log6131log3131log31[2)61,61,31,31(4logbitHC信道容量为31强对称DMC信道•若输入符号和输出符号个数相同,都等于n,且信道矩阵为pnpnpnppnpnpnppP111111111•此信道称为强对称信道(均匀信道)–信道矩阵中各列之和也等于12log(1,,,)11ppCnHpnn信道容量：32BSC信道容量二元离散无记忆信道：•设二进制对称信道的输入概率空间•信道矩阵：10PXppppppppP11ppabpapbpppabpapbpiiiiii)|()()1()|()()0(11010001YPpppp33)(]loglog[)|(log)|()|(log)|()()|(pHppppabpabpabpabpapXYHijjijijijiji(;)()(|)()()max(;)max()()log2()1()log(1,),2)IXYHYHYXHppHpCIXYHppHpHpHpmHppm(因为是强对称，所以C=)(1log)(1log)()(ppHppppppppYH34•当信道矩阵p固定时,I(X,Y)是ω的型上凸函数。I(XY)ω)(1pHC•BSC信道容量1-H(p)•I(X,Y)对ω存在一个极大值。BSC信道容量35pC)(1pHC•当固定信源的概率分布ω时,I(X,Y)是p的型下凸函数。0)21,21(1HC信道无噪声•当p=0,C=1－0=1bit=H(X)•当p=1/2,信道强噪声BSC信道容量•BSC信道容量36信道容量•定理：•给定转移概率矩阵P后,平均互信息I(X;Y)是输入信源的概率分布p(ai)的型上凸函数。•定理：•给定信源的概率分布p(ai)，平均互信息•I(X;Y)是信道传递概率p(bj|ai)的型下凸函数。•信道容量是完全描述信道特性的参量,是信道能够传输的最大信息量。37)](1[pHrCst•当信源输入符号的速率为rs(符/秒),（最大信息传输率）BSC信道容量•实际信息传输速率Rt为)]|()([YXHXHrRst•进入信道输入端的信息速率)(XHrDsin38例BSC信道如图,rs=1000符号/秒,错误传递概率p=0.1求:¼0Y0.