北京交通大学通信原理课件-郭宇春8-信道编码_v10

2010-12-6通信系统原理-郭宇春12010-12-6通信系统原理-郭宇春1通信系统原理北京交通大学电子信息工程学院通信工程教研室郭宇春2010-12-6通信系统原理-郭宇春2Chap8信道编码信道编码基本概念线性分组码循环码卷积码2010-12-6通信系统原理-郭宇春22010-12-6通信系统原理-郭宇春38.1信道编码基本概念1.信道编码的目标2.信道编码的理论依据3.汉明距及汉明重量4.差错控制能力与编码效率5.随机错、突发错、错误样式6.简单的差错控制编码7.差错控制方式2010-12-6通信系统原理-郭宇春4信道编码的目标信源编码——提高有效性寻求更为简洁的信息表达方式，使编码后的数据率最小减少冗余信息信道编码——提高可靠性，减小差错寻求最安全的表达方式，它能有效抵抗信道造成误码码流的频谱特性适应通道的频谱特性，使传输过程中能量损失最小，减小发生差错的可能性；当信道破坏了某个比特时，可利用其他比特的冗余信息复原出被破坏的比特——差错控制编码信道编码的理论依据？2010-12-6通信系统原理-郭宇春5Shannon信道编码定理基于单个符号考虑传输除非使用无穷的功率或几乎为零的传信率,无法避免错误Shannon换一个视角考虑:描述信道为一个随机映射XY:P(Y/X)在这个描述下,是否存在某些关于无差错传信率的极限Shannon信道编码定理信道互信息信道容量信道编码定理2010-12-6通信系统原理-郭宇春6信道连续信道通常假设离散信道XY发送符号：x1，x2，x3，…，xn接收符号：y1，y2，y3，…，ymP(xi)=发送符号xi的出现概率，i＝1，2，…，n；P(yj)=收到yj的概率，j＝1，2，…，mP(yj/xi)=转移概率，即发送xi的条件下收到yj的条件概率x1x2x3y3y2y1接收端发送端xn。。。。。。。。。ym信道模型P(xi)P(y1/x1)P(ym/x1)P(ym/xn)P(yj)线性时变网络si(t)f[si(t)]n(t)so(t)[()]()()iifstktst给定P(Y|X)，信道就已经给定我们关心通过这个信道最多可以传送多少信息2010-12-6通信系统原理-郭宇春7平均互信息量从信息量的概念,发送xi时收到yj所获得的信息量I(xi;yi)=log2P(xi)[log2P(xi/yj)]互信息：平均信息量/接收符号22111(;)()log()[()(/)log(/)]()(|)nmniijijijijiIXYPxPxPyPxyPxyHXHXY每个发送符号平均信息量,信源的熵接收符号已知后，发送符号的平均信息发送X，接收方观察到Y并且依据Y去猜测X，所能猜出的程度是互信息互信息相比发送符号信息量H(X)，少了的部分H(X/Y)是传输错误率引起的损失。xi的信息量:发送xi前接收端对xi的不确定程度收到yj后接收端对xi的不确定程2010-12-6通信系统原理-郭宇春8平均互信息量I(X;Y)≤H(X),I(X;Y)≤H(Y)H(X)H(Y)I(X;Y)H(Y|X)H(X|Y)2010-12-6通信系统原理-郭宇春9H(X)与H(X/Y)二进制信源的熵P(1)=，P(0)＝1-当从0变到1时，信源的熵当＝1/2时，此信源的熵达到最大值。条件熵无噪声条件下，P(xi/yj)=0；H(X/Y)=0从接收一个符号获得的平均信息量为H(X)。有噪声条件下从一个符号获得的平均信息量为[H(X)－H(X/Y)]。说明H(X/Y)即为因噪声而损失的平均信息量)1(log)1(log)(22H二进制信源的熵H()2010-12-6通信系统原理-郭宇春10信道容量信道能够传送的最大信息量，它等于信道输入和输出的互信息的最大可能值。连续信道与信道本身的性质,信号功率大小等因素有关离散信道由信道本身的性质所决定两种度量每个符号能够传输的平均信息量最大值(比特/符号)当信道中的噪声极大时，H(x/y)=H(x),C=0单位时间（秒）内能够传输的平均信息量最大值(b/s)()max[()(/)]PXCHXHXY()max{[()(/)]}tBBPxCRHxHxyRC2010-12-6通信系统原理-郭宇春11BSC二元对称信道（BSC，Binarysymmetricalchannel）输入x/输出y{0,1};信道转移概率具有对称性P(Y=1|X=1)=P(Y=0|X=0)，P(Y=1|X=0)=P(Y=0|X=1)=，是二元信道的误比特率信道输入X等概时信道容量C=1+log2+(1)log2(1)bits/symbol2010-12-6通信系统原理-郭宇春12Shannon的信道容量理论考虑输入x,输出y{0,1};P(1/0)=0.8,P(1/1)=0.3;P(0)=0.9;P(0)=0.1发端送n个符号的x序列，可能的x序列共有2nH(X)个收到y为1的概率为0.72+0.03=0.75.根据p(x/y)=p(x,y)/p(y),给定一个收到的y,y=1的位置,x=1的概率为0.03/0.75=0.04,y=0的位置,x=1的概率为0.72/0.75=0.96在不同位置产生y=1/0的x序列是基本不同的产生给定y的x序列的个数近似为2n[p(y=1)H(X/y=1)+p(y=0)H(X/y=0)]=2nH(X/Y)这些x序列一般会导致相同的输出y序列可选x集合有2nH(X)个,其中2nH(X/Y)个是不可区分的,所以有2nH(X)/2nH(X/Y)=2n[H(X)-H(X/Y)]=2nI(X:Y)个可选序列,称为许用码字,当只发送这些码字时,可以几乎无误码的检测对应每一个x的发送概率可以发现一个2nI(X:Y)码,对于最大传信率,要寻找最大的C=Maxp(x){I(X;Y)},C叫做信道容量或仙农容量（ShannonCapacity）2010-12-6通信系统原理-郭宇春13Shannon的信道编码定理Shannon信道编码定理，也称为Shannon第二定理RC，存在编码方法可任意小的错误率传递速率为R的信息，码长N要足够大。RC不存在有编码方法实现满足误码率要求的速率为R的传信。Shannon证明码长N大时，随机选择的码以很高概率为好码。Shannon之所以敢这么说，不是因为他发现了某个具体的编码具有如此优异的性能。而是他证明了：所有可能的编码的平均性能就这么好，因此至少有一个性能很好。问题：Shannon的证明是非构造性的，如何构造好码实现定理目标?实现ML译码的复杂性随N呈指数增长。2010-12-6通信系统原理-郭宇春132010-12-6通信系统原理-郭宇春14纠错与检错设有由3位二进制数字构成的码组可以表示8种不同天气,如“000”（晴），“001”（云），“010”（阴），“011”（雨），“100”（雪），“101”（霜），“110”（雾），“111”（雹）。任一码组在传输中若发生一个或多个错码，则将变成另一个信息码组。接收端将无法发现错误。若只用4种传送天气（许用码组）:“000”＝晴,“011”＝云,“101”＝阴,“110”＝雨，其余码组都是不准使用的接收端有可能检查出码组中的1位错码、3位错码，但不能发现2位错码接收端不能确定错误位置若许用码组只有2个：“000”（晴），“111”（雨），其他禁用接收端能检测两个以下错码，或能够纠正一个错码142010-12-6通信系统原理-郭宇春15分组码（Blockcodes)考虑(n,1)重复码：消息0,发送000；消息1,发送111大数逻辑判决:收到的三个符号中0多判0,1多判1称{0,1}为编码的符号集合,称000和111为这个码的（许用）码字从消息产生码字的过程叫编码从接收到的序列(可能不是码字)估计发送消息的过程叫译码或解码提升分组码(n,k)码发送端将消息分成一段段等长的块(k),k称为码的信息比特位数将每个等长块与等长(一般nk)的编码输出序列对应,n称为码长,增加的码位称为监督（校验）比特，共r=nk位监督码元仅监督本码组中的信息码元接收端每个接收到的整块只与产生这个块的消息块相关,与其他消息无关为什么能纠错?这样分组码的解码和数字调制的解调没有本质的区别?2010-12-6通信系统原理-郭宇春16汉明距及汉明重量汉明重量(码重)把码组中“1”的个数目称为码组的重量，简称码重。汉明距(码距)把两个码组中对应位上数字不同的位数称为码组的距离，简称码距。码距又称汉明距离。最小码距把某种编码中各个码组之间距离的最小值称为最小码距(d0)。码距的几何意义和调制星座的dmin一样，分组码的最小码距也直接关系到码的性能16(0,0,0)(0,0,1)(1,0,1)(1,0,0)(1,1,0)(0,1,0)(0,1,1)(1,1,1)a2a0a12010-12-6通信系统原理-郭宇春17最小码距和检纠错能力的关系为检测e个错码，要求最小码距为纠正t个错码，要求最小码距为纠正t个错码同时检测e个错码，要求最小码距10ed120tdteetd,100123BAded0BtAd012345td0ABe1ttd2010-12-6通信系统原理-郭宇春18差错控制编码的性能差错控制能力编码效率（编码速率、码率）k/n:平均每个码字所携带的信息比特率与差错控制能力相互矛盾编码增益给定接收信噪比，采用纠错编码能降低误码率(A,B)保持误码率,采用纠错编码可以节省功率——编码增益。（C,D点之间2dB的差异）付出的代价是带宽增大1810-610-510-410-310-210-1编码后PeCDEAB信噪比(dB)2010-12-6通信系统原理-郭宇春19随机错、突发错随机差错差错随机出现，且相互独立（无记忆性）原因：由高斯白噪引起（信道本身的传输特性比较理想）独立随机差错信道:太空信道、卫星信道、同轴电缆、光缆信道、视距微波信道突发差错差错成串出现（记忆性）:传输码字中错误只出现在连续的L个位置上(未必都错)，其它地方不出错（或出错机会非常小）原因：信道传输特性不理想（衰落和码间干扰），有大的脉冲干扰突发差错信道:短波信道、移动通信信道、散射信道、明线和电缆信道192010-12-6通信系统原理-郭宇春20错误样式(pattern)一个接收码字中具体哪个位置对、哪个位置错的描述设发送端向信道发送n个码元的码字序列为接收端接收码组若二者不相等，则可看作加入了某种“错误样式”E的结果在n位码字中，i位发生错误的概率为),,,,(0121CCCCCnn),,,,(0121rrrrCnnRRCECinbibiPPinP)1(2010-12-6通信系统原理-郭宇春21简单的实用差错控制编码奇偶校验（监督）码无论信息位多少，监督位只有1位，能够检测奇数个错码奇偶校验码分为奇数校验码和偶数校验码两种偶校验码：选择监督码a0使码组中“1”的数目为偶数在接收端，按照上式求“模2和”，若计算结果为“1”就说明存在错码，结果为“0”就认为无错码。奇校验码：选择监督码a0使码组中“1”的数目为奇数210021aaann1021aaann2010-12-6通信系统原理-郭宇春22二维奇偶校验码（方阵码）把奇偶校验的若干码组排成矩阵，每一码组写成一行，然后再按列的方向增加第二维监督位，如下图所示a01a02a0m为m行奇偶校验码中的m个监督位。cn-1cn-2c1c0为按列进行第二次编码所增加的监督位，它们构成了一监督位行。22012101212021222110111211ccccaaaaa