第三章 信源编码

第三章信源编码主要内容：1.信源的数学模型和量度2.离散信源的编码——离散无记忆信源的编码及其相关算法（1）最优量化技术（2）编码技术（时间波形编码，频谱波形编码，模型基信息编码）基本概念：信源——离散、模拟量化(矢量量化)(K均值算法)DMS——离散无记忆信源PCM对数量度DPCM平均互信息适应PCM和DPCM熵及其基本性质DM(增量调制)信源编码定理Ⅰ,Ⅱ自适应变换编码霍夫曼编码算法LPC——线性预测编码率失真函数及香农定理一.信源的数学模型信源：随机信号(能量信号，功率信号)非确知信号信源输出序列统计独立——DMS（离散无记忆信源）信源的输出统计相关——（平稳）模拟信源具有输出波形，是平稳随机过程的一个样本函数，其自相关函数，功率密度谱当是带限的随机过程，即时，满足条件，可以用抽样定理来表示利用抽样定理可把模拟信源的输出转换成等效的离散时间信源。)(tx)(xx)(fxx)(tXWf||0)(fxx)(tx)2(2)]2(2sin[)2()(WntWWntWWnxtxn)(tX二.信息的量度——熵及其性质1.熵离散随机变量事件的出现提供事件的信息量和间的互信息：的自信息：YyXxii事件事件iyYixXixiy)()|(log);(2iiiiixpyxpyxIix)(1log)(2iixpxI平均互信息：平均自信息：表示信源可能的输出字符集，表示每个信源字符的平均自信息。称为信源的熵nimjjijijiypxpyxpyxpYXI112)()(),(log),();(niiiniiixpxpxIxpxH121)(log)()()()()(XH)(xHX2.熵的基本性质（1）非负性（2）确定性当为确定时，则确定性越大，越小。信源的熵反映的是信源的总体不确定性。（3）对称性即当的顺序互换时，熵函数的值不变熵函数只与随机变量的总体结构有关0)(xH0)(1)(0)(log)()(1xHxpxpxpxHiniii1)(ixpix0)(xH)(xH)(xH),,,(),,,(2121qiiiqPPPHPPPHqPPP,,,21（4）扩展性当信源中增加小概率事件后，对信源总的平均不确定性几乎没有影响。熵的总体平均性（5）可加性对于两个统计独立信源X和Y，有（6）极值性信源中各事件的出现概率趋于均等时，信源具有最大熵。等概率事件平均不确定性最大证明：用到凸函数和詹森不等式)()()(YHXHXYHqqqqHPPPHqlog)1,,1,1(),,,(21qiiiiqiiypypYEYE11loglog)](log[][log),,,(),,,,,(lim21210qqPPPHPPPH三.香农三大定理通信的根本问题是如何高效、可靠地实现信息的传输。需要解决两个问题：（1）在不失真或允许一定失真的条件下，如何用尽可能少的编码符号来传送信源信息，以便提高信息传输率；（2）在信道受到干扰的情况下，如何增强信息的抗干扰能力，同时又不过多地降低信息传输率。对于数字通信系统，解决这两个问题的基本方法是采用信源编码和信道编码，而研究的理论依据就是著名的香农三大定理。1.香农第一定理——无失真可变长信源编码定理（1）信源编码器a.信源编码的实质：是对信源的原始符号按一定规则进行变换，以新的编码符号代替原始信源符号，从而降低原始信源的冗余度。b.编码的过程：是按照一定的规则，将信源的各个原始符号表示成码字输出，而是由若干个码元组成的序列。编码就是从信源符号到码符号组成的码字之间的一种映射。iiWiWjixc.定义1.若某一种码的任意一串有限长的符号序列只能被惟一地译成所对应的信源符号，则该码称为惟一可译码。定义2.若用r元码对信源进行编码，设S中每个符号所需的平均码长为，则定义为该码的编码效率。式中，代表信息量，N为扩展信源次数，即N次扩展信源的无失真编码。},,{:1qsS},,{:1qWWcC),,,(21liiiixxxW},,{:1rxxxXNSNLN/rNLsHNlog)()(sH（2）香农第一定理——可变长无失真信源编码定理设为q元离散无记忆信源S的N次扩展信源，若对进行编码，码符号集则总可以找到一种编码方法构成惟一可译码，使信源S中每个符号所需的平均码长度满足：且当时有：NqNS},,,{21NS,}.,,{21XxxxrNLN/NrsHNLrsHN1log)(log)(22N)(log)(lim2sHrsHNLrNN若以二元码表示编码，则说明：（1）要实现无失真的信源编码，变换每个信源符号平均所需的最小的r元码位数就是原始信源的熵值。（2）通过增加扩展信源的次数N，可使编码平均码长达到下限值。（3）逆定理：若平均编码码长小于信源的熵值，则惟一可译码不存在，在译码时必然要引起失真。NLN)(sHrNsHNLsHN1)()(2.香农第二定理——噪声信道编码定理信道编码——第七章最大似然译码准则：MLD(MaximumLikelihoodDecoding)香农第二定理：（存在性定理）设某信道有r个输入符号，s个输出符号，信道容量为C，只要码长n足够长，总可以在输入的个符号集中找到M个码字组成一个码，并存在相应的译码规则，使信道输出的错误概率任意小。其中M个等可能的消息，且，为任意小的正数。nrEP)(2CnM说明：（1）码字数，由于对M个等概率消息进行编码，则编码后每符号的信息传输率为：R可以无限逼近信息容量C。（2）只要码长n足够长，则总可以找到一种码，使编码后的信道信息传输率R达到信道容量，且在相应的译码规则下使错误概率最小，从而实现极高的传输可靠性。（3）只要信道编码后，输入信道的信息传输率不超过信道容量C，则总存在最佳编码，使传输达到任意高的可靠性。)(2CnMCnMR2log3.香农第三定理——保真度准则下的信源编码定理（1）失真度与信息失真函数失真度：对于每一对输入、输出符号定义单符号失真度：平均失真度定义：),(vu)2()(),(,,2,1;,,2,10),(PvuvudsjrivudPjijiji)],([)],([vudEvudDji（2）信息率失真函数a.信息传输率b.无记忆高斯信源的率失真函数（香农，1959年）为高斯信源输出的方差。}),|(min{)(DDuvpDRij)符号/比特()};({VUI);(VUI)(DRg)(0)0()/(log212222xxxDDD2x（3）香农第三定理（存在性定理）设为一离散无记忆信源的信息率失真函数，并且有有限的失真测度D，则对于任意，以及任意长的码长K，一定存在一种码字个数为的信源编码，使编码后码的平均失真度。)(DR0,0D])([2DRKMDDa.对于长度为K的M个码字组成的码C，编码后每个符号的信息传输率为：即R不小于率失真函数。b.只要码长K足够长，总可以找到一种信源编码，使编码后的信息传输率略大于率失真函数，而。c.如果编码后的信息传输率，则保真度准则不再满足。)2(])([DRkM)(log2DRKMR)(DR)(DRDD)(DRRDD四.信源编码技术1.离散信源编码2.模拟信源编码