zyw7保真度准则下的信源编码

普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著1第7章保真度准则下的信源编码本章主要讨论在信源允许一定失真D情况下所需的最少信息率，从分析失真函数、平均失真出发，求出信息率失真函数R（D）。7.1D平均失真和信息率失真函数7.2信息率失真函数及其性质7.2离散信源和连续信源的R（D）计算7.6保真度准则下的信源编码定理普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著2平均失真和信息率失真函数失真函数平均失真信息率失真函数R(D)信息率失真函数的性质普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著37.1平均失真和信息率失真函数在实际问题中，信号有一定的失真是可以容忍的。但是当失真大于某一限度后，信息质量将被严重损伤，甚至丧失其实用价值。要规定失真限度，必须先有一个定量的失真测度。为此可引入失真函数。普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著4失真函数假如某一信源U，输出样值为ui，ui{u1,…ur}，经过有失真的信源编码器，输出V，样值为vj，vj{v1,…vs}。如果ui＝vj，则认为没有失真d=0；如果uivj，那么就产生了失真。失真的大小，用一个量来表示，即失真函数d(ui，vj)，以衡量用vj代替ui所引起的失真程度。一般失真函数定义为jijijivuααvu),vd(u00试验信道编码方法UV普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著5失真矩阵单个符号的失真度的全体构成的矩阵，称为失真矩阵),(jivudsrsrrrssvudvudvudvudvudvudvudvudvudD),(),(),(),(),(),(),(),(),(212221212111普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著6均方失真：ijijiuvuvud/),(2),(jijivuvudjijivuvud),(其它，1,0),(),(jijijivuvuvud相对失真：误码失真：绝对失真：前三种失真函数适用于连续信源，后一种适用于离散信源。最常用的失真函数普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著7举例：常见的失真矩阵定义7.1jijijivuvu),vd(u10rrD0....1111....1111....0111....1011.....110普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著8失真函数的定义可以推广到序列编码情况，如果假定离散信源输出符号序列U=(U1U2…Ul…UN)，其中N长符号序列样值ui＝(ui1ui2…uil…uiN)，经信源编码后，输出符号序列V=(V1V2…Vl…VN)，其中N长符号序列样值vj＝(vj1vj2…vjl…vjN)，则失真函数定义为：其中d(uil，vjl)是信源输出N长符号样值ui中的第l个符号uil时，编码输出N长符号样值vj中的第l个符号vjl的失真函数。NljliljiLvudNvud1),(1),(普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著9平均失真由于ui和vj都是随机变量，所以失真函数d(ui，vj)也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真，记为risjjiijirisjjijivudvuPuPvudvuPD1111),()/()(),()(iu信源编码器jv)(ijuvP普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著10对于连续随机变量同样可以定义平均失真dudvvudvupDxy),(),(NllNljlilLDNvudEND111)],([1对于L长序列编码情况，平均失真为普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著11信息率失真函数R(D)ruuuu,,21信源编码器svvvv,,21UV假想信道将信源编码器看作信道普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著12信息率失真函数R(D)信源编码器的目的是使编码后所需的信息传输率R尽量小，然而R越小，引起的平均失真就越大。给出一个失真的限制值D，在满足平均失真D的条件下，选择一种编码方法使信息率R尽可能小。信息率R就是所需输出的有关信源U的信息量。将此问题对应到信道，即为接收端V需要获得的有关U的信息量，也就是互信息I(U;V)。这样，选择信源编码方法的问题就变成了选择假想信道的问题，符号转移概率P(vj/ui)就对应信道转移概率。D普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著13信息率失真函数R(D)物理意义1°R(D)是信源给定的情况下,在可容忍的失真度内再现信源消息所必须获得的最小平均信息量。2°R(D)是反映给定信源可压缩的程度。3°R(D)求出后,就与选择的试验信道无关,而只是信源特性的参量,不同的信源,其R(D)是不同的。此时的信道转移概率pij实际上指的是一种限失真信源编码方法。普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著14下面的例子，进一步说明了信息率失真函数的物理意义。信源符号表为A＝{a1,a2….a2n},概率分布为p(ai)=1/2n,i=1,2…...,2n。失真函数定义为为：jijijivuvuvud01),(符号不出差错，失真为0；符号一处差错，失真为1。分析在一定编码条件下的信息压缩度。由信源概率分布可得：信息熵H(X)=H(1/2n,1/2n,…..1/2n)=log2nbit/符号一般不失真编码的话，每一个信源符号要用log2n个二进制码元进行编码。假设我们允许的失真限度D＝1/2，则允许有一半的符号出错。这时信息率应该会减少。普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著15如果采用上面的编码方式，则平均失真2/1),()/()(),()/()(212121nnijiijininjjiijivuduvpupvuduvpupD右边的信道是个确定信道，pij=0或1，H(Y/X)=0I(X；Y)=H(Y)-H(X/Y)=H(Y)普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著16信道输出概率分布为：p1=p2=…..pn-1=1/2nan之后编码完全相同，他们共同的概率为：pn=(1+n)/2n，1nlog21log2n21,21,....21,21)(2n/11nnnnnnnnHYH）个共（经压缩编码以后，信源需要传输的信息率由原来的log2n，压缩到也就是说，信息率压缩了所付出的代价是容忍了1/2的平均失真。1nlog21log2nnn1nlog21nn普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著17如果选取压缩更为有利的编码方案，压缩的效果可能更好。但一旦达到最小互信息这个极限值，就是R(D）的数值(此处D＝1／2)。如果超过这个极限值，那么失真就要超过失真限度。如果需要压缩的信息率更大，则可容忍的平均失真就要更大。普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著181、D允许试验信道平均失真由信源分布P(ui)、假想信道的转移概率P(vj/ui)和失真函数d(ui，vj)决定，若P(ui)和d(ui，vj)已定，则可给出满足U下式条件的所有转移概率分布Pij，它们构成了一个信道集合BD称为D允许试验信道。sjriDDuvPBijD,,2,1;,,2,1:)/(普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著192、信息率失真函数R(D)由于互信息取决于信源分布和信道转移概率分布,当P(ui)一定时，互信息I是关于P(vj/ui)的U型凸函数，存在极小值。因而在上述允许信道PD中，可以寻找一种信道Pij，使给定的信源P(ui)经过此信道传输后，互信息I(U；V)达到最小。该最小的互信息就称为信息率失真函数R(D)，即);(min)()|(VUIDRDijBuvP普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著20对于离散无记忆信源，R(D)函数可写成P(ui)，i＝1，2，…，r是信源符号概率分布；P(vj/ui)，i＝1，2，…，r，j＝1，2，…，s是转移概率分布；P(vj)，j＝1，2，…，s是接收端收到符号概率分布。risjjijijiBPvPuvPuvPuPDRDij11)()/(log)/()(min)(普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著21例设信源的符号表为A＝{a1，a2，…，a2n}，概率分布为p(ai)＝1/2n，i＝1，2，…，2n，失真函数规定为即符号不发生差错时失真为0，一旦出错，失真为1，试研究在一定编码条件下信息压缩的程度。jijiaadji01),(普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著22信息传输理论信息率失真理论备注信道P=[P(y|x)]d(u,v)P=(P(u))固定信源P=[P(x)]P=[P(y|x)]假想的，可变的码C:M→Xn信源码C:UN→C错误概率PE平均失真度信道容量C=maxI(P(x))信息率失真函数信源编码定理PC信道编码定理RR(D)ND))|((min)()|(uvPIDRDBuvP两种理论的对比普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著23信息率失真理论：1.条件概率不是实际的信道，是为了求R的最小值而引入的假想的可变试验信道。2.这些试验信道代表的是不同的有失真信源编码或者信源压缩的方式。3.改变试验信道，求平均互信息的最小值，实际上选择一种合适的编码方式，使得信息传输率R最小。4.这个极小值R（D）是在信源给定的条件下，接收端以满足失真要求而在现信源消息所需要的最少的平均信息量；是信息压缩的最小值。备注：平均互信息是信道传递概率P(v|u)的U形函数，具有最小值。普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著241.信道固定:输入信号平均功率受限的条件下，选择一种试验信源，使得信息传输率R最大。2.研究信道容量C:是为了解决在已知信道中传送的最大信息量。3.信道编码涉及的问题：为了充分利用已给信道，使传输的信息传输率最大而错误概率任意小.4。研究信息率失真函数：解决在已知信源和允许失真度D的条件下，使用户需要传输的信息传输率最小。即:在D一定的前提下，用尽可能少的符号来传输信息，使得信源的消息尽可能快的传输出去。提高通信的有效性。普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著25信息率失真函数的性质1.R(D)函数的定义域⑴Dmin和R(Dmin)Dmin＝0对于离散信源：对于连续信源：)()0()(minUHRDR)()0()(minUHRDRc减函数普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著26Dmin的推导：平均失真度是一个非负的实数，因此，它的下限应该是0。)],()|(min[)()],()|(min[)()],()|()(min[min1jiijirijiijUijiUVijivuduvPuPvuduvPuPvuduvPuPD当ui固定，对于不同的vj，其失真不同。但是每一行必定有一个最小值，或者若干个最小值。选择试验信道，jjijjiv)v,d(u0)|(v)v,d(u1)|(最小值的，所有最小值的，所有ijijuvPuvP普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著27带入最小失真的函数：)],(min)()],(min)()],()|(min[)()],