ch4信息率失真函数.

第1章：概述第2章：信源熵第3章：信道容量第4章：信息率失真函数第5章：信源编码第6章：信道编码第7章：密码体制的安全性测度12020/1/11第4章：信息率失真函数信息率：R=I(X;Y)信道容量：R˂C=maxR无失真信源编码：R˃H(X)H(x)RC•失真度量•信息率与失真之间的关系22020/1/11§4.1信息率失真函数§4.2离散信源的信息率失真函数§4.3连续信源的信息率失真函数§4.4保真度准则下的信源编码定理32020/1/11实际通信系统允许一定的失真存在。1打电话；2放电影，视觉暂留性。允许压缩信源输出的信息率。研究内容：信息率允许失真42020/1/11§4.1信息率失真函数§4.1.1失真函数和平均失真度§4.1.2率失真函数定义§4.1.3率失真函数性质52020/1/11}{1naaX}{1nbbY)/(ijabp对任一),(jiba指定一个非负数0),(jibad失真度（函数）),(...),(),(............),(...),(),(),(...),(),(][212221212111mnnnmmbadbadbadbadbadbadbadbadbadD62020/1/11a1b1a2b2anbmjiajibadji0),(0..................0...0aaaaaa172020/1/111a汉明失真0111011102)(),(ijjiabbad2平方误差失真函数82020/1/11由于ai和bj都是随机变量，所以失真函数d(ai，bj)也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真度，记为平均失真度92020/1/11nimjjiijijibadabpapbadED11),()/()()],([允许失真保真度准则DD阈值102020/1/11§4.1信息率失真函数§4.1.1失真函数和平均失真度§4.1.2信息率失真函数定义§4.1.3率失真函数性质112020/1/11naaax,,21信源编码器mbbby,,21XY假想信道将信源编码器看作信道122020/1/11信源编码器:目的是使编码后所需的信息传输率R尽量小，然而R越小，引起的平均失真就越大。给出一个失真的限制值D，在满足平均失真的条件下，选择一种编码方法使信息率R尽可能小。信息率R就是所需输出的有关信源X的信息量。将此问题对应到信道，即为接收端Y需要获得的有关X的信息量，也就是互信息I(X;Y)。这样，选择信源编码方法的问题就变成了选择假想信道的问题，符号转移概率p(bj/ai)就对应信道转移概率。DD132020/1/11DDD失真许可的试验信道}:)/({DDabpPijD称)/(ijabp平均失真由信源分布p(ai)、假想信道的转移概率p(bj/ai)和失真函数d(ai，bj)决定，若p(ai)和d(ai，bj)已定，则调整使1、D允许试验信道142020/1/112、信息率失真函数R(D)由于互信息取决于信源分布和信道转移概率分布，当p(ai)一定时，互信息I是关于p(bj/ai)的下凸函数，存在极小值。因而,在上述允许信道PD中，可以寻找一种信道p(bj/ai)，使给定的信源p(ai)经过此信道传输后，互信息I(X；Y)达到最小。该最小的互信息就称为信息率失真函数R(D)，即);(min)()/(YXIDRDijPabp152020/1/11§4.1信息率失真函数§4.1.1失真函数和平均失真度§4.1.2信息率失真函数定义§4.1.3信息率失真函数性质162020/1/11定义域：1D=0R(D)=H(X)连续：DRmaxDD0)(DRmaxDD0)(DR172020/1/11lim()DRD0max,D0)()/(jijbpabp令mjjjbpnijiimjjbpnimjjijibpDbpbadapbpDbadbpapjjj1)(11)(11max)()(min),()()(min),()()(minjnijiiDbadap1),()(令{p(bj)}对Dj的数学期望，选择期望最小的一种概率分布182020/1/11(;)IXY0线性分配mjjjbpDbpDj1)(max)(minjnijiiDbadap1),()(max,,,()miniimDD12192020/1/11mmnmnnDDDbadbadbadbadbadbad...211221111),(...),(.........),(...),(),(...),(假定所有Dj中，Ds最小，令sjsjbpj01)(jjDDminmax例：4.1.1202020/1/11下凸性2max',''DDD01)()1()(])1([''''''DRDRDDR)/()/(21ijijab、pabp)()('''D、RDRnimjjiijiDbadabpapD11'11),()/()(nimjjiijiDbadabpapD11''22),()/()(212020/1/11证明：)()(log)/()();('111111DRbp)/a(bpabpapYXInimjjjijiiniijjabpapbp11i1)/()()()()()(log)()/();(''112222DRbp/abpapabpYXInimjjijiij222020/1/11定义新试验信道：)/()1()/()/(21ijijijabpabpabpDDDDDbadabpapDnimjjiiji'''2111)1()1(),()/()(满足保真度准则])1([)();('''DDRDRYXI232020/1/11由对的下凸性：);(YXI)(ijabp);()1();();(21YXIYXIYXI)()1()('''DRDR)()1()(])1([''''''DRDRDDR242020/1/11连续和单调递减性3DH(X)R(D)maxDDD252020/1/11§4.1信息率失真函数§4.2离散信源的信息率失真函数§4.3连续信息的率失真函数§4.4保真度准则下的信源编码定理262020/1/11§4.2离散信源的信息率失真函数§4.2.1离散信源信息率失真函数的参量表达式§4.2.2二元信源的率失真函数272020/1/11DijjiiPabpbadap)/(),,(),(nimjjijijibpabpabpapYXI11)()/(ln)/()();(DDniabpmjij,,2,11)/(1),()/()(11jiijinimjbadabpapDniijijabpapbp1)/()()(282020/1/11])()()([);(11nimjjiijiD,badabpapSYXIΦ令mjijiabpu1]1)([0)(ij/abpΦ0)()(S)()]/(ln1[)()](ln1[ijiiiijiju,badapapabpapbp292020/1/110ln),()()/(lnijjijbaSdbpabpi)(lniiiapu令),()()/(jbiajiijSdebpabp1mjbajijiSdebp1),()(12niiijjjbiaSdeapbpbp1),()()()(3302020/1/11i32)(jbp1,i)(jbp)(ijabp),()()()(11),(jijijiibadebpapSDnimjbaSd4)()(ln)()()(),(11),(jjijijijiibpebpebpapSRbaSdnimjbaSdniiiapSSD1ln)()(5312020/1/11SdDdRniiniidDdapdDdSDSdDdRdDdSSRDRdDdRiii11)(SdDdSdSdapDSiiini])([1负值在公式两边对S取导数20),()()(1),(),(nibaSdbaSdjijiiijiiiebadapeapdSd322020/1/11参见教材P114S是R(D)的斜率两边乘以对求和)(jbpj0)(1DdSdapiniii0dDdSDmaxDnapi1)()(DS)(DR332020/1/11§4.2离散信源的信息率失真函数§4.2.1离散信源信息率失真函数的参量表达式§4.2.2二元信源的率失真函数342020/1/1111)(),(1jibaSdniiieapi),(1)(1jibaSdmjjiebp)(jbp),()()(jibaSdijijebpabpnimjbaSdjiijijiebadbpapSD11),(),()()()(iniiapSSDSRln)()()(1)(ijabp验证是否大于等于零)(ijabp23456),()(minmin1maxjiniijjjbadapDD7352020/1/110,00][D21,1)(21pppaaXPXjjDDminmaxnijiij,badapD1)()((,)11()ijnSdabiiipae)1(1pDpD2pDD2max362020/1/111)1(21sepp1)1(21ppeS)1(11Sep)1)(1(12Sep372020/1/11ijijmjbaSdebp1)(1),()1()()(21SSepebpbp)1)(1()()(21SSepbpebpSSeeppbp1)1()(1SSepepbp1)1()(2382020/1/11),()()/(jijiijbaSdebpabp)1()1()/(211SSepeppabp)1)(1()1()/(212SSepeppabp)1()1()/(221SSeppepabp)1)(1()1()/(222SSeppepabp392020/1/11nimjjbiaSdjijiiebadbpapSD11),(),()()()(SSee1)1ln()1()1ln(ln1ln)()()(1ppeppeeSapSSDSRSSSniii402020/1/11)1ln()1(ln)1ln()1ln(ln)(ppppDDDDDDR/1/ln21DDS容忍失真允许压缩的信息率)()(DHpH412020/1/1115.02maxDS(D)D0.50.25P=0.25P=0.5()RD422020/1/11§4.3连续信息的率失真函数§4.3.1连续率失真函数的参量表达式§4.3.2高斯信源的率失真函数§4.3.3信息价值432020/1/11§4.3.3信息价值合格品a1，废品a2，生产过程抽象成信源：例01.099.021aa把检验过程看作信道，检验结果即为信道输出。442020/1/110),(11bad合格品出厂：b1：检验合格b2：检验不合格废品报废：0),(22bad合格品