离散有记忆信源的序列熵

第1页共4页离散有记忆信源的序列熵对于有记忆信源，就不像无记忆信源那样简单，他必须引入条件熵的概念，而且只能在某些特殊情况下才能得一些有价值的理论。对于有两个符号组成的联合信源，有下列结论：①12121212(X,X)(X)(X|X)(X)(X|X);HHHHH②112221(X)(X|X),(X)(X|X)HHHH。式①表明信源的联合熵（即前后两个符号12(,)XX同时发生的不确定度）等于信源发出前一个符号1X的信息熵加上前一个符号1X已知时信源发出下一个符号2X的条件熵。当前后符号无依存关系时，有下列推论;1212121212(,)()(),(|)(),(|)();HXXHXHXHXXHXHXXHX对于一般的有记忆信源如文字、数据等，它们输出的不是单个或两个符号，而是由有限个符号组成的序列，这些输出符号之间存在着相互依存的关系。可依照上述结论来分析序列的熵值。若信源输出一个L长序列，则信源的序列熵为12L121121()(,,,X)()(|)(|,,,)LLHXHXXHXHXXHXXXX（2-3-2）记作11()()(|)LLllLHXHXHXX平均每个符号的熵为1()()LLHXHXL（2-3-3）当信源退化为无记忆时，有1()()LllHXHX若又满足平稳性，则有()()HXLHX这一结论与离散无记忆信源结论是完全一致的。可见，无记忆信源是上述有记忆信源的一个特例。例2-12已知离散有记忆信源中各符号的概率空间为41943611aPX321aa第2页共4页现信源发出二重符号序列消息(,)ijaa，这两个符号的概率关系性用条件概率(|)iipaa表示，并由表2-6给出。可以求出信源的序列熵和平均符号熵。表2-6条件概率表示两个符号的关联性jaia1a2a3a1a9/112/1102a1/83/41/83a02/97/9条件熵332111(X|X)-(,)log(|)0.872/ijjiijHpaapaabit符号单信号信源熵3111(X(X()log()1.543/iiiHHpapabit））符号发二重符号序列的熵12121(,)(X(|)1.5430.8722.415/HXXHHXXbit）+序列平均符号熵221(X(X1.21/2HHbit））符号比较上述结果可得21(X(X)HH），即二重序列的符号熵值较单符号熵变小了，也就是不确定度减小了，这是由符号之间存在的关联性（相关性）造成的。考虑离散平稳信源，其联合概率具有时间推移不变性，即12121212(,,,)(,,,)LLiiiLihihihLPXxXxXxPXxXxXx此时有下列结论：结论11(|)LLHXX是L的单调非增函数。由于条件熵小于或等于无条件熵，条件较多的熵小于或等于一些条件的熵，考虑到平稳第3页共4页性，所以12121(|,X,,)(|,,)LLLLHXXXHXXX112122(|,,)(|,,)LLLLHXXXHXXX（平稳性）213(|,,)LLHXXX21(X|X)H（2-3-4）结论21(X)(|)LLLHHXX因为112L111(X)(,,,X)(|)LlLllHHXXHXXLL1211211[()(|)(|,X,,)]LLHXHXXHXXXL由结论1得上式中的121(|,X,,)LLHXXX是和式L项中最小的，所以11211(X)(|,X,,)(|)LLLLLLHLHXXXHXX结论3(X)LH是L的单调非增函数。因为12L(X)=(,,,X)LLHHXX12L-1121(,,,X)(|,X,,)LLHXXHXXX11(1)(X)+(|)LLLLHHXX运用结论2得1(X)(X)LLHH（2-3-5）该式说明随着L的增大，增加的熵值1(|)LLHXX越来越小（有结论1得），这导致平均符号熵随着L的增大而减小，即11(X)(X)(X)LLLHHH结论4当L时def121(X)(X)=(|,X,,)limlimLLLLLHHHXXX（2-3-6）第4页共4页式中，(X)H称为极限熵，又称极限信息量。先证明式。根据上述结论1有12L-11211211(X)[(,,,X)(|,X,,)(|,X,,)]LkLLLkLkHHXXHXXXHXXXLk12L-11211[(,,,X)(|,X,,)LLHXXHXXXLk121121(|(,X,,))(|(,X,,))]LLLLHXXXHXXX12L-11111(,,,X)(|,,)LLkHXXHXXXLkLk取足够大()kk的，固定L，则前一项可忽略，而后一项系数接近于1，得11(X)(|,)limLkLLkHHXXX（2-3-7）结论2和式（2-3-7）表明，条件熵11(|,)LLHXXX的值是在(X)LH和(X)LkH之间，令L，则(X)LH应等于(X)LkH（假设极限存在），故得11(X)=(|,)limlimLLLkLHHXXX