01单符号离散信源及其信息度量

1第1讲单符号离散信源及其信息度量一、信源分类及单符号离散信源的概念时间取值举例离散信源离散离散文字连续信源离散连续测量身高波形信源连续连续自然语音（未命名）连续离散（难举例）将离散信源做数学上的简化，只研究讨论其中的某一个时刻，就是单符号离散信源。二、单符号离散信源的数学模型用一个离散随机变量来描述一个单符号离散信源，即单符号离散信源的数学模型是一个概率统计模型：nnpppsssSPS2121)(，其中n是一个大于1的正整数，称为该信源的元（如n=2时称为2元信源），},,,{21nsssS称为信源符号集（或信源字母表），此集合中的每个元素Ss称为信源符号，即},,,{21nsssS是信源所有可能的输出符号集合，],,,[)(21npppSP是信源符号的概率分布，其中的每个分量)(spp是信源符号Ss的输出概率。说明：以后为避免符号使用的复杂化，上面的S可能表示三种含义：（1）信源；（2）信源符号集；（3）描述信源的随机变量。这可由上下文区分出来。当不关心信源的具体符号集而只关注其数量特征时，可直接用概率分布],,,[21nppp来表示一个单符号离散信源。三、自信息（量）定义单符号离散信源nnpppsssSPS2121)(的任一信源符号Ss的自信息定义为该符号输出概率对数的负数，即)(log)(spsIrr（1r），表示信源输出一个符号时该符号所荷载的信息量。21．对数的底对数的底只要满足1r都具有合理意义，常用的是,,10,3,2er，其中2r最为常见，故把它作为信息计量时默认的底，即将)(log)(22spsI简写成)(log)(spsI。2．计量单位用)(log)(spsIrr进行信息度量时，对数不同的底其数值计算的结果显然会不一样，故计量自信息时必须明确交代对数的底是什么，这等价于采用的计量单位是什么。2r时，计量单位为bit(binaryunit)比特；3r时，计量单位为tet(tertiaryunit)铁特；10r时，计量单位为det(decimalunit)迪特或hart(Hartlay)哈特；er时，计量单位为nat(naturalunit)奈特；一般情况下计量单位为r-aryunit（r进制信息单位或r进制单位）。3．单位换算unittrunittunitrunitrtrtrrary-logary-)(logary-)(logary-111如：bits3.321910logdet1，tets2.095910logdet13。4．基本性质（1）0)(sIr（非负性）；（2）若1)(sp则0)(sIr，（3）若0)(sp则)(sIr；（4）)(sIr随)(sp严格单调递减（单调性）。5．例题某地二月份天气概率分布如下：814813412211)()()()()(雪雨阴晴ssssSPS当气象台（信源）播出这四种天气之一时，其荷载的信息量（自信息）分别是：3bitsI1)(1，bitssI2)(2，bitssI3)(3，bitssI3)(4。四、单符号离散信源的熵定义单符号离散信源nnpppsssSPS2121)(的熵定义为各符号自信息的平均（即数学期望），即niirirrpppESH1log]log[)(，用以描述信源的整体特征，表示每个符号平均所荷载的信息量、或相应随机变量的随机性（不确定性）大小、或以随机变量描述的系统的紊乱程度。1．几点说明（1）计量单位为：r进制信息单位/符号（r-aryunit/char）；（2）当2r时，)(2SH可直接写为)(SH。（3）)(SHr由信源的概率分布],,,[21npppP唯一确定，故)(SHr也可以记为),,,(21nrpppH。（4）若2n即概率分布为]1,[ppP时，将)1,(ppHr简单记为)(pHr，如15.0log5.05.0log5.0)5.0(H(bit/char)，0.635.0log5.05.0log5.0)5.0(333H(tet/char)。（5）熵(Entropy)也叫作信源熵、信息熵、香农熵、平均自信息等等。由于熵是概率分布的函数，故熵也被称为熵函数。（6）为保证熵对所有概率分布均有意义，合理补充定义0loglim0log00rr。2．例题某地二月份天气概率分布如下：814813412211)()()()()(雪雨阴晴ssssSPS该信源的熵为)/(75.181log8181log8141log4121log21)(charbitsSH4五、二元熵函数)(pH的图像当n=2时，二元熵函数])1,0[()1log()1(log)(ppppppH实际上是一个一元实函数，画出其图像能帮助理解熵的很多性质，它的图像与二次函数])1,0[()1(4)(xxxxf有点像。pppH1log)('，2ln)1(1)(''pppH。六、熵的基本性质1．对称性定理1),,,(),,,(2121nrnrqqqHpppH，其中],,,[21nqqq是],,,[21nppp的任意排列，特别地)1()(pHpH。证明],,,[21nppp的任意排列对应着niiripp1log中各项的任意排列，由加法的交换律知熵不会发生变化。2．非负性定理20),,,(21nrpppH，当且仅当],,,[21nppp是]0,,0,1[的某一排列即信源是一个确定性信源时等号成立。证明自信息非负即0log)(irirppI，所以它们的期望0),,,(21nrpppH。5当],,,[21nppp是]0,,0,1[的某一排列时，0)0,,0,1(),,,(21rnrHpppH，反过来，0),,,(21nrpppH时，由自信息的非负性必有niiripp1log中的每一项0logiripp，从而0ip或1ip，由121nppp得到],,,[21nppp只有一个分量为1，其余全为0，得证。3．递推性（递增性）定理3),,(),,,(),,,,,(111111nmnpqpqrnnnrmnrHppppHqqppH，其中01mnqqp。证明),,(),,,(logloglogloglogloglogloglog),,,,,(1111111111111111nmnnininipqpqrnnnrmipqrpqnniirimipqriniirimiiriminriniirimiiriniirimnrHppppHpppqppqqpqppqqppqqppH4．连续性定理4),,,(21nrpppH是概率分布的连续函数，即),,,(),,,(lim2122110||max),,2,1(10021nrnnrnippppHpppHiiin特别地，)(pH在区间]1,0[上连续。证明由niirinrpppppH121log),,,(的每一项连续性直接得出。5．扩展性6定理5),,,(),,,,(lim2122110||max),,2,1(10021nrnnrnippppHpppHiiin，特别地),,,()0,,,,(2121nrnrpppHpppH。证明),,,(log)log)(log)((lim),,,,(lim21110||max),,2,1(10022110||max),,2,1(1002121nrniirirniiiriinipnnrnippppHpppppppHiiiniiin6．极值性定理6niirinrqppppH121log),,,(，其中],,,[21nqqq也是一概率分布，当且仅当),,2,1(niqpii时等号成立。证明0)'(loglog)log()log()log(),,,(1111121inequalitysJensenpqppqpqpppqppppHniiiirniiiriniiriniiriniirinr当且仅当nnpqpqpq2211即),,2,1(niqpii时等号成立。得证。两点说明：（1）取定],,,[21nqqq时niirinqppppf121log),,,(是),,,(21nrpppH在],,,[],,,[2121nnqqqppp处的切（超）平面，如下图)(pH在45.0p处的切线刚7好是55.0log)1(45.0log)(pppf。（2）记],,,[],,,,[2121nnqqqQpppP，niiirirqppQPD1log)||(称为相对熵（relativeentropy），用以描述两个分布之间的差异程度，相对熵也被称为Kullback-Leibler距离，相对熵在信息论中是个重要工具，更有学者主张将其作为信息度量的基础，只是本讲义中避免使用。7．最大熵原理定理7npppHrnrlog),,,(21，当且仅当),,2,1(1nipni即均匀分布时等号成立。证明极值性的直接推论，取],,,[],,,[11121nnnnqqq，由极值性定理，对于任何概率分布],,,[21nppp有nppppHrninrinrlog)(log),,,(1121，当且仅当),,2,1(1niqpnii时等号成立。8．熵函数的凸性定理8),,,(21nrpppH是概率分布的严格上凸函数，即对于任意两个概率分布],,,[21npppP和],,,[21nqqqQ，对任意)1,0(时总有)()1()())1((QHPHQPHrrr8当且仅当QP时等号成立。证明容易验证当)1,0(时QP)1(也是一概率分布，进一步)()1()(log)1(log))1((log)1())1((log))1((log))1(())1((11111QHPHqqppqpqqppqpqpQPHniiriniiriniiiriniiiriniiiriir当且仅当),,2,1()1(niqqppiiii即QP时等号成立。得证。或者用Jensen不等式直接证明，0)1(log)1()1(log)1(log)1()1(log))1((log))1((log)1(log))1(()()1()(1111111niiiiirniiiiirniiiiriniiiiriniiiriiniiriniirirqqpqpqppqqpqpqppqpqpqqppQPHQHPH当且仅当),,2,1()1(niqqppiiii即QP时等号成立。得证。