第4讲连续信源的熵与互信息量

连续信源的熵与互信息量第四讲Review离散信源的非平均自信息与熵–离散随机变量的非平均自信息：1,)(log)(axpxIiai)(log)(jiajiyxpyxI)/(log)/(jiajiyxpyxI–离散信源的平均自信息即熵：)(log)()]([)(1ianiiixpxpxIEXH)/(log)()]/([)/(11jimjnijijiyxpyxpyxIEYXH)(log)()()(11jianimjjijiyxpyxpyxIEXYH扩展)/(log)()]/([)/(kjiijkkjikjizyxpzyxpzyxIEZXYH离散无记忆信源：H∞(X)=HL(X)=H(X)离散有记忆信源：H∞(X)≤HL(X)≤H(X)Review离散信源序列的熵–信源的序列熵：)XXX()(L21HHLX)X(1)(LHLHLX)(limXLLHHnXH2log)(1Review离散信源的互信息)/()();(YXHXHYXI)()/(log)();(11ijinimjjixpyxpyxpYXI)()|(log)/()();(ijijiijixpyxpyxIxIyxI)/()/(log)/;(kikjikjizxpzyxpzyxI)()(log);(ikjikjixpzyxpzyxI)];([);(jiyxIEYXI)]/;([)/;(kjizyxIEZYXI)];([);(kjizyxIEYZXI系统1系统2XYZ两级串联信道的情况X-Y-Z构成Markov链)()(ZXHYXH当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。数据处理定理);();(ZXIYXIReview连续信源的熵与互信息量第四讲输出消息取值上连续的信源，如语音，电视等，对应的数学工具为连续型随机变量或随机过程。连续信源输出的状态概率用概率密度来表示。连续信源的数学模型(,)()()()0()1baXabpxpxpxpxdx并满足，考虑一个定义在[a,b]区间的连续随机变量，如下图首先把X的取值区间[a,b]等分割为n个小区间，小区间宽度为△=(b-a)/n，根据概率分布与概率密度曲线区间面积的关系x取值为第i个小区间xi的概率为p(xi).△,xi为小区间xi中的一点，于是得到分割后的离散信源Xn的概率源空间为：p(x)p(xi)△a0xibx连续信源的熵？其中1()()1nbiaipxpxdx按离散信源熵的定义1()[()]log[()]nniiiHXpxpxlog)()(log)(11niiniiixpxpxp1()log()logniiipxpx当△→0，n→∞时，Xn接近于连续随机变量X，这时可得连续信源的熵为：}{loglim)(log)(0badxxpxp)(XHcniiinnnxpxpXHXH100}log)(log)({lim)}({lim)(绝对熵相对熵x1x2…xnp(x1)△p(x2)△…p(xn)△定义:连续随机变量的相对熵为bacdxxpxpXH)(log)()(1)相对熵为绝对熵减去一个无穷大量；2)相对熵不具有非负性，可以为负值；4)连续信源的绝对熵为一个无穷大量，但当分析互信息量时是求两个绝对熵的差，当采用相同的量化过程时，两个无穷大量将被抵消，因而采用相对熵不影响分析互信息。3)相对熵不等于一个消息状态具有的平均信息量；连续信源的相对熵定义：连续随机变量的联合熵为2()()log()cRHXYpxypxydxdy定义：连续随机变量的条件熵为连续信源的相对熵22(/)=()log(/)(/)=()log(/)cRcRHXYpxypxydxdyHYXpxypyxdxdy连续随机变量的联合熵、条件熵和互信息之间关系()()(/)()()(/)(;)()(/)(;)()(/)(;)()()()cccccccccccccHXYHXHYXHXYHYHXYIXYHXHXYIXYHYHYXIXYHXHYHXY连续信源的互信息2(,)(;)(,)log()()(;)()(/)RccpxyIXYpxydxdyqxwyIXYHXHXY定义：连续随机变量的平均互信息量为连续随机变量的联合平均互信息量3()(;)()log()()RpxyzIXYZpxyzdxdydzpxywz连续信源的互信息3(/)(;/)()log(/)(/)RpxyzIXYZpxyzdxdydzqxzwyz连续随机变量的条件平均互信息量连续随机变量X与离散随机变量Y联合联合熵、条件熵()()(/)log()(/)(/)()(/)log(/)cyRcyRHXYWypxyWypxydxHXYWypxypxydx连续信源的熵与平均互信息量()(/)(;)()(/)log()()yRWypxyIXYWypxydxpxWy连续随机变量X与离散随机变量Y的平均互信息量例题令X是在区间(a，b)上均匀分布的随机变量，求X的相对熵。解：x的概率密度为注意:连续变量的微分熵不具有非负性当b－a1时，b－a1时，b－a=1时，),(0),(1)(baxbaxabxp1()log()log()bCaHXbadxbaba()0CHX；()0;CHX()0.CHX例令X是数学期望为m，方差为的正态随机变量，求它的熵。解：正态随机变量x的概率密度它的值视的大小可正、可负或零，且与数学期望无关。22211()exp()22pxxm22211()()()22122122CHXpxlnxmdxlnlne2•均匀分布的连续信源的熵：:()ln()cHXba一维均匀分布•高斯分布的连续信源的熵：21()log221()loglog222ccHXeNHXMe连续熵实例仅与区域的边界有关与数学期望无关，仅与方差有关11:(X)ln()ln()NNciiiiiiNHbaba维均匀分布设pXY是(xy)二维高斯概率密度函数2222)()1(21exp121)(xxyxXYmxxyp222()()()xyyxyyxmymym求X与Y的平均互信息。连续熵实例例X和Y的一维概率密度函数容易求得为222222222)(exp21)())((2)()1(21exp121)()(xxxRyyyxyxxxyxRxyXmxdymymymxmxdyxypxp222)(exp21)()(yyyRxyymxdxxypyp类似可得，X和Y之间的平均互信息由定义有奈特表明，两个高斯变量之间的互信息只与相关系数有关，而与数学期望及方差和无关。dxdyypxpxypxypYXIYXXYXY)()()(log)()(；222222()()()112(1)(1)1xyxxxyxmymxmlndxdyxypmymxmyXYyyxxyy)()()()1()(22222222222211121(1)1122111ln21(1)2lneXYHcyx2log)1(log21)(222类似可得，例:设原连续随机变量X是数学期望为m，方差为的正态随机变量，经一个放大倍数为k的放大器放大输出为Y,求Y的相对熵。解：y=kx为数学期望为km，方差为的正态随机变量，注意:相对熵值通过线性放大器后发生变化.22k222211()()()22122122CHYpylnykmdyklnklnek2指数分布的连续信源的熵：1:()(0)()()logxacpxexaEXaHXae概率密度连续熵实例aedxxpaxeadxeaxpdxxpxpXHcxaxxxxlog)(loglog1log)()(log)()(000–连续熵可为负值（为什么？连续熵的相对性所致）–可加性–平均互信息的非负性，对称性，信息处理定理–最大连续熵定理(;)0(;)(;)(;)(;)IXYIXYIYXIXZIXY)/()()/()()(YXHYHXYHXHXYHccccc连续熵的性质•峰值功率受限的最大熵定理若连续随机变量X的峰值不超过M，即X限于(-M,M)内取值，则X的相对熵ln2cHXM当且仅当X为均匀分布时等号成立。•平均功率受限的最大熵定理若连续随机变量X的方差为一定，则X服从正态分布时的相对熵最大，即21ln2ln22cHXee连续信源与离散信源不同，1)它不存在绝对最大熵;2)其最大熵与信源的限制条件有关。最大连续熵定理•峰值功率受限的最大熵定理若连续随机变量X的峰值不超过M，即X限于(-M,M)内取值，则X的相对熵ln2cHXM当且仅当X为均匀分布时等号成立。•平均功率受限的最大熵定理若连续随机变量X的方差为一定，则X服从正态分布时的相对熵最大，即21ln2ln22cHXee最大连续熵定理证明：应用拉格朗日乘因子法，首先构造函数MMcdxxpXH)()(由相对熵定义，可得()ln()()MMMMpxpxdxpxdx()ln()MMpxepxdx()lnMMpxedx11()ln()1()()MMMMpxdxpxdxepxepx21Me当且仅当11,()()pxeepx即时，等号成立。将其代入约束条件1MMdxxp)(可得1/2eM，则有()ln()ln2MMpxpxdxMMxp2/1)(于是有ln2cHXMX∈(-M,M)•峰值功率受限的最大熵定理若连续随机变量X的峰值不超过M，即X限于(-M,M)内取值，则X的相对熵ln2cHXM当且仅当X为均匀分布时等号成立。•平均功率受限的最大熵定理若连续随机变量X的方差为一定，则X服从正态分布时的相对熵最大，即21ln2ln22cHXee最大连续熵定理证明：考虑到约束条件dxmxxp22))((应用拉格朗日乘因子法计算极大值212()ln()()()()MMpxpxdxpxdxpxxmdx212()()ln()xmeepxdxpx当且仅当212()()xmpxee时，等号成立。将其代入两个约束条件，即可求得和1dxxp)(212()()1()xmeepxdxpx22221)()(mxexp于是有21ln2ln22cHXeeX的方差一定ln2cHXe•均值受限的最大熵定理若连续随机变量X非负的均值为M，则X服从指数分布时的相对熵最大，即logcHXme最大连续熵定理当平均功率受限时，高斯分布信源的熵最大，若令其平均功率为，则其熵为221()ln22CHXe熵功率若平均功率为的信源具有熵为HC(X)，则称熵为HC(X)的高斯信源的平均功率为熵功率2222()212CHXee若另一信源的平均功率仍为，则它的熵一定小于22log21e22