2.4连续信源熵

2.4连续信源熵信源的数学模型信源的信息测度–随机变量、随机序列–简单离散信源：H(X)–离散无记忆信源：H∞(X)–离散有记忆信源：H∞(X)=HL(X)=H(X)离散信源≤HL(X)≤H(X)复习输出消息取值上连续的信源，如语音，电视信源等，对应的数学工具为连续型随机变量或随机过程。连续信源输出的状态概率用概率密度来表示。连续信源的数学模型(,)()()()1baXabpxpxpxdx⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦=∫并满足利用离散信源熵的概念来定义连续信源熵把X的取值区间[a,b]分割为n个小区间，小区间宽度为△=(b-a)/nX取值为xi的概率为：离散信源Xn的信源空间为：Pi=p(xi).△2.5.1连续信源的熵[Xn,P]:Xn:x1x2…xnP(Xn):p(x1)△p(x2)△…p(xn)△abx()pxix()ipxixΔ()iipxxΔ其中1()()1nbiaipxpxdx=Δ==∑∫按离散信源熵定义1()[()]log[()]nniiiHXpxpx==−ΔΔ∑Δ⋅Δ⋅−⋅Δ⋅−=∑∑==log)()(log)(11niiniiixpxpxp1()log()logniiipxpx==−⋅⋅Δ−Δ∑当△→0，n→∞时，Xn接近于连续随机变量X，这时可得连续信源的熵为：}{loglim)(log)(0Δ−−=→Δ∫badxxpxp∞+=)(XHc∑=∞→→Δ∞→→ΔΔ−Δ−==niiinnnxpxpXHXH100}log)(log)({lim)}({lim)(绝对熵相对熵p(xn)△…p(x2)△p(x1)△xn…x2x1定义∫−=bacdxxpxpXH)(log)()(1)连续熵为相对熵，其值为绝对熵减去一个无穷大量(因为连续信源有无穷多个状态）2)连续熵不具有非负性，可以为负值；4)尽管连续信源的绝对熵为一个无穷大量，但信息论的主要问题是信息传输问题，因此，当分析其互信息量时是求两个熵的差，当采用相同的量化过程时，两个无穷大量将被抵消，因而不影响分析。3)连续熵不等于一个消息状态具有的平均信息量，其值是有限的，而信息量是无限的；连续熵连续变量的联合熵和条件熵222()()log()(/)()log(/)(/)()log(/)cxycxycxyHXYpxypxydxdyHXYpxypxydxdyHYXpxypyxdxdy=−=−=−∫∫∫∫∫∫连续熵(;)()(|)()(|)()()()CCCCCCCIXYHXHXYHYHYXHXHYHXY=−=−=+−平均互信息量•均匀分布的连续信源的熵：:()ln()cHXba=−一维均匀分布•高斯分布的连续信源的熵：21()ln22cHXeπσ=连续熵实例仅与区域的边界有关与数学期望无关，仅与方差有关11:()ln()ln()NNciiiiiiNHXbaba===−=−∑∏维均匀分布设pXY是(xy)二维高斯概率密度函数⎪⎩⎪⎨⎧⎢⎣⎡σ−ρ−−ρ−σπσ=2222)()1(21exp121)(xxyxXYmxxyp222()()()xyyxyyxmymymρσσσ⎫⎤−−−⎪−+⎥⎬⎥⎪⎦⎭求X与Y的平均互信息。连续熵实例连续熵实例例题数学期望为m，方差为的正态随机变量的熵。2σ()()22212xmpxeσπσ−−=()()()22211ln2211ln2ln2e22cHXpxxmdxσπσπσπσ+∞−∞⎡⎤=−−−⎢⎥⎣⎦=+=∫例题连续熵实例()()()()()()()()()()()22yyXY2222y22Y22211,exp21211111exp,expo22cv2,2xxxxyxyXxyxyxyxyxmxmxmxmpxypxxmpxYymXρσσσσρπσσρσρσσσσπσπ⎧⎫⎡⎤−−−−⎪⎪⎢⎥=−−+⎨⎬⎢⎥−−⎪⎪⎣⎦⎩⎭⎡⎤⎡⎤=−−=−−⎢⎥⎢⎥⎢⎥⎣=⎦⎣⎦()()()()(),;,logXYXYXYpxyIXYpxydxdypxpx+∞+∞−∞−∞=∫∫()()()()()()()()()()()()()()()()()()()()2222yyy22222222yy222222,;,log2yy11ln,21111111211ln111ln1nats222111XYXYXYxxxXYxxxypxyIXYpxydxdypxpxxmxmmmxmxmpxydxdyρσσρσρσσρσρρρρρρρ+∞+∞−∞−∞+∞+∞−∞−∞=⎡⎤−−−−−−⎢⎥=−−+−−⎢⎥−−−−⎣⎦⎛⎞⎜⎟=−−−−+−−=−−⎜⎟−−−⎝⎠∫∫∫∫/ymbol连续熵实例–连续熵可为负值（连续熵的相对性所致）–可加性–平均互信息的非负性，对称性，信息处理定理)/()()/()()(YXHYHXYHXHXYHccccc+=+=连续熵的性质()()()()()()()()()()|||,(;)0(;)(;)(;)(;)cccccccccccccccHXYHXHYXHYHXYHYXHYHXYHXHYIXYIXYIYXIXZIXY=+=+≤≤+≥=≤随机变量函数的熵()()logccHaXHXa=+(){}()()()()()()()U1,,:loglog11loglogloglogloglogXUuuUXxcXXSXXSXXSUUSccuUaXpupSaxxSaaHXpxpxdxuuduppaaauuppaduaaaapupuaduHUaHaXa⎛⎞===∈⎜⎟⎝⎠=−⎛⎞⎛⎞=−⎜⎟⎜⎟⎝⎠⎝⎠⎡⎤⎛⎞⎛⎞⎛⎞=−+⎢⎥⎜⎟⎜⎟⎜⎟⎜⎟⎝⎠⎝⎠⎢⎥⎝⎠⎣⎦=−⎡+⎤⎣⎦=−=−∫∫∫∫设•随机变量函数的熵()()logdetnnccHAXHXA=+()()accHXHX+=()()||ccHXYYHXY+=连续信源与离散信源不同，1)它不存在绝对最大熵;2)其最大熵与信源的限制条件有关。最大连续熵定理•峰值功率受限的最大熵定理若连续随机变量X的峰值不超过M，即X限于(-M,M)内取值，则X的相对熵()ln2cHXM≤当且仅当X为均匀分布时等号成立。•平均功率受限的最大熵定理若连续随机变量X的方差为一定，则X服从正态分布时的相对熵最大，即()21ln2ln22cHXeeπσπσ≤=最大连续熵定理证明：应用拉格朗日乘因子法，首先构造函数∫−−MMcdxxpXH)()(λ由相对熵定义，可得()ln()()MMMMpxpxdxpxdxλ−−−−∫∫()ln()MMpxepxdxλ−=−∫()lnMMpxedxλ−−∫11()ln()1()()MMMMpxdxpxdxepxepxλλ−−⎛⎞=≤−⎜⎟⎝⎠∫∫21Meλ=−当且仅当11,()()pxeepxλλ−==即时，等号成立。将其代入约束条件1=∫−MMdxxp)(可得1/2eMλ−=，则有()ln()ln2MMpxpxdxM−−≤∫Mxp2/1)(=于是有•峰值功率受限的最大熵定理若连续随机变量X的峰值不超过M，即X限于(-M,M)内取值，则X的相对熵()ln2cHXM≤当且仅当X为均匀分布时等号成立。最大连续熵定理•平均功率受限的最大熵定理若连续随机变量X的方差为一定，则X服从正态分布时的相对熵最大，即()22212σπσπeeXHcloglog=≤平均功率受限的最大熵定理()()22222()2()GGGGG22222G222Em,1()21()ln()()ln()()()1()lnlnln22221()()ln()ln22(2l2)1n2xmxmXDXeXxmepxpxdxpxpxdxpxpxxmpxdxxppxdxσσσπσπσσπσπσσπσ−−−−∞∞−∞−∞∞−∞∞∞−==∞=−==−−⎛⎞−−=−−−⎜⎟⎝⎠=+−=−∫∫∫∫设与有相同的引期望与理：方差211ln222ln()()()eqxpxqxπσ=关于与有相同的矩。()()ln()()ln()()ln()()ln()()()()()ln()()()10()()ln(()ln()()ln(ln)1))(lnpxpxdxqxqxdxpxpxdxpxqxdxqqxpxdxpxpxpxdxqxpxqxdxqxqxdxxpxdxpxpxpxdxxx∞∞−∞−∞∞∞−∞−∞∞∞−∞∞−∞−−∞∞−−∞∞∞−+=−+⎛⎞=≤−=⎜−⎟⎝=−−≤−⎠≤∫∫∫∫∫∫∫∫∫证明：()D()||()pxqx∞∞=∫相对熵/信息距离22σσ≥熵功率2()212CHXeeσπ=熵功率()()21log2log22ccGHXHXeeπσπσ≤==2()212CHXeeσπ≥2σ2σ22σσ≥22σσ−连续信源的剩余度•平均功率受限时，一般信源的熵小于高斯分布信源的熵，所以信号的熵功率总小于信号的实际平均功率。•熵功率的大小可以表示连续信源剩余的大小。信号平均功率和熵功率之差，称为连续信源的剩余度。设二维随机变量(X,Y)在区域内均匀分布，试计算HC(X)HC(Y)和I(X;Y)思考:(){}10,≤≤≤yxyx作业2.232.282.29本节小结连续信源的数学模型连续信源的相对熵–随机过程–定义及含义（内容见课本32-39页）–连续型随机变量或随机序列–性质：可加性、极值性（最大熵定理）熵功率平均互信息–定义、含义及性质