您好,欢迎访问三七文档
第三章信源及信源熵信源的主要问题:信源的描述(数学建模);信源输出信息能力的定量分析(信源熵);信源信息的有效表示(信息编码)。编码器信道译码器信宿噪声源信源第三章信源及信源熵信源的主要问题:信源的描述(数学建模);信源输出信息能力的定量分析(信源熵);信源信息的有效表示(信息编码)。编码器信道译码器信宿噪声源信源第三章信源及信源熵3.1信源的分类及其数学模型3.2离散单符号信源3.3离散多符号信源3.3.1离散平稳信源3.3.2离散平稳无记忆信源3.3.3离散平稳有记忆信源3.3.4马尔可夫信源3.4信源的相关性和剩余度3.1信源的分类及其数学模型信源的分类分类1:根据信源输出的消息在时间和取值上是离散或连续分。时间(空间)取值信源种类举例数学描述离散离散离散信源(数字信源)文字、数据、离散化图像离散随机变量序列离散连续连续信号跳远比赛的结果、语音信号抽样以后连续随机变量序列连续连续波形信源(模拟信源)语音、音乐、热噪声、图形、图像随机过程连续离散不常见3.1信源的分类及其数学模型分类2:根据各维随机变量的概率分布是否随时间的推移而变化分。1)平稳信源2)非平稳信源分类3:根据随机变量间是否统计独立分。1)有记忆信源2)无记忆信源3.1信源的分类及其数学模型实际信源分类:()(()1HNHXHHmX离散无记忆信源:)记忆长度无限长:离散平稳信源平稳信源离散有记忆信源记忆长度有限马尔可夫信源:连续平稳信源非平稳信源信源3.2离散单符号信源定义输出单个离散取值的符号的信源称为离散单符号信源。是最简单也是最基本的信源,是组成实际信源的基本单元。用一个离散随机变量表示。数学模型110......)(12121qiiiqqpppppxxxXPX,且3.2离散单符号信源信源输出信息能力信源的平均自信息量(信息熵):信源输出的所有消息的自信息的统计平均值。举例1二元信源X输出符号只有两个,设为0和1。输出符号发生的概率分别为p和q,p+q=1。即信源的概率空间为则该信源的熵为:1()log()()log()qiiiiHXEpxpxpx01XPpqH(p)p)(p)(ppqqppH(X)1log1logloglog3.2离散单符号信源举例2掷骰子:为六元信源。则该信源的熵为:1654321)(61654321iipppppppXPX,且61logiiippH(X)3.3离散多符号信源定义离散多符号信源:输出为符号序列。用离散随机变量序列(随机矢量)表示,即:举例以8位电话号码为研究对象的试验中文自然语言文字离散多符号信源的实质不是多个信源而是以由一个信源发出的多个符号为研究对象的等价信源。NXXXX213.3离散多符号信源理清与离散多符号信源相关的几种常见信源的关系:离散平稳信源离散多符号信源输出的随机变量序列的统计特性往往比较复杂,分析起来比较困难。为了便于分析,假设信源输出的是平稳随机序列,即:序列的统计特性与时间的推移(起点)无关。实际中很多信源也满足这个假设。举例以8位电话号码为研究对象的试验中文自然语言文字离散平稳信源又分为无记忆信源和有记忆信源。均为离散平稳信源3.3离散多符号信源离散平稳无记忆信源信源发出的各个符号彼此是统计独立的。对于多符号信源X=(X1X2…XN),各随机变量Xi(i=1,2,…,N)之间是统计独立的,即:称该多符号信源为离散无记忆信源的N次扩展信源。举例以8位电话号码为研究对象的试验一般情况下,信源在不同时刻发出的符号之间是相互依赖的,这种信源就为有记忆信源。3.3离散多符号信源离散平稳有记忆信源实际上,许多信源发出的符号往往只与前若干个符号的依赖关系强,而与更前面符号的依赖关系弱。因此,在研究分析时可限制随机序列的记忆长度。当记忆长度为m+1时,称这种有记忆信源为m阶马尔可夫信源,即:信源每次发出的符号只与前m个符号有关,与更前面的符号无关。举例(离散平稳有记忆信源)中文自然语言文字3.3.1离散平稳信源定义:对于随机变量序列,在任意两个不同时刻和(和为大于1的任意整数)信源发出消息的概率分布完全相同,即对于任意的,和具有相同的概率分布。也就是:即各维联合概率分布均与时间起点无关的信源称为离散平稳信源。12,,,,nXXXijij,2,1,0NNiiiXXX1NjjjXXX11111()()()()()()ijiijjiiiNjjjNPXPXPXXPXXPXXXPXXX3.3.1离散平稳信源推论1离散平稳信源的条件概率分布与时间起点无关,只与关联长度N有关。1111()()()()()()ijiijjiiiNjjjNPXPXPXXPXXPXXXPXXX111111NjjjNjNiiiNijjiiXXXXPXXXXPXXPXXP3.3.1离散平稳信源推论21111()()()()()()ijiijjiiiNjjjNPXPXPXXPXXPXXXPXXX123241231231221NNNNNNXXXHXXXHXXXHXXHXXHXXHXHXHXHlim()defNNHHX离散多符号平稳信源不确定度的度量:对于离散多符号信源,我们引入熵率的概念,它表示信源输出的符号序列中,平均每个符号所携带的信息量。定义(熵率):随机变量序列中,对前N个随机变量的联合熵求平均:称为平均符号熵。如果当时上式极限存在,则称为熵率,或称为极限熵,记为121()()NNHHXXXNXN)(limXNNH3.3.1离散平稳信源3.3.2离散平稳无记忆信源定义信源发出的各个符号彼此是统计独立的。对于多符号信源X=(X1X2…XN),各随机变量Xi(i=1,2,…,N)之间是统计独立的,即:称该多符号信源为离散无记忆信源的N次扩展信源。举例以8位电话号码为研究对象的试验NXX3.3.2离散平稳无记忆信源分析信源熵N次扩展信源(N长离散平稳无记忆信源)的熵等于单符号离散信源熵的N倍。XNHXHXXXHXHNiiN121对N个独立的随机变量X1,X2,……,XN,有:NiiNXHXXXH121平稳3.3.2离散平稳无记忆信源熵率离散平稳无记忆信源的熵率等于单符号离散信源熵。例1离散无记忆信源为:X:{a1,a2,a3};P(X):{1/4,1/2,1/4},试求:1)该信源的熵;2)写出该信源的二次扩展信源,并求其概率分布;3)根据2)中结果求该信源二次扩展信源的信源熵及熵率。XHXNHNXHHNNN1limlim()1.5HXbit3.3.2离散平稳无记忆信源2)写出该信源的二次扩展信源,并求其概率分布;解:二次扩展信源为:信源符号为:其概率分布为:2X:{A1…A9}A1=a1a1A2=a1a2A3=a1a3A4=a2a1A5=a2a2A6=a2a3A7=a3a1A8=a3a2A9=a3a3A1A2A3A4A5A6A7A8A91/161/81/161/81/41/81/161/81/163.3.2离散平稳无记忆信源3)根据2)中结果求该信源二次扩展信源的信源熵及熵率。计算可得:可见:A1A2A3A4A5A6A7A8A91/161/81/161/81/41/81/161/81/162()3HXbit2()2()HXHXbitXHNXHHNNN5.11limlim2XHH3.3.3离散平稳有记忆信源离散平稳有记忆信源定义信源发出的符号间相互有依赖关系。分析信源熵NXXXHXH21XNHXHNii1独立12121121()()(|)(|)NNNHXXXHXHXXHXXXX熵函数的链规则:对N个随机变量X1,X2,……,XN,有:12121121()()(|)(|)NNNHXXXHXHXXHXXXX3.3.3离散平稳有记忆信源离散平稳有记忆信源的几个结论:(1)条件熵随N的增加是递减的;含义:记忆长度越长,条件熵越小;即:序列的统计约束关系增加时,不确定性减少。(2)N给定时平均符号熵大于等于条件熵,即(3)平均符号熵随N的增加是递减的;含义:序列的统计约束关系增加时,由于符号间的相关性,平均每个符号所携带的信息量减少。121(|)NNHXXXX)(XNH121()(|)NNNHHXXXXX3.3.3离散平稳有记忆信源(4)如果,则存在,并且含义:给出了计算熵率的另一种方法。法1:法2:一般情况下,平稳信源输出的符号序列其相关性可追溯到最初的一个符号,故要准确计算需确定无穷维联合概率和条件概率,这相当困难。为此:常用N不太大时的平均符号熵或条件熵来作为熵率的近似值。1()HXlim()NNHHX121limlimNNNNNXXXXHXHHNNNNXXXHNXHH211limlim121limNNNXXXXHH3.3.3离散平稳有记忆信源马尔可夫信源(离散平稳有记忆信源的特例):定义:信源在某时刻发出的符号仅与在此之前发出的有限个符号有关,而与更早些时候发出的符号无关,这称为马尔可夫性,这类信源称为马尔可夫信源。如果信源在某时刻发出的符号仅与在此之前发出的m个符号有关,则称为m阶马尔可夫信源。m阶马尔可夫信源熵率计算:12111112lim(|)lim(|)(|)NNNNNmNmNNmmHHXXXXHXXXXHXXXX马尔可夫性平稳性1mH记作:记忆长度?3.3.3离散平稳有记忆信源例2离散有记忆信源为:X:{x1,x2,x3};P(X):{1/4,4/9,11/36},输出符号序列中,只有前后两个符号有记忆,条件概率P(X2|X1)如下表所示:求:1)该信源熵率;2)比较H(X2|X1),½*H(X1X2),H(X)。x1x2x3x17/92/90x21/83/41/8x302/119/11X2X13.3.3离散平稳有记忆信源解:1)只有前后两个符号有记忆,故为马尔可夫信源,则:2)比较H(X2|X1),½*H(X1X2),H(X)。可见:1221XXHHHHm(|)()(|)()(|)log(|)()log(|)iiijijiiijijjiijHYXpxHYxpxpyxpyxpxypyx(|)()(|)()(|)log(|)()log(|)iiijijiiijijjiijHYXpxHYxpxpyxpyxpxypyx符号/87.0bitH1121221XHXXHXXH符号/206.12112bitXXHbitXHXHXH542.12112112XXHXHXXH3.3.4马尔可夫信源定义:信源在某时刻发出的符号仅与在此之前发出的有限个符号有关,而与更早些时候发出的符号无关,这称为马尔可夫性,这类信源称为马尔可夫信源。随机矢量序列符号序列状态序列(集)马尔可夫链3.3.4马尔可夫信源马尔可夫信源模型:对于一般的阶马尔可夫信源,它的概率空间可以表示成:令,从而得到马尔可夫信源的状态空间为:状态空间由所有状态及状态间的状态转移概率组成。m1121(|)mmiqiiiiXxxxpxxxxPX符号转移概率1212,,,,1,2,,miiiimsxxxii
本文标题:第三章信源及信源熵
链接地址:https://www.777doc.com/doc-2120532 .html