信息论第二讲

信息论与编码原理InformationTheoryandEncoding主讲：肖竹老师通信工程本科专业课程数字通信系统信源及其数学模型信息的度量第二讲数字通信系统信源编码器信道译码器信宿消息信号信号+干扰消息干扰器图1通信系统模型信源：产生消息和消息序列的源。消息是随机发生的，也就是说在未收到这些消息之前不可能确切地知道它们的内容。信源研究主要内容是消息的统计特性和信源产生信息的速率。在信息论中，用随机变量或者随机过程来描述消息。通信系统模型进一步细分信源信源编码器信道编码调制器信道干扰源解调器信道译码信源译码器信宿等效无干扰信道等效信源等效信宿信道编码器信道译码器编码环节：将信源发出的消息变换成适于信道传送的信号的设备。信源编码器：在一定的准则下，信源编码器对信源输出的消息进行适当的变换和处理，其目的在于提高信息传输的效率。----根据：冗余、压缩质量标准纠错编码器：纠错编码器是对信源编码器的输出进行变换，用以提高对于信道干扰的抗击能力，也就是说提高信息传输的可靠性。-----信道编码调制器：调制器是将纠错编码器的输出变换适合于信道传输要求的信号形式。纠错编码器和调制器的组合又称为信道编码器。信道：把载荷消息的信号从发射端传到接受端的媒质或通道，包括收发设备在内的物理设施。信道除了传送信号外，还存储信号的作用。干扰源：在信道中引入噪声和干扰，是一种等效的表达方式。为了分析方便，把在系统中其他部分产生的噪声和干扰都等效成信道干扰。译码器：编码的逆变换。信道译码，信源译码，它要从受干扰的信号中最大限度地提取出有关信源输出消息的信息，并尽可能地复现信源的输出。信宿：信息传送过程中的接受者，亦即接受消息的人、物、机器。小结：通信系统：有效性vs可靠性。/效率vs容错有效性：码元速率（波特率），信息速率（比特率）可靠性：误码率、误比特率在一定的准则下，通信可以兼顾有效性和可靠性通信系统其它要求：保密性和认证性....数字通信系统信源及其数学模型信息的度量信源的数学描述在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的,是随机的。所以可用随机变量、随机序列或随机过程来描述信源输出的消息,或者说用一个样本空间及其概率测度—概率空间来描述信源。•用随机变量或随机矢量来表示信源•用概率论和随机过程的理论来研究信息不同的信源输出的消息的随机性质不同，可以根据消息的不同的随机性质来对信源进行分类：按照某时刻信源输出消息的取值集合的离散性和连续性,信源可分为离散信源和连续信源;按照信源输出消息的所对应的随机序列中随机变量前后之间有无依赖关系,信源可分为无记忆信源和有记忆信源;按照信源输出消息的所对应的随机序列的平稳性,信源可分为平稳信源和非平稳信源;信源的分类离散信源)(,),(),(,,,)(2121qqaPaPaPaaaxPX1)(1)(0:1qiiiaPaP且满足•连续信源1)()(),()(badxxpxpbaxpX并满足注：X代表随机变量，指的是信源整体；ai代表随机事件的某一结果或信源的某个元素。每次必定选取其中一个输出，满足完备集条件。注：这里的p(x)代表概率密度函数。连续型概率空间满足完备集。也称波形信源，随机过程描述，通过采样量化可转化为离散信源简单信源离散信源在不同时刻发出的符号之间是无依赖的，彼此统计独立的。)(,),(),(,,)(qqPPPxPX2121其中，qi,,,21且qiiP11)(离散无记忆信源6/16/16/16/16/16/1654321xxxxxxPXNNkkkkNNNNqiqiNiiiNiiiiiiNiiiiqqiNaPPaPaaaPPqiiiaaaPPPPX11112121211212121)()()()()(),,,,()()(,),(),(,,)(并满足：其中•由离散无记忆信源输出N长的随机序列构成的信源。符号取自同一符号集，其相互独立离散无记忆信源N次扩展信源4/14/14/14/111100100PX掷两枚硬币有记忆信源：输出的随机序列X中各随机变量之间有依赖关系，但记忆长度有限。T+H、R，基本没有：T+Q、F、Xm阶马尔可夫信源：信源每次发出的符号只与前m个符号有关，与更前面的符号无关，有条件概率决定。随机波形信源：信源输出的消息是时间（或空间）上和取值上都是连续的函数。可用随机过程来描述.),2,1()|()|(321132112NixxxxxPxxxxxxxxPmiiiiiimiiiiiii其它几种常见信源数字通信系统信源及其数学模型信息的度量信息的度量信息量与不确定性消除的程度有关。消除多少不确定性,就获得多少信息量。那么,不确定性的大小如何度量？用数学的语言来讲，不确定性就是随机性，具有不确定性的事件就是是随机事件。因此,可运用研究随机事件的数学工具——概率论、随机过程来测度不确定性的大小信息量直观地定义为:收到某消息获得的信息量(即收到某消息后获得关于某基本事件发生的信息量)=不确定性减少的量=(收到此消息前关于某事件发生的不确定性)-(收到此消息后关于某事件发生的不确定性).自信息量某事件发生所含有的信息量应该是该事件发生的先验概率的函数。即：I(xi)＝f[p(xi)]根据客观事实和人们的习惯概念，函数f[p(xi)]应满足以下条件：（1）它应是先验概率p(xi)的单调递减函数，即当p(x1)p(x2)时，有f[p(x1)]f[p(x2)]；（2）当p(xi)=1时，f[p(xi)]=0（3）当p(xi)=0时，f[p(xi)]=（4）两个独立事件的联合信息量应等于它们分别的信息量之和。即统计独立信源的信息量等于它们分别的信息量之和。可以证明对数函数满足上述条件：1()[()]loglog()()iirriiIxfPxPxPx一点说明计算自信息量时要注意有关事件发生概率的计算自信息量的单位取决于对数的底；底为2，单位为“比特（bit,binaryunit）”；底为e，单位为“奈特（nat,natureunit）”；底为10，单位为“哈特（hat,Hartley）”；根据换底公式得：aXXbbalogloglog一般计算都采用以“2”为底的对数，为了书写简洁，常把底数“2”略去不写1nat=1.44bit,1hat=3.32bit；二进制码元0,1,当符号概率为p(0)=1/4,p(1)=3/4,则这两个符号的自信息量为：I(0)=-log2(1/4)=log24=2bitI(1)=-log2(3/4)=0.4151bit•一个以等概率出现的二进制码元(0,1)所包含的自信息量为：I(0)=I(1)=-log2(1/2)=log22=1bit•一个m位的二进制数,有2m个等概率的可能组合I=-log2(1/2m)=mbitI(xi)代表两种含义：（1）、当事件xi发生以前，表示事件xi发生的不确定性---固有特性（2）、当事件xi发生以后，表示事件xi所提供的信息量---不考虑噪声I(xi)是概率空间(X,P(x))的一个随机变量例：设英文字母e出现的概率为0.105,z出现的概率为0.001,求英文字母e和z的信息量。I(e)=-log0.105=3.24(bit)I(z)=-log0.001=9.97(bit)[例]8个串联的灯泡x1，x2，…，x8，其损坏的可能性是等概率的，现假设其中有一个灯泡已损坏，问每进行一次测量可获得多少信息量？总共需要多少次测量才能获知和确定哪个灯泡已损坏。解：收到某消息获得的信息量(即收到某消息后获得关于某事件发生的信息量)＝不确定性减少的量＝(收到此消息前关于某事件发生的不确定性)-(收到此消息后关于某事件发生的不确定性)已知8个灯泡等概率损坏，所以先验概率P(x1)＝1/8，即第二次测量获得的信息量=I[P(x2)]-I[P(x3)]=1(bit)第三次测量获得的信息量=I[P(x3)]-0=1(bit)至少要获得3个比特的信息量就可确切知道哪个灯泡已坏。)(3)(1log)]([121bitxPxPI第一次测量获得的信息量=I[P(x1)]-I[P(x2)]=1(bit)经过二次测量后，剩2个灯泡，等概率损坏，P(x3)＝1/2一次测量后，剩4个灯泡，等概率损坏，P(x2)＝1/4)(2)(1log)]([222bitxPxPI)(1)(1log)]([323bitxPxPI[例]：求离散信源的自信息量。一次掷两个骰子，作为一个离散信源，求下列事件产生后提供的信息量。a.仅有一个为3；b.至少有一个为4；c.两个之和为偶数；解：一个骰子有6个符号，这一随机事件的总数（信源符号数）为36。a事件样本数=5×2=10（另外一个不能为3）b事件样本数=5×2+1=11（加上一个双4）c事件样本数=18则p(a)=10/36=5/18;p(b)=11/36;p(c)=18/36=1/2;I(a)=log(18/5)=1.848(bit);I(b)=log(36/11)=1.7105(bit);I(c)=log2=1(bit);信源模型(涉及两个随机事件)联合自信息量,推广至二维空间{XY,P(xy)}1)(,1)(0)(,),(),(),(,,,,,,,,)(11121111212111nimjjijimnmmnnmmyxpyxpyxpyxpyxpyxpyxyxyxyxyxyxXYPXY)(log)(jijiyxpyxI•联合自信息量在特定条件下(已定)随机事件发生所带来的信息量定义式注：联合自信息量和条件自信息量，满足非负；单调递减性。jyix)/(log)/(2jijiyxpyxI条件自信息量联合自信息量:积事件联合自信息量和条件自信息量关系：条件概率当X和Y独立时，无法对一个事件的观察获得另一事件的信息)/()()/()(log)/()()/()(log)(22jijjijijiijijiyxIyIyxpypxyIxIxypxpyxI)()()(log)(log)(22jijijiyIxIypxpyxI[例]某小区共有若干栋商品房，每栋5个单元，每个单元12户，A要找到朋友B，若：1、A仅知道B住在第5栋，他找到B的概率多大？他能获得多少信息？解：用xi和yi分别表示单元数和户号A找到B这一事件是二维联合集XY的等概分布p(xiyi)=1/60，这一事件给A提供的信息量：I（xiyi）=-logp(xiyi)=log60=5.907（bit）2、A除了知道B住在第5栋之外，还知道B住在第3单元，他找到B的概率多大？他又能获得多少信息？解：在该种情况下，A找到B这一事件是二维联合集XY的条件分布概率p(yi|xi)=1/12,这一事件给A提供的条件信息量：I（yi|xi）=-logp(yi|xi)=log12=3.585（bit）互信息量：结合图示讲解通信模型，信源发出消息xi的概率p(xi)称为先验概率，信宿收到yi。利用收到yi推测信源发出xi的概率称为后验概率，有时也称条件概率。思考：事件xi是否发生具有不确定性，可用自信息I(xi)度量。在收到符号后，事件是否仍具有一定的不确定性，用条件信息量I（yi|xi）度量。相当于进行了通信。问题：观察事件（通信）前后，通信过程中所获得的信息量是什么？定义:后验概率与先验概率比值的对数为yi对xi的互信息量：互信息量和条件互信息量(|)(;)()(|)log()ijijiijixyIxyIxIxyqx互信息量等于自信息量减去条件自信息量。互信息量条件概率先