西安电子科技大学信息论与编码理论讲义

《信息论》讲义204教研室2005年11月1主要内容：第一章绪论第二章离散信源及其信息测度第三章离散信道及其信道容量第四章无失真信源编码第五章有噪信道编码2第一章绪论信息论——人们在长期通信工程的实践中，由通信技术与概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。奠基人——香农1948年发表了著名的论文——《通信的数学理论》，为信息论奠定了理论基础。1.1信息的概念人类离不开信息，信息的接收、传递、处理和利用时时刻刻都在发生。如：“结绳记事”、“烽火告警”，信息的重要性是不言而喻的。什么是信息？——信息论中最基本、最重要的概念。信息与“消息”、“情报”、“知识”、“情况”等的区别：“情报”——人们对于某个特定对象所见、所闻、所理解而产生的知识。是一类特定的信息。“知识”——人们根据某种目的，从自然界收集得来的数据中，整理、概括、提取得到的有价值的、人们所需的信息。是一种具有普遍和概括性质的高层次的信息。“消息”——以文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，表达客观物质运动和主观思维活动的状态。消息包含信息，是信息的载体。二者既有区别又有联系。“信号”——消息的运载工具。香农从研究通信系统传输的实质出发，对信息作了科学的定义，并进行了定性和定量的描述。收信者：收到消息前，发送者发送的消息——1、描述的是何种事物运动状态的具体消息；2、描述的是这种消息还是那种消息；3、若存在干扰，所得消息是否正确与可靠。存在“不知”、“不确定”或“疑问”收到消息后，知道消息的具体内容，原先的“不知”、“不确定”或“疑问”消除或部分消除了。消息传递过程——从不知到知的过程；从知之甚少到知之甚多的过程；从不确定到部分确定或全部确定的过程。通信过程——消除不确定性的过程。不确定性的消除，就获得了信息。若原先不确定性全部消除了，就获得了全部的消息；若消除了部分不确定性，就获得了部分信息；若原先不确定性没有任何消除，就没有获得任何消息。信息——事物运动状态或存在方式的不确定性的描述。通信的结果——消除或部分消除不确定性而获得信息。信息如何测度？信息量与不确定性消除的程度有关。消除了多少不确定性，就获得了多少信息量。不确定性——随机性——概率论与随机过程。样本空间——所有可能选择的消息的集合。概率空间——样本空间和它的概率测度。],[PX信源信道信宿（发送者）（收信者）干扰或噪声图1.1通信系统框图3)(,),(,,,),(,)(2211qqaPaPaaaPaxPX)(iaP——先验概率，选择符号ia作为消息的概率。定义：自信息——)(1log)(iiaPaI若信道存在干扰，假设接收到的消息是jb，jb可能与ia相同，也可能与ia有差异。)|(jibaP——后验概率定义：互信息——)|(1log)(1log);(jiijibaPaPbaI1.2信息论研究对象、目的和内容1、研究对象（1）信源——产生消息和消息序列的源（2）编码器——消息变换成信号信源编码——对信源输出的消息进行适当的变换和处理，目的为了提高信息传输的效率。信道编码——为了提高信息传输的可靠性而对消息进行的变换和处理。还包括换能、调制、发射等。（3）信道——载荷消息的信号的传输媒介。（4）译码器——信道输出的编码信号（迭加有干扰）进行反变换。信源译码器和信道译码器（5）信宿——消息传送的对象。将上述模型中编（译）码器分成信源编（译）码、信道编（译）码和加密（解密）编（译）码三个子部分。2、研究目的要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，使达到信息传输系统最优化。信号+干扰干扰信号消息信源信道信宿消息噪声源图1.2通信系统模型编码器译码器n噪声源图1.3信息传输系统模型信源信源编码信道信道译码信道编码信源译码信宿加密编码解密译码SUCXYC′VS4可靠性高——要使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现在接收端。有效性高——经济效益好，即用尽可能短的时间的尽可能少的设备来传送一定数量的信息。保密性——隐蔽和保护通信系统中传送的消息，使它只能被受权接收者获取，而不能被未受权者接收和理解。认证性——接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。3、研究内容三种理解：（1）狭义信息论（经典信息论）研究信息的测度、信道容量以及信源和信道编码理论等问题。香农基本理论（2）一般信息论香农理论、噪声理论、信号滤波和预测、统计检测与估计理论、调制理论、信息处理理论以及保密理论等。（3）广义信息论5第二章离散信源及其信息测度2.1信源的数学模型及分类根据信源输出消息的不同的随机性质分类。一、随机变量X描述信源输出的消息1、离散信源信源输出的消息数是有限的或可数的，每次只输出一个消息。数学模型——离散型的概率空间)(,),(,,,),(,)(2211qqaPaPaaaPaxPX（1)(1qiiaP：完备集条件）2、连续信源信源输出的消息数是无限的或不可数的，每次只输出一个消息。数学模型——连续型的概率空间)(),()(xpbaxpX或)(xpR（1)(badxxp或1)(Rxp：完备集条件）二、随机序列X描述信源输出的消息根据X的平稳性与否，分平稳信源与非平稳信源。1、离散平稳信源信源输出的随机序列),,,(21NXXXX中),,2,1(NiXi为取值离散的离散型随机变量，X的各维概率分布都与时间起点无关（任意两个不同时刻X的各维概率分布都相同）。2、连续平稳信源信源输出的随机序列),,,(21NXXXX中),,2,1(NiXi为取值连续的连续性随机变量，X的各维概率密度函数都与时间起点无关（任意两个不同时刻X的各维概率密度函数都相同）。3、离散无记忆信源（离散平稳信源）信源输出的随机序列),,,(21NXXXX中),,2,1(NiXi统计独立，iX取值于同一概率空间X。qiiiNiiikkaPaaaPxP121)()()(4、离散无记忆信源X的N次扩展信源由离散无记忆信源输出N长的随机序列构成的信源。)(,),(,,,),(,)(2211NqNqiNPPPPX)(21iNiiiaaa),2,1,,,(21qiiiN6满足qiiiNiiikkaPaaaPxP121)()()(NkkNqiqiiqiiaPP1111)()(5、有记忆信源信源输出的随机序列),,,(21NXXXX中),,2,1(NiXi之间有依赖关系。6、马尔可夫信源信源输出的随机序列),,,(21NXXXX中),,2,1(NiXi之间有依赖关系。但记忆长度有限。若记忆长度为m+1，则称为m阶马尔可夫信源。（信源每次发出的符号只与前m个符号有关，与更前面的符号无关。）)|()|(32112132112miiiiiiimiiiiiiixxxxxxxPxxxxxxxxP),,2,1(Ni若上述条件概率与时间起点i无关，该信源称为时齐马尔可夫信源。三、随机过程)(tx描述信源输出的消息随机波形信源信源输出的消息是时间（或空间）上和取值上都是连续的函数。转换关系：随机波形信源→取样→连续平稳信源连续信源→分层（量化）→离散信源2.2离散信源的信息熵离散信源——输出是单个符号的消息，且这些消息是两两互不相容的。可用一维随机变量来描述。)(,),(,,,),(,)(2211qqaPaPaaaPaxPX（1)(1qiiaP：完备集条件）2.2.1自信息获得信息量的大小与不确定性消除的多少有关。例2.1（P20）收到某消息获得的信息量（即收到某消息后获得关于某基本事件发生的信息量）=不确定性减少的量=（收到此消息前关于某事件发生的不确定性）-（收到此消息后关于某事件发生的不确定性）无噪声时，收到某消息获得的信息量=收到此消息前关于某事件发生的不确定性=信源输出的某消息中所含有的信息量事件发生的不确定性与事件发生的概率有关。（事件发生概率越小，不确定性就大；事件发生概率越大，不确定就越小。）某事件发生所含有的信息量：)]([)(iiaPfaI——自信息量7函数)]([iaPf满足：（1）)]([iaPf应是先验概率)(iaP的单调递减函数，即当)()(2211aPaP时，][][21PfPf（2）当1)(iaP，0][iPf（3）当0)(iaP，][iPf（4）统计独立信源的信息量等于它们分别的信息量之和。可得：)(1log)(iiaPaI例2.2（P22）设离散信源X，其概率空间为)(,),(,,,),(,)(2211qqaPaPaaaPaxPX如果知道事件ia已经发生，则该事件所含有的信息量称为自信息，定义为)(1log)(iiaPaI)(iaI含义：1）、当事件ia发生以前，表示事件ia发生的不确定性；2）、当事件ia发生以后，表示事件ia所含有的信息量。)(1log)(2iiaPaI（比特）；)(1ln)(iiaPaI（奈特）；)(1lg)(iiaPaI（哈特）。1奈特=1.44比特，1哈特=3.32比特。2.2.2信息熵自信息)(iaI——随机变量平均自信息量——自信息的数学期望)(log)(])(1[log)(1iqiiiaPaPaPEXH——熵（信息熵）)(log)()(1irqiiraPaPEXH(r进制单位/符号)信息熵的含义：1、表示信源输出后，每个消息（符号）所提供的平均信息量。2、表示信源输出前，信源的平均不确定性。3、表征变量X的随机性。信息熵——信源的平均不确定的描述。一般情况下，并不等于平均获得的信息量。8获得信息量=两熵之差。例2.3（P25）例2.4（P25）2.3信息熵的基本性质信息熵——信源概率空间的一种特殊的矩函数。)(,),(,,,),(,)(2211qqaPaPaaaPaxPXq给定时，信源的信息熵为概率分布)(xP的函数。概率矢量),,,())(,),(),((2121qqpppaPaPaPP满足11qiip、0ip)(),,,(log)(log)()(2111PHpppHppaPaPXHqiqiiiqii——熵函数熵函数性质：1、对称性),,,(),,,,(),,,(1113221qqqqpppHppppHpppH熵只与随机变量的总体结构有关，即与信源的总体的统计特性（含有的符号数、概率分布）有关。局限性：不能描述事件本身的具体含义和主观价值等。2、确定性0)0,,0,1(()0,0,0,1()0,0,1()0,1(HHHH),,,(21qpppP中，当1ip时，0logiipp，对于其余分量0jp)(ij，0loglim0jjpppj（2ln]log[212ln11jpppippjji）确知信源的熵为零。3、非负性0log),,,()(121iqiiqpppppHPH（10ip，0logip）（例外，连续信源，这一性质不存在。相对熵，可能出现负值。）4、扩展性),,,(),,,,(lim212110qqqqpppHpppH（0loglim0）说明：信源的取值数增多时，若这些取值对应的概率很小（接近于零），则信源熵不变。5、可加性9统计独立信源X和Y的联合信源的熵等于分别熵之和。X——),,,(21nppp，Y——),,,(21mqqq)()()(YHXHXYH即),,,,,,,(121212111mnnmmnmqpqpqpqpqpqpqpH),,,(),,,(2121mnq