信息论基础教程(修改)

北京邮电大学出版社BeijingUniversityofPostsandTelecommunicationsPress信息论基础教程BUPTPress目录第一章绪论第二章信息的度量第三章信源及信息熵第四章信道及信道容量第五章无失真信源编码第六章有噪信道编码第七章限失真信源编码BUPTPress第一章绪论1.1信息的概念1.2信息论研究的对象、目的和内容BUPTPress1.1信息的概念信息论是关于信息的本质和传输规律的科学的理论，是研究信息的计量、发送、传递、交换、接收和储存的一门新兴学科。BUPTPress1.1信息的概念信息论是通信的数学基础，它是随着通信技术的发展而形成和发展起来的一门新兴的横断学科。信息论创立的标志是1948年ClaudeShannon（香农）发表的论文“AMathematicalTheoryofCommunication”。在这篇文章中香农创造性的采用概率论的方法来研究通信中的问题，并且对信息给予了科学的定量描述，第一次提出了信息熵的概念。1928年，哈特莱(Hartley)首先提出了用对数度量信息的概念。一个消息所含有的信息量用它的可能值的个数的对数来表示。香农BUPTPress香农信息:信息是事物运动状态或存在方式的不确定性的描述。可运用研究随机事件的数学工具——概率来测度不确定性的大小。在信息论中，我们把消息用随机事件表示，而发出这些消息的信源则用随机变量来表示。我们把某个消息出现的不确定性的大小，定义为自信息，用这个消息出现的概率的对数的负值来表示：自信息同时表示这个消息所包含的信息量，也就是最大能够给予收信者的信息量。如果消息能够正确传送，收信者就能够获得这么大小的信息量。ix)(log)(iixpxIBUPTPress信源所含有的信息量定义为信源发出的所有可能消息的平均不确定性，香农把信源所含有的信息量称为信息熵(entropy)。自信息的统计平均定义为信源熵，即这里的q表示信源消息的个数。信息熵表示信源的平均不确定性的大小，同时表示信源输出的消息所含的平均信息量。因此，虽然信源产生的消息可能会含有不同的信息量。在收信端，信源的不确定性得到了部分或全部的消除，收信者就得到了信息。信息在数量上等于通信前后“不确定性”的消除量（减少量）。qiiixpxpXH1)(log)()(BUPTPress第一章绪论主要内容BUPTPress一、信息的产生与传播1.1信息的概念1.1信息的概念一、信息的产生与传播BUPTPress1.1信息的概念一、信息的产生与传播BUPTPress1.1信息的概念一、信息的产生与传播BUPTPress1.1信息的概念一、信息的产生与传播BUPTPress二、信息的定义与分类1.1信息的概念二、信息的定义与分类BUPTPress1.1信息的概念二、信息的定义与分类BUPTPress1.1信息的概念二、信息的定义与分类BUPTPress1.1信息的概念二、信息的定义与分类BUPTPress1.1信息的概念二、信息的定义与分类BUPTPress1.1信息的概念二、信息的定义与分类BUPTPress1.1信息的概念二、信息的定义与分类BUPTPress1.1信息的概念二、信息的定义与分类BUPTPress1.1信息的概念二、信息的定义与分类BUPTPress1.1信息的概念二、信息的定义与分类BUPTPress三、信息的特征与性质1.1信息的概念三、信息的特征与性质BUPTPress1.1信息的概念三、信息的特征与性质BUPTPress1.1信息的概念三、信息的特征与性质BUPTPress1.1信息的概念三、信息的特征与性质BUPTPress1.1信息的概念三、信息的特征与性质BUPTPress1.1信息的概念三、信息的特征与性质BUPTPress1.2信息的研究对象、目的和内容BUPTPress一、通信系统模型1.2信息的研究对象、目的和内容一、通信系统模型BUPTPress1.2信息的研究对象、目的和内容一、通信系统模型BUPTPress1.2信息的研究对象、目的和内容一、通信系统模型BUPTPress1.2信息的研究对象、目的和内容一、通信系统模型BUPTPress1.2信息的研究对象、目的和内容一、通信系统模型BUPTPress1.2信息的研究对象、目的和内容一、通信系统模型BUPTPress1.2信息的研究对象、目的和内容一、通信系统模型BUPTPress1.2信息的研究对象、目的和内容一、通信系统模型BUPTPress1.2信息的研究对象、目的和内容一、通信系统模型BUPTPress1.2信息的研究对象、目的和内容二、信息论的内容BUPTPress1.3信息论的形成和发展BUPTPress1.3信息论的形成和发展BUPTPress1.3信息论的形成和发展BUPTPress1.3信息论的形成和发展BUPTPress1.3信息论的形成和发展BUPTPress1.3信息论的形成和发展BUPTPress1.3信息论的形成和发展BUPTPress1.3信息论的形成和发展BUPTPress1.3信息论的形成和发展BUPTPress本章总结BUPTPress1.2信息论的研究对象、目的和内容信息论的研究对象是广义的通信系统，它把所有的信息流通系统都抽象成以下的模型：图1.1通信系统模型BUPTPress这个通信系统主要分成五个部分：（1）信源。顾名思义，信源是产生消息和消息序列的源。（2）编码器。编码就是把消息变成适合在信道传输的物理量，这种物理量称为信号。编码器可分为信源编码器、信道编码器。信源编码的目的为了提高通信系统的有效性和提高信息传输的可靠性。在实际的通信系统中，可靠性和有效性常常相互矛盾。（3）信道。信道是指通信系统把载荷消息的信号从发送端送到接收端的媒介或通道，是包括收发设备在内的物理设施。（4）译码器。译码就是把信道输出的已迭加了干扰的编码信号进行反变换，变成信宿能够接受的消息。译码器也可分成信源译码器和信道译码器。（5）信宿。信宿是消息传送的对象，即接受消息的人或机器。BUPTPress信息论研究的是关于这个通信系统的最根本、最本质的问题。例如：①什么是信息？如何度量信息？②怎样确定信源中含有多少信息量？③对于一个信道，它传输信息量的最高极限（信道容量）是多少？④为了能够无失真的传输信源信息，对信源编码时所需的最少的码符号数是多少？（无失真信源编码即香农第一定理）⑤在有噪信道中有没有可能以接近信道容量的信息传输率传输信息而错误概率几乎为零？（有噪信道编码即香农第二定理）⑥如果对信源编码时允许一定量的失真，所需的最少的码符号数又是多少？（限失真信源编码即香农第三定理）BUPTPress目前，对信息论的研究内容一般有三种理解：（1）狭义信息论：又称香农信息论。主要通过数学描述与定量分析，研究通信系统从信源到信宿的全过程，包括信息的测度、信道容量以及信源和信道编码理论等问题，强调通过编码和译码使收、发两端联合最优化，并且以定理的形式证明极限的存在。这部分内容是信息论的基础理论。（2）一般信息论：也称工程信息论。主要也是研究信息传输和处理问题，除香农信息论的内容外，还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等。（3）广义信息论：不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题。BUPTPress第二章信息的度量2.1自信息和互信息2.2平均自信息2.3平均互信息BUPTPress关于信息的度量有几个重要的概念：（1）自信息：一个事件（消息）本身所包含的信息量，它是由事件的不确定性决定的。比如抛掷一枚硬币的结果是正面这个消息所包含的信息量。（2）互信息：一个事件所给出关于另一个事件的信息量，比如今天下雨所给出关于明天下雨的信息量。（3）平均自信息（信息熵）：事件集（用随机变量表示）所包含的平均信息量，它表示信源的平均不确定性。比如抛掷一枚硬币的试验所包含的信息量。（4）平均互信息：一个事件集所给出关于另一个事件集的平均信息量，比如今天的天气所给出关于明天的天气的信息量。BUPTPress2.1自信息和互信息2.1.1自信息随机事件的自信息量是该事件发生概率的函数，并且应该满足以下公理化条件：1.是的严格递减函数。当时，，概率越小，事件发生的不确定性越大，事件发生以后所包含的自信息量越大。2．极限情况下当=0时，；当=1时，=0。)(ixI)(ixp)(ixI)(ixp12()()pxpx12()()IxIx)(ixp()iIx)(ixp)(ixIBUPTPress3．另外，从直观概念上讲，由两个相对独立的不同的消息所提供的信息量应等于它们分别提供的信息量之和。可以证明，满足以上公理化条件的函数形式是对数形式。BUPTPress如果实函数f(x)(1≤x≤∞)满足以下条件:1.f(x)≥02.f(x)是严格单调增函数,即若xy，则f(x)f(y)3.f(x﹒y)=f(x)+f(y)则f(x)=clogxBUPTPress定义2.1随机事件的自信息量定义为该事件发生概率的对数的负值。设事件的概率为，则它的自信息定义为从图2.1种可以看到上述信息量的定义正是满足上述公理性条件的函数形式。代表两种含义：当事件发生以前，等于事件发生的不确定性的大小；当事件发生以后，表示事件所含有或所能提供的信息量。ix)(ixp1()log()log()defiiiIxpxpx)(ixI图2.1自信息量BUPTPress自信息量的单位与所用对数的底有关。（1）常取对数的底为2，信息量的单位为比特（bit，binaryunit）。当=1/2时，=1比特，即概率等于1/2的事件具有1比特的自信息量。（2）若取自然对数（对数以e为底），自信息量的单位为奈特（nat，naturalunit）。1奈特=比特=1.443比特（3）工程上用以10为底较方便。若以10为对数底，则自信息量的单位为哈特莱（Hartley）。1哈特莱=比特=3.322比特（4）如果取以r为底的对数（r1），则=进制单位1r进制单位=比特)(ixp)(ixIe2log10log2)(ixIlog()ripxrr2logBUPTPress例2.1.11.英文字母中”a”出现的概率为0.064，“c”出现的概率为0.022，分别计算它们的自信息量22(1)()log0.0643.96()log0.0225.51IabitIcbit2(2)()log0.0640.0223.965.519.47Iacbit2(3)(|)log0.044.64Icabit2.假定前后字母出现是互相独立的，计算“ac”出现的自信息量3.假定当“a”出现后，出现“c”的概率为0.04，计算“a”出现后，“c”出现的自信息量BUPTPress例2.1.2同时扔一对均匀色子，当得知“两色子两朝上点数之和为2”或“两色子面朝上点数为3和4”时，试问，这两种情况分别获得多少信息量。BUPTPress2.1.2互信息定义2.2一个事件所给出关于另一个事件的信息定义为互信息，用表示。互信息是已知事件后所消除的关于事件的不确定性，它等于事件本身的不确定性减去已知事件后对仍然存在的不确定性。互信息的引出，使信息得到了定量的表示，是信息论发展的一个重要的里程碑。jyix);(jiyxI(|)(;)()(|)log()defijijiijipxyIxyIxIxypx);(jiyxIjyixixixjy)(ixI(|)ijIxyBUPTPress例2.1.3某地二月份天气出现的概率分别为晴1/2，阴1/4，雨1/8，雪1/8。某天有人告诉你：“今天不是晴天”，把这句话作为收到的消息y1，求收到y1后，y1与各种天气的互信息量。解：把各种天气记作x1(晴),x2(阴),x3(雨),x4(雪)，收到消息y1后，阴天发生的概率为21211121212221(