信息论总复习.

基础信息论电子与信息工程系涂来email:[e-mail]南一楼东南角5楼通软中心87541601基础信息论———总复习关于考试•院系统一安排•不超出课件中内容•不涉及课件中补充内容•第2章不考2.1.4，2.2.5，2.3.4•第3章不考3.2.3，3.4•第4章仅涉及4.1，4.4•第5章仅涉及5.1（仅5.1.1~5.1.4）•第6章仅涉及课件中信道编码相关概念与信道编码定理3•考试题型•一、填空题（每空2分，共20分）•二、简答题（每题6分，共30分）•三、计算题（4题，共50分）•说明：•无证明题•一、二：涉及概念理解和很简单的计算4课程内容•1绪论•2信源熵•2.0信源的数学模型及其分类•2.1信息的度量与信源熵•2.2多符号离散平稳信源•2.3连续信源•2.4离散无失真信源编码定理•3信道容量•3.1信道模型信道容量•3.2多符号离散信道•3.3连续信道•4信息率失真函数•5信源编码•6信道编码定理5第1章绪论1.绪论•信息论的研究目的•建立传输系统模型，找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，这四者构成现代信息系统对信息传输的全面要求。•通信系统模型7信源信源编码信源译码信宿信道编码信道信道译码++加密编码解密译码噪声源SUCXYĈVSn课程的研究内容•(1)什么是信息？如何度量信息？自信息量互信息量•(2)如何计算信源输出中，平均含有多少信息量？熵•(3)对于一个给定的信道，它传输信息量的最高极限如何计算？信道容量•(4)为了能够无失真地传输信源信息，对信源编码时所需最少的码符号数如何计算？香农第一定理•(5)在有噪信道中，有没有可能以接近信道容量的信息传输率传输信息而错误概率几乎为零？香农第二定理•(6)如果对信源编码时允许一定量的失真，所需最少的码符号数如何计算？香农第三定理•(7)编码的基本思路？常见的一些基本编码方法的编码步骤8信息的分类方法•信息具有三方面特征：•语法（反映客观性）•语义（既有客观性、又有主观性）•语用（反映主观性）•信息的主观属性（语用、语义）是影响对信息进行度量的主要因素，这些属性与人的主观性有关，很难准确地进行量化表达。•基于以上考虑，香农大胆地去掉了信息在语义和语用方面的因素，只保留消息的语法属性，从而使得使用数学工具定量度量信息成为可能。C.E.Shannon香农信息分类方法的一种9香农信息•1948年，香农在《AMathematicalTheoryofCommunication》中提出了三种假设：形式化假说•通信的任务只是在接收端把发送端发出的消息从形式上复制出来，并不需要对消息的语义作处理和判断。•形式化假说大胆去掉了消息主观方面的语义、语用因素，只保留了能用数学描述的客观方面的形式因素，使用数学工具定量度量信息成为可能非决定论观点•根据通信问题研究对象的特点，按照非决定论的观点，采用概率统计的方法，作为分析通信问题的数学工具，因而比以往的研究更加科学。不确定性•信息是对事物运动状态或存在方式不确定性的描述。当收到一条消息后，所获得的信息量可以用不确定度的消除量来进行度量。——香农信息10信息与消息、信号间的区别信号•在实际通信系统中，通常需要把消息变换成适合信道传输的物理量，这种物理量即为信号。消息•用文字、符号、数据、语言、图片、图像等能被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就成为消息。信息•信息是对事物运动状态或存在方式不确定性的描述。当收到一条消息后，所获得的信息量可以用不确定度的消除量来进行度量。11第2章信息熵2.信息熵•2.0信源的数学模型及其分类•离散/连续；平稳/非平稳；•2.1信息的度量与信源熵•重点：信息量与熵的概念、性质、应用•2.2多符号离散平稳信源•平均符号熵与极限熵的相关知识；马尔可夫信源。•2.3连续信源•微分熵的定义及性质；最大熵定理；熵功率•2.4离散无失真信源编码定理（香农第一定理）13信源的分类(,)()XabPpx1212...()()...()qqxxxXPpxpxpx随机过程{x(t)}：随机波形信源信源输出的消息是时间（或空间）上和取值上都是连续的函数离散无记忆信源的N次扩展信源：输出的平稳随机序列X中各随机变量统计独立。每个随机变量xi取值于同一概率空间。每N个符号构成一组，等效为一个新的信源随机变量离散信源：可能输出的消息数有限连续信源：可能输出的消息数是无限的或不可数的非平稳信源平稳信源连续平稳信源离散平稳信源：输出的随机序列X中每个随机变量取值是离散的，并且随机矢量X的各维概率分布不随时间平移而改变有限记忆信源：输出的平稳随机序列X中各随机变量之间有依赖关系，但记忆长度有限马尔可夫信源：输出的随机序列X中各随机变量之间有依赖关系，但记忆长度有限，并满足马尔可夫链的条件式随机序列14第2章信源熵•2.0信源的数学模型及其分类•2.1信息的度量与信源熵•2.2多符号离散平稳信源•2.3连续信源•2.4离散无失真信源编码定理152.1信息的度量与信源熵•2.1.1自信息量•自信息量的定义与性质•联合自信息量•条件自信息量•几种自信息量间的关系•2.1.2平均自信息量与信源熵•平均自信息量的引出•信源熵的定义•条件熵与联合熵•熵的主要性质及定理•2.1.3互信息量与平均互信息量•2.1.4各种熵之间的关系16信息的度量•自信息量定义•自信息量的性质•1.具有非负性•2.当时，•3.当时，•4.是的单调递减函数。17定义：任意随机事件的自信息量定义为该事件发生概率的对数的负值。香农先生给出,他参考了哈特莱的定义1()loglog()()iiiIxpxpx()iIx11()log()11()0()()iiiiiIxpxIxpxpx()0iIx()1ipx()iIx()0ipx()iIx()ipx是一个随机量，而是的函数，所以自信息量也是一个随机变量，它没有确定值，引出平均自信息量，信源熵。ix()iIxix联合自信息量与条件自信息量•涉及两个随机变量的离散信源，其联合概率分布为：•定义：二维联合集XY上的元素的联合自信息量定义为：•定义：联合集XY中，对事件xi和yj，事件xi在事件yj给定的条件下的条件自信息量定义为1811121211112121............()...()()...()...()...()()mmnnmmmnnmxyxyxyxyxyxyXYpxypxypxypxypxypxyPXYijxy1()log()log()ijijijIxypxypxy1(|)log(|)log(|)ijijijIxypxypxy1(|)log(|)log(|)jijijiIyxpyxpyx信源的概率空间描述•一个信源可以用一个概率空间来描述。•信源的不确定程度可以用这个概率空间的可能状态数目及其概率来描述：•其中：•X是信源的状态空间，为一个离散集，表示了随机事件的状态数；•P(X)是随机事件各种可能状态的概率分布，且，•各状态是相互独立的。•通常记为{X,P(X)}191212,,,,(),(),,(),()iixxxXpxpxpxPX()1Xpx平均自信息量—信息熵•自信息量是一个随机变量，它反映了信源发出某一信息符号的不确定性。它不能用来作为整个信源的信息测度。信源的不确定程度可以用信源概率空间的概率分布来描述。这样，我们引入平均自信息量，即信息熵•定义：•集X上，随机变量I(xi)的数学期望，即平均自信息量为集X的信息熵，简称做熵。•平均自信息量或信息熵的物理意义：•信源输出前，每个离散信息的平均不确定度。•信源输出后，平均每个离散消息所提供的信息量。•反映了变量X的随机性。201()()log()()log()niiiiiHXEIxEpxpxpx联合熵和条件熵21自信息量（不确定度）联合自信息量条件自信息量平均自信息量（信源熵）联合熵（联合自信息的数学期望）条件熵（条件自信息的数学期望）联合熵与条件熵•联合集XY上，每对元素的自信息量的期望定义为联合熵。•联合集XY上，条件自信息量I(x|y)的概率加权平均值定义为条件熵。其定义式为22(|)(())XYpxyHXYIx|y(,)()()ijijXYHXYpxyIxy信源（自信息量）熵、联合（自信息量）熵和条件（自信息量）熵间的关系•自信息量、联合自信息量、条件自信息量间的关系：•三种熵间关系23()()()()()ijijijijIxyIxIyxIyIxy()()()()()HXYHXHYXHYHXY三种熵关系的推广•三种熵的关系：•推广1：•当X和Y相互独立：•类似于信息量，当xi和yj独立时：•推广2:推广至多个随机变量•当上述变量都相互独立时：24()()()()()HXYHXHYXHYHXY()()()HXYHXHY()()()ijijIxyIxIy12121312121(...)()()()......(...)nnnHXXXHXHXXHXXXHXXXX1212(...)()()...()nnHXXXHXHXHX熵的主要性质及定理•1.非负性•2.对称性•3.确定性•4.扩展性•5.连续性•6.极值性•7.条件熵不大于无条件熵•8.最大离散熵定理：当时，熵最大•9.上凸性：信道容量与信息率失真函数计算的数学基础2511()log()()log()nniiiiiipxpxpxpy()()HXYHX()()HYXHY1()nipx()logHXn互信息量•后验不确定度，相对于先验不确定度的减少量，为本次通信过程中从收到的yj中获得的关于xi的互信息量。26简化的通信系统模型信源信道信宿XY干扰受噪声影响，信源发出的消息在信道传输过程中可能会出现错误。(/)(;)()(/)log()ijijiijipxyIxyIxIxypx注意：容易搞混，不要混淆。()ijIxy(/)ijIxy(;)ijIxy互信息的三种形式•从信宿的角度•观察者站在信宿端。通信后，从yj获得的关于xi的信息量。•从信源的角度•观察者站在信源端。通信后，从xi获得的关于yj的信息量。•从系统总体•通信前：xi和yj相互独立•通信后：xi和yj相互关联27(;)(;)()()()ijjiijijIxyIyxIxIyIxy平均互信息量28平均互信息量11(/)(;)()log()nmjiijijjpyxIYXpxypy11()(;)()log()()nmijijijijpxyIXYpxypxpy11(/)(;)()log()nmijijijipxyIXYpxypx(;)[()()]()IXYHXHYHXY(;)()(/)IYXHYHYX(;)()(/)IXYHXHXYH(X)H(Y)I(X;Y)H(X/Y)H(Y/X)损失熵噪声熵H(XY)外圈内的面积平均互信息的性质•1.对称性(互易性)•2.非负性•3.极值性•4.凸函数性•当信道固定时，I(X;Y)是关于p(xi)的上凸函数•该性质是研究信道容量的理论基础•当信源固定时，I(X;Y)是关于p(yj/xi)的下凸函数•该性质是研究率失真函数的理论基础29(;)()(;)()IXYHXIYXHY第2章信源熵•2.0信源的数学模型及其分类•2.1信息的度量与信源熵•2.2多符号离散平稳信源•2.2.1序列信息的熵•2.2.2离散平稳信源的数学模型•2.2.3离散平稳信源的信息熵和极限熵•2.2.4马尔可夫信源•2.2.5信源冗余度和信息变差•2.3连续信源•2.4离散无失真信源编码定理301212...()()...()qqaaapapapa1212...()()...()()n