信息论基础 1

信息论基础北京化工大学信息科学与技术学院张凤元[e-mail]信息论的形成与发展信息论理论基础的建立，一般来说，开始于香农（Shannon）在研究通信系统时所发表的论文。•1924年奈奎斯特解释了信号带宽和信息率之间的关系；1928年哈特利最早研究了通信系统传输信息的能力，给出了信息度量的方法；1936年阿姆斯壮（Armstrong）提出增大带宽可以使抗干扰能力加强。信息在早期的定义是由奈奎斯特（Nyquist,H.）和哈特利（Hartley,L.V.R.）在20世纪20年代提出的。•香农在1941年至1944年对通信和密码进行深入研究，并用概率论的方法研究通信系统，揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息熵的概念。还指出通信系统的中心问题是在噪声下如何有效而可靠地传送信息，而实现这一目标地主要方法是编码等。这一成果于1948年以“通信的数学理论”（amathematicaltheoryofcommunication）为题公开发表。这是一篇关于现代信息论的开创性的权威论文，为信息论的创立作出了独特的贡献。香农成为了信息论的奠基人。信息论的有关概念信息论信息论是在信息可度量的基础上，对如何有效、可靠地传递信息进行研究的科学，他涉及信息度量、信息特性、信息传输率、信道容量、干扰对信息传输的影响等方面的知识。通常把上述范围的信息论称为侠义信息论，或称为香农信息论。•广义信息论则包含通信的全部统计问题的研究，除了香农信息论外，还包括信号设计、噪声理论、信号的检测与估值等。•我们主要学习香农信息论。信息、消息和信号在通信理论中经常会遇到信息、消息、和信号这三个既有联系又有区别的概念。•消息是指包含信息的语言、文字和图像等等。在通信中，消息是指担负着传送信息任务的单个符号或符号序列，这些符号包括字母、文字、数字和语言等等。消息是具体的，它载荷信息，但它不是物理性的。信息是指各个事物运动的状态及状态变化的方式。人们从对周围世界的观测得到的数据中获得信息。信息是抽象的意识或知识，它是看不见、模不到的。•在通信系统中传送的本质内容是信息，发送端须将信息表示成具体的消息，再将消息载至信号上，才能在实际的通信系统中传输。信号到了接收端（信宿）经过处理变成文字、话音或图像等形式的消息，人们再从中得到有用的信息。•载有信息的可观测、可传输、可存储及可处理的信号，均称为数据。•信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载（调制）到具有某种物理特征的信号上去。信号是信息的载荷子或载体，是物理性的，如电信号、光信号等。信息的特征信息的基本概念在于它的不确定性，任何已确定的事物都不含有信息。信息的主要特征如下：•接收者在收到信息之前，对其内容是未知的，所以信息是新知识、新内容；•信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识；•信息可以产生，也可以消失，同时信息可以被携带、被存储及处理；•信息是可以度量的，信息量有多少的差别。典型数字通信系统框图通信系统的有关概念信源：信源是向通信系统提供消息M的人和机器。信源本身十分复杂，在信息论中我们仅对信源的输出进行研究。信源输出的是以符号形式出现的具体消息，可分为两类：离散消息和连续消息。一般的说，信源发出的是随机性的消息。信源的核心问题是它包含的信息到底有多少，怎样将信息定量的表示出来，即如何确定信息量。•信宿：信宿是消息传递的对象，即接收消息v的人或机器。信宿需要研究的问题是能收到或提取多少信息。信道：信道是传递消息的通道，又是传送物理信号的设施。信道的问题是，它能够传送多少信息，即信道容量的大小。通信系统的性能指标主要是有效性、可靠性、安全性和经济性。系统优化就是使这些指标达到最佳。可以通过各种编码处理来使通信系统的性能最优化，编码问题可分解为三类：信源编码、信道编码和加密编码。除经济外，上述指标正是信息论的研究对象。•干扰源：干扰源是整个通信系统中各个干扰源的集中反映，用以表示消息在信道中传输时遭受干扰的情况。干扰的性质和大小是影响通信系统性能的重要因素。•密钥源：密钥源是产生密钥k的源。本课程的研究内容信源与信源熵信道与信道容量信息率失真函数信源编码信道编码单符号离散信源离散信源：信源输出的消息是以一个个符号的形式出现，如文字、字母等，这些符号的取值是有限的或可数的，这样的信源称为离散信源。如果信源输出的消息是单个符号，这样的信源称为单符号离散信源，一般可用一个随机变量X来表示。如果信源输出的消息是由一系列符号组成，这样的信源称为多符号离散信源，一般可用一个随机失量来表示。单符号离散信源的数学模型)(,),(,),(),(,,,,,)(2121ninixpxpxpxpxxxxXPX)(ixpniiixpxp11)(,1)(0其中，满足：表示信源的可能取值共有n个：每次必取其中之一。nixxxx,,,,,21无条件概率、条件概率、联合概率1)(),/(),/(),(),(0)1(jijiijjiyxpyxpxypypxpnjijinjijnijinijniiyxpxypyxpypxp1111111)(,1)/(,1)/(,1)(,1)()2(njijinijjixpyxpypyxp11)()(),()()3()/()()/()()()4(jijijijiyxpypxypxpyxp)()()(),()/(),()/(jijiijijijypxpyxpxpyxpypxyp（5）当X与Y相互独立时，njjijiijnijijijiyxpyxpxypyxpyxpyxp11)()()/(,)()()/()6(单符号离散信源的自信息和信源熵信源信息量：自信息量、联合自信息量、条件自信息量、互信息量、条件互信息量。•信源熵：信源熵、条件熵、联合熵、加权熵、平均互信息量。信息量和熵的主要性质本章主要内容：自信息量一个随机事件发生某一结果后，所带来的信息量称为自信息量，简称为自信息。ix若随机事件发生的概率为那么它的自信息量定义为：)(ixp)(log)(2iixpxI自信息量的单位与所用的对数的底有关，以2为底时，单位为比特bit(binaryunit）；以10为底时，单位为笛特Det（DecimalUnit）或哈特Hart(Hartley);以e为底时，信息量的单位为奈特nat(natureunit)。自信息量的性质自信息)(ixI具有以下性质：（1）)(ixI是非负的值（2）当1)(ixp时，0)(ixI，必然事件不含有任何信息量。（3）当0)(ixp时，)(ixI，说明不可能事件一旦发生，所带来的信息量是非常大的。（4）)(ixI是)(ixp的单调递减函数。ix是一个随机变量，所以)(ixI也是一个随机变量，它没有ix确定的值。联合自信息量涉及两个随机事件的离散信源，信源模型是二维离散随机变量的联合分布：)(,),(,),(,),(,,,,,,)(11111111mnnmmnnmyxpyxpyxpyxpyxyxyxyxXYPXYnimjjijiyxpmjniyxp111)(),,,2,1;,,2,1(1)(0联合自信息量定义为：)(log)(2jijiyxpyxI当X和Y相互独立时，)()()(jijiyIxIyxI条件自信息量条件自信息量定义为条件概率对数的负值。设jy已发生的条件下，发生ix的条件概率为)/(jiyxp，那么它的条件自信息量)/(jiyxI定义为：)/(log)/(2jijiyxpyxI设ix已发生的条件下，发生jy的条件概率为)/(ijxyp，那么它的条件自信息量)/(ijxyI定义为：)/(log)/(2ijijxypxyI关系22()log()(/)()(/)log()(/)()(/)ijijiijijijjijIxypxpyxIxIyxpypxyIyIxy自信息量、条件自信息量、联合自信息量之间有如下关系：本讲结束