信息论的由来发展

信息论的由来发展科学技术的发展是人类正在进入一个新的时代，这个时代的主要特征之一就是对信息的需求和利用，因此有人称之为信息时代。而迄今为止，人们对信息都没有确切定义，但是它是一种人人皆知、不言自明的抽象概念。信息虽无确切定义，但是却有两个明显的特征：广泛性与抽象性，信息时组成客观世界并促进社会发展的最基本的三大要素之一（物质、能量和信息）。它依附于物质和能量，但又不同于物质和能量。没有信息就不能更好地利用物质和能量，人类利用信息和知识改造物质，创造新物质，提高能量利用效率，发现新能量形式。信息也是客观存在的，它是人类认识、改造客观世界的主要动力，是人类认识客观世界的更高层次。人类社会的生存和发展无时无刻都离不开信息的获取、传递、处理、再生、控制和利用。信息论正是一门把信息作为研究对象，以揭示信息的本质特征和规律为基础，应用概率论、随机过程和数理统计等方法来研究信息的存储、传输、处理、控制和利用等一般规律的科学。自从1948年贝尔研究所的香农发表了《通信的数学理论》一文，宣告了信息论作为一门独立的、全新的学科成立。自此以后，信息理论本身得到不断地发展和深化，尤其是在信息理论的指导下，信息技术也获得飞快发展。这又使信息的研究冲破了香农狭义信息的范畴，几乎渗透到自然科学与社会科学的所有领域，从而形成了一门具有划时代意义的新兴学科——信息科学。信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。它的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。信息科学在安全问题的研究中也有着重要应用。1924年H.Nyquist开始分析电报信号传输中脉冲速率与信道带宽的关系1928年R.V.L.Hartley提出信息应该由随机事件样本空间中元素的个数的对数值来衡量1930年N.Wiener开始把傅里叶分析方法全面引入随机时间信号的研究中来1936年E.H.Armstrong提出频率调制1939年H.Dudley发明了声码器1948年N.Wiener发表《控制论》1948年C.E.Shannon发表《通信的数学理论》1952年D.A.Huffman提出了Huffman编码1954年P.Elias提出了卷积码1959年S.K.Kullback提出了鉴别信息的概念1961年C.E.Shannon提出了多用户信息论1963年P.Elias提出了算术编码1965年A.N.Kolmogorov提出了通用编码1982年G.Ungerboeck实现了网格编码调制1993年Turbo码的性能已经非常接近于理论极限上表记录了科学家们再信息科学发展中的重要贡献，反映了信息科学的发展历程。香农在论文《通讯的数学理论》中系统地提出了关于信息的论述，创立了信息论。维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。20世纪50年代是信息论向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。人类迈入21世纪的高度信息化时代以来，移动通信、互联网通信、多媒体技术、计算机技术、空间技术等信息技术出现了超越人们想象的、前所未有的发展速度，在这些领域中，只要涉及信息的存储、传输和处理就要用到香浓信息理论——无失真通信的传输速率极限（即香浓极限）、无失真和限失真新源编码理论（即数据压缩原理）和信道编码理论（即纠错码理论）等。如今信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。目前，人们已把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等学科中去。何为信息一般说来，信息可以界定为由信息源（如自然界、人类社会等）发出的被使用者接受和理解的各种信号。作为一个社会概念，信息可以理解为人类共享的一切知识，或社会发展趋势以及从客观现象中提炼出来的各种消息之和。信息并非事物本身，而是表征事物之间联系的消息、情报、指令、数据或信号。一切事物，包括自然界和人类社会，都在发出信息。我们每个人每时每刻都在接收信息。在人类社会中，信息往往以文字、图象、图形、语言、声音等形式出现。就本体论意义而言，信息是标志事物存在及其关系的属性。信息一般具有如下一些特征：1、可识别；2、可转换；3、可传递；4、可加工处理；5、可多次利用（无损耗性）；6、在流通中扩充；7、主客体二重性。信息是物质相互作用的一种属性，涉及主客体双方；信息表征信源客体存在方式和运动状态的特性，所以它具有客体性，绝对性；但接收者所获得的信息量和价值的大小，与信宿主体的背景有关表现了信息的主体性和相对性。8、信息的能动性。9、可共享性。这是信息与物质和能量的主要区别。信息的产生、存在和流通，依赖于物质和能量，没有物质和能量就没有能动作用。信息可以控制和支配物质与能量的流动。信息论学科的概述信息论是一门具有高度概括性、综合性，应用广泛的边缘学科。信息论是信息科学的理论基础，它是一门应用数理统计方法研究信息传输和信息处理的科学，是利用数学方法来研究信息的计量、传递、交换和储存的科学。随着科学技术的发展，信息论研究范围远远超出了通信及类似的学科，已延伸到生物学、生理学、人类学、物理学、化学、电子学、语言学、经济学和管理学等学科。信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。它的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。信息科学在安全问题的研究中也有着重要应用。信息论的研究对象信源产生消息的源，消息可以是文字，语言，图像。可以离散，可以连续。随即发生。研究的主要问题是消息的统计特性和产生信息的速率。编码器编码是把消息变换成信号的措施，而译码就是编码的发变换。编码器输出的是适合信道传输的信号，信号携带着消息，它是消息的载荷者。其中，编码器分为信源编码器和信道编码器。信源编码器：对信源输出进行变换，求得有效性信道编码器：对信源编码输出变换，提高抗干扰性调制器：将信道编码输出变成适合信道传输的方式信道通信系统把载荷消息的信号从甲地传输到乙地的媒介或通道干扰源系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，这要是统计特性信道的中心问题是研究信道的统计特性和传信能力，即信道容量译码器编码器的逆变换中心问题是研究各种可实现的解调和译码的方法信宿信息的接收者,信源和信宿可处于不同地点和不同时刻信息论研究的目的研究通信系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性。有效性。保密性和认证性，以达到信息传输系统最优化。可靠性高，就是要使信源发出的消息经过信道传输以后，尽可能准确地。不失真地再现在接收端。有效性高，就是经济效果好，即用尽可能短的时间和尽可能少的设备来传送一定数量的信息。保密性，就是隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接受和理解。认证性，就是接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。信息论研究的内容信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。信息论的研究范围极为广阔。一般把信息论分成三种不同类型：(1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。(2)一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。其中维纳和香农等人都是运用概率和统计数学的方法来研究准确或近似地再现信息的问题，都是为了使信息传送和接收最优化。维纳研究的重点是在接收端。研究一个信号如果在传输过程中被某些因素所干扰后，在接收端怎样把它恢复、再现，从干扰中提取出来。在此基础上，创立了最佳线性滤波理论、统计检测和估计理论、噪声理论等。而香农研究的对象则是从信源到信宿之间的全过程，是收、发端联合最优化问题，其重点放在编码。他指出，只要在传输前后对消息进行适当的编码和译码，就能保证在干扰的存在下，最佳地传送和准确或近似地再现消息。为此发展了信息测度理论、信道容量理论和编码理论等。(3)广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。最后介绍一下信息论中衡量信息的几个重要的概念：信息量——信息论中量度信息多少的一个物理量。它从量上反映具有确定概率的事件发生时所传递的信息。信息熵(Entropy)：是信息论中用于度量信息量的一个概念。一个系统越是有序，信息熵就越低；是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率。条件熵(Conditionalentropy)：是信息论中信息熵的一种度量，它表示如果已经完全知道第二个随机变量X的前提下，随机变量Y的信息熵还有多少。也就是基于X的Y的信息熵。相对熵(KL-Divergence):表示实际信源比理想信源的缩减程度.互信息(Mutualinformation)：它是指两个事件集合之间的相关性。香农三大定理是信息论的基础理论。香农三大定理是存在性定理，虽然并没有提供具体的编码实现方法，但为通信信息的研究指明了方向。香农第一定理是可变长无失真信源编码定理。香农第二定理是有噪信道编码定理。香农第三定理是保失真度准则下的有失真信源编码定理。具体如下:一:香农第一定理(可变长无失真信源编码定理)设信源S的熵[shāng]H(S),无噪离散信道的信道容量为C,于是,信源的输出可以进行这样的编码,使得信道上传输的平均速率为每秒(C/H(S)-a)个信源符号.其中a可以是任意小的正数,要使传输的平均速率大于(C/H(S))是不可能的。二:香农第二定理（有噪信道编码定理）设某信道有r个输入符号,s个输出符号,信道容量为C,当信道的信息传输率R码长N足够长,总可以在输入的集合中(含有r^N个长度为N的码符号序列),找到M(M=2^(N(C-a))),a为任意小的正数)个码字,分别代表M个等可能性的消息,组成一个码以及相应的译码规则,使信道输出端的最小平均错误译码概率Pmin达到任意小。三:香农第三定理（保失真度准则下的有失真信源编码定理）设R(D)为一离散无记忆信源的信息率失真函数,并且选定有限的失真函数,对于任意允许平均失真度D=0,和任意小的a0,以及任意足够长的码长N,则一定存在一种信源编码W,其码字个数为M=EXP{N[R(D)+a]}，而编码后码的平均失真度D'(W)=D+a。信息论的应用举例---------信息论在网络集成教学中的应用经过近半个世纪许多科学家的深入研究和发