信息论基础论文

信息论基础与应用的学习新的摘要：随着信息时代的来临，信息在当今社会中发挥越来越大的作用，伴随这全球信息化过称的逐步加深，电子信息工程在扮演着越来越重要的角色，大到国际直接国与国之间的博弈，小到寻常百姓家的衣食住行。在当今社会掌握信息的多少甚至可以决定一件事情的成败。掌握更多的信息，对所掌握的信息做好收集、整理、归纳、分析，可以可以有效改善周围环境、格局，甚至决定胜败。作为信息科学产生的基础与起点，信息论更是在不同领域有着不同的应用。信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。是专门研究信息的有效处理和可靠传输的一般规律的科学，是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。《信息论基础与应用》信息与计算科学专业系列教材中的一本,是为落实新的《信息与计算科学专业教学规范》(讨论稿)而组织编写的一本专业基础课教材。这本教材从根本入手，详细的介绍了信息论的主要内容、学习意义、与数学学科的联系和作者的一些个人心得体会。关键词：信息论学习意义认识与学习心得与数学的联系重要性一、信息论基础与应用所学《信息论基础与应用》的内容由四部分组成。第一部分介绍信息论与信息科学的基本知识,包括信息、信息度量、信息科学与信息技术的基本知识。着其中包括信息科学概论，信息论的产生发展与应用。这一部分是整个信息论的基础，是要学习信息论所必要掌握的基础知识。第二部分介绍香农信息论的基本内容,包括信源、信道编码理论、有失真信源编码定理等内容。这一部分是整个教材最为核心的内容，将信源与信道编码定理作为信息论的基本理论与主要内容，这些内容不仅是近代信息处理的理论基础，具有深刻而又严格的数学描述与证明，而且在通信领域得到重要应用。通过这些内容的学习，可使我们看到数学理论在通信技术与通信工程中的重要作用，也可以看到数学理论与这些技术与工程问题的相结合过程。第三部分介绍信息的应用,包括代数码与密码学简介、数据压缩与调制码理论及其他几种实用型的信息编码方法,如汉字编码与条码技术等。另外书中还介绍了信息论在统计、金融领域以及只能计算机领域等领域当中中的应用,第四部分介绍信息处理的几种典型问题的实验内容。如：无失真信源编码问题、有无失真数据压缩编码问题、卷积码的模拟系统、图形码等。信息论是以信息为主要研究对象，以信息的运动规律和应用方法为主要研究内容，以计算机等技术为主要研究工具，以扩展人类的信息功能为主要目标的一门新兴的综合性学科。信息科学由信息论、控制论、计算机科学、仿生学、系统工程与人工智能等学科互相渗透、互相结合而形成的。信息论以运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学。是专门研究信息的有效处理和可靠传输的一般规律的科学，是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。通信的根本目的是将信息有效而可靠的从信源传到信宿。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。信息的度量是信息论研究的基本问题之一。信息的度量就是从数量关系上把握信息。对信息的定量把我，是进一步探讨信息的科学规律的基础，也是信息处理和应用的基础。信息的度量方法不仅取决于对信息本质的把握，也取决于当时人们所拥有的数学方法。然而对于范围宽广的信息提出一个统一的度量是困难的。目前，信息度量方面比较成熟的理论就是被称为是“信息论之父的香农于1948年10月发表于《贝尔系统技术学报》上的论文《AMathematicalTheoryofCommunication》（通信的数学理论）中，香农提出的信息熵。所谓信息熵，是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。根据CharlesH.Bennett对Maxwell'sDemon的重新解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律的。而产生信息，则是为系统引入负（热力学）熵的过程。所以信息熵的符号与热力学熵应该是相反的。一般而言，当一种信息出现概率更高的时候，表明它被传播得更广泛，或者说，被引用的程度更高。我们可以认为，从信息传播的角度来看，信息熵可以表示信息的价值。这样子我们就有一个衡量信息价值高低的标准，可以做出关于知识流通问题的更多推论。信息的度量是信息论的基础，也是信息科学的基础。信息熵的计算公式为：H(x)=E[I(xi)]=E[log(2,1/p(xi))]=-∑p(xi)log(2,p(xi))(i=1,2,..n)二、信息论基础与应用的学习认识信息就是一种消息，它与通讯问题密切相关。1948年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。20世纪50年代是信息论向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。目前，人们已把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等学科中去。信息科学是指以信息为主要研究对象，以信息的运动规律和应用方法为主要研究内容，以计算机等技术为主要研究工具的研究信息运动规律和应用方法的科学，是由信息论、控制论、计算机理论、人工智能理论和系统论相互渗透、相互结合而成的一门新兴综合性科学。其支柱为信息论、系统论和控制论。以扩展人类的信息功能为主要目标的一门新兴的综合性学科。信息技术，是主要用于管理和处理信息所采用的各种技术的总称。它主要是应用计算机科学和通信技术来设计、开发、安装和实施信息系统及应用软件。它也常被称为信息和通信技术。主要包括传感技术、计算机技术和通信技术。其由只涉及信号的结构与算法问题，而不涉及硬件设备问题的“软技术”和硬件设备技术组成，应包括从原理到产品中的全部软硬件当中的各种问题根据定义上来讲，信息论，信息技术与信息产业之间有着一定的分工与接线，但在血多地方不能完全分隔。三者组成统一的整体才能更好的改变我们的生活。数学作为自然科学之母在日常的生活和工作中不可或缺，而在计算能力、逻辑能力分析能力上更是影响极大，作为当即科技发展前沿，信息科学需要理论与实际上的数学的支持。信息论也同样如此，其中的定理的推导、算法的设计、模型的建立容量的计算问题都与数学息息相关。同时作为数学的支撑学科信息论也将数学脱离了理论，带入了生活，成为了如今社会的主要推动力，信息科学将两者紧密的联系在一起，使两者相互促进，相互补充共同发展，共同进步。三、通过对信息论基础与应用的学习，我们可以了解到信息论是一门非常系统和理论性很强的学科，它涉及到随机过程，概率论与数理统计，线性代数等多门学科。对于整个的信息论的理论体系也有了一个较为清晰的思路：首先是信息的定义及其本质；崽儿是各类信源的熵信道及信道容量，以及离散信源和连续信源。此外香农信息论仍具有局限性。香农信息论在对离散信源的平均信息量等问题解释的还是比较的全面和真实，但是对连续信源来说，有它不足的地方。在现代信息论发展的过程中曾有过许多这方面的专家和学者试图构造另一种较香农信息论更好的理论来描述连续信源。但是，直到现在为止，所提出来的诸多方案中，没有一个是优于香农的。这就是说，信息论的理论体系还有待人们去完善和充实它。因此我们应当更加努力的去学习希望能在这片领域做出自己的贡献。