信息论与编码期末考察报告

学校名字《信息论与编码》期末考察报告题目浅谈信息论与编码学生姓名xxxx学号xxxxx院系电子与信息工程学院专业通信工程二Ｏ一二年十二月二十八日浅谈信息论与编码Xxxx名字电子与信息工程学院通信工程系摘要：随着以计算机技术、通信技术和网络技术为代表的信息技术的快速发展，信息技术以成为当今社会应用范围最广的高新技术之一，而信息论是信息技术的主要理论基础之一。信息论是在信息可以度量的情况下，研究有效地、可靠地、安全地传递信息的科学，信息的可度量性是建立信息论的基础；编码是把消息变换成信号的措施，编码器又把适合信道的信号传输出去；编码理论是信息论的一个重要分支，而编码的目的则是优化通信系统。经过一个学期的信息论与编码学习后，使我对这门课程有了更多的了解，促进了我对信息论的认识与学习。本文着重从《信息论与编码》主要内容出发，重点介绍信息的度量、平均互信息、信道容量和香农编码的基本原理，从而对本书有了更进一步的认识。关键词：信息的度量平均互信息信道容量香农编码Abstract：Withtherapiddevelopmentofcomputertechnology,communicationtechnologyandnetworktechnologyinformationtechnologyandinformationtechnologytobecomeoneofthetoday'ssocietythewidestrangeofapplicationsofhigh-tech,informationtheoryisoneofthemaintheoreticalfoundationoftheIT.Informationtheoryinthecaseofinformationthatcanbemeasured,researcheffectively,reliablyandsafelypassinformationscience,informationcanmeasureistoestablishthebasisofinformationtheory;encodingthemessageisconvertedintoasignalmeasures,theencoderisagainsuitableasignaltransmissionchannelout;codingtheoryisanimportantbranchofinformationtheory,andthepurposeoftheencodingistooptimizecommunicationsystem.Afterlearningofinformationtheoryandcodingofasemester,soIhavelearnedmoreaboutthiscourse,andtopromotetheunderstandingandlearningofinformationtheory.Thisarticlefocusesonthemaincontentofinformationtheoryandcodingtohighlightinformationmeasure,theaveragemutualinformation,channelcapacity,andthebasicprinciplesoftheShannoncoding,andthushaveafurtherunderstandingofthebook.Keywords：AmeasureoftheinformationTheaveragemutualinformationChannelcapacityShannoncoding一、引言信息是自从人类出现以来就存在于这个世界上的，天地万物，飞禽走兽，以及人类的生存方式都离不开信息的产生和传播。人类每时每刻都在不停的接受信息，传播信息以及利用信息。从原来的西汉时期的造纸，到近代西方的印刷术，以及现在的计算机，信息技术在人类历史的进程当中随着生产力的进步而发展；然而信息理论的提出却远远落后于信息的出现，它是在近代才被提出来而形成一套完整的理论体系。信息论的主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆离散和连续信道的信道容量；无失真信源编码定理等。信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948年的著名论文《通信的数学理论》所定义的,它为信息论奠定了理论基础。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。香农被称为是“信息论之父”。在香农看来，在通信系统的传输过程当中，收信者在收到消息以前是不知道消息的具体内容的，通信过程就是一种消除不确定性的过程，不确定性的消除，就获得了信息。二、信息的度量2．1概述信息不同于消息、信号、情报、知识等概念。信息论所包含的含义比其他几种理论概念更加广泛，更具有概括性。情报是军事学、文献学方面的术语。消息是用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主管思维活动的状态表达出来的就成为“消息”，所以信息也不同于消息；而信号携带消息，是消息的运载工具，所以信息也不等同于信号。信息这一概念是比较抽象的，它不像通常的长度，重量等概念，有一个比较直观的印象，信息是事物运动状态或存在方式的不确定性的描述，这就是香农对信息的度量给出的严格的数学定义。2.2离散信源及其信息度量2.2.1离散随机信源的自信息与信息熵在通信系统的各种信源中，离散随机信源是最基本的一种信源，信源输出是单个的符号的消息，并且消息之间是两两互不相容的。我们知道，事件发生的不确定性与事件发生的概率有关：事件的发生概率越小，不确定性就越大，事件发生的概率越大，不确定性就越小，对于发生概率为1的必然事件就不存在不确定性。假如一个离散信源的概率空间为：X1a2a...qa)(xP)(1aP)(2aP...)(qaP即1)(1qiiaP，如果知道ia已发生，则该事件所含有的信息量称自信息，表达式为：)(1log)(iiaPaI，自信息是指某一信源发出某一消息所含的信息量，但所发消息不同，它们所含信息量也就不同，所以自信息不能作为整个信源的信息测度，我们定义平均自信息量，即对每个事件各自所携带的信息量做一个加权平均，也称信息熵，表示为：)(log)()(1log)(1iqiiiaPaPaPEXH，平均自信息量也称为信息熵。对于某特定的信源，它的信息熵是一个确定的数值。不同的信源因为其概率分布不同，它的熵也不同。信息熵具有一些基本的性质（对称性，确定性，非负性，扩展性，可加性等等）。其中最大离散熵定理表明:离散信源情况下，对于具有q个符号的离散信源，只有在q个信源符号等可能出现的情况下，信源熵才能达到最大值，这样也表明等概率分布信源的平均不确定性为最大。从理论上讲，该事件发生的概率越小，那么它的不确定性也就越大，它所携带的信息量也就越大。该事件发生的概率越大，它所携带的信息量也就越大。2.2.2离散平稳信源离散平稳信源是一种非常重要的信源模型。如果不同时刻信源输出符号的概率分布完全相同，则称为一维离散平稳信源。一维离散平稳信源无论在什么时候均按P(X)的概率分布输出符号。最简单的离散平稳信源就是二维离散平稳信源。二维离散平稳信源就是信源输出的随机序列X1,X2,…,Xi，…，满足其一维和二维概率分布与时间起点无关。这种各维联合概率分布均匀与时间起点无关的完全平稳信源称离散平稳信源。二维离散平稳信源的联合熵：)(log)()(1121jiqiqjjiaaPaaPXXH，此值表示原来信源X输出任意一对可能的消息的共熵，即描述信源X输出长度为2的平均不确定性，或所含的信息量，因此可用)(2121XXH作为二维离散平稳信源的信息熵的近似值。2.2.3马尔可夫信源在非平稳离散信源中有一类特殊信源，输出的符号是非平稳的随机序列，它们的各维概率分布随时间的推移可能会改变，这类信源输出符号序列中符号之间的依赖关系是有限的，它满足马尔可夫链的性质，因此可用马尔可夫链来处理。马尔可夫信源满足下面两个条件：⑴某一时刻信源符号的输出只与此刻信源所出的状态有关，而与以前的状态及以前的输出符号都无关。⑵信源某l时刻所处的状态由当前的输出符号和前一时刻)1(l信源的状态唯一决定。当m=1时就为一阶马尔可夫信源。一般马尔可夫信源的信息熵应该是其平均符号熵的极限值，即三、离散信道3.1概述信道的任务是以信号方式传输信息和存储信息的。信源输出的是携带着信息的消息。消息必须要转换成能在信道中传输或存储的信号，然后通过信道传送到收信者。并且认为噪声或干扰主要从信道中引入。信道根据用户的多少，可以分为两端信道，多端信道。根据信道输入端和输出端的关联，可以分为无反馈信道，反馈信道。根据信道的参数与时间的关系信道可以分为固定参数信道，时变参数信道。根据输入和输出信号的统计特性可以分为离散信道，连续信道，半离散或半连续信道和波形信道。3.2平均互信息信道疑义度：)|(1log)()|(,yxPxyPYXHYX；它表示在输出端收到输入变量Y的符号后，对于输入端的变量X尚存在平均不确定性（存在疑义）。已知)(XH代表接收到输出符号以前关于输入变量X的平均不确定性，由此可见，通过信道传输消除了一些不确定性，获得了一定的信息，X与Y之间的平均互信：：I(X;Y)=H(X)-H(X|Y)。平均互信息量具有一些基本的特征：（1）非负性，我们通过一个信道获得的平均信息量不会是负值；（2）平均互信息量的大小不大于输入输出任一者的信息熵；（3）平均互信息的交互性；（4）平均互信息的凸状性；平均互信息只与信源的概率分布和信道的传递有关，因此对于不同信源和不同信道得到的平均互信息是不同的。四、连续信道4.1连续信源熵在某一时刻，输出的信号既是连续又是随机的，我们称之为随机波形信源。用连续随机变量来描述输出消息的信源就是连续信源。连续信源的熵为：dxxpxpXhR)(log)()(，和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输率，称之为信道容量。对于单符号高斯加性信道的信道容量，单符号高斯加性信道是指信道的输入和输出都是取值连续的一维随机变量，而加入信道的噪声是一维高斯加性噪声。它的信道容量表达式为：)1log(21nsPPC，其中，inP是输入信号X的平均功率，nP是高斯噪声的平均功率。只有当信的输入信号是均值为零，平均功率为sP高斯分布的随机变量时，信息传输率才达到这个最大值。4.2连续信源熵的性质连续信源的差熵具有以下的一些基本性质：可加性，上凸性，可负性，变换性，极值性。在不同的情况下，连续信源中的差熵具有极大值，有下面两种情况下连续信道存在最大的差熵：（1）峰值功率受限条件下信源的最大熵。若信源输出的幅度被限定在[a,b]区域内，则当输出信号的概率密度是均匀分布时信源具有最大熵log(b−a)；（2）平均功率受限条件下信源的最大熵。它是信道可靠传输的最大信息传输率。对于不同的连续信道和波形信道，它们存在的噪声形式不同，信道带宽及对信号的各种限制不同，所以具有不同的信道容量。五、信道容量5.1对称离散信道容量每个固定信道都有一个最大的信息传输，定义这个最大的信息传输率为信道容量。信道容量的一般计算方法中，最重要的是对称离散信道的信道容量的计算。从数学上来讲就是对互信息I(X;Y)求最大值的问题。信道矩阵中每一行和每一列分别由同一概率分布集中的元素不同排列组成的，这就是对称离散信道。计算对称离散信道平均互信息为：I(X;Y)=H(Y)-H(Y|X)，信道容量公式是：C=logs-H（P1’,P2’，…Ps,’）（比特/符号）其中等号右边的第一项是输出符号的最大信息熵，第二项是信道矩阵分布行矢量的熵函数。5.2二元对称信道容量二元对称信道（r=2的均匀信道）的信道容量就是：C=1-H(p