信息论

齐鲁工业大学2013-2014学年第二学期《信息理论与编码》期末小论文Page1of4从信息论看生活问题——论自信息、熵和生活的密切联系电子11-2班201102031041【前言】在我看来，《信息理论与编码》是一门十分重要的课程，虽然它所占的课时比较的少，但它却与我们大学阶段的其他重要课程有着密切的联系，例如《概率论》、《通信原理》等。在学这门课的学习之初，我对这门课到底学的是什么，为什么要学它存在着许多的疑问。百度百科上对信息论是这么定义的：信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。起初，我对信息熵、数据压缩等这一类名词十分的陌生，自然也不能正确的认识这门学科。而现在经过一个学期的理论学习，我对信息论有了一定的认识，虽然还未达到深入研究的状态，但我已经认识到了《信息理论与编码》这门课它本身的重要性，以及它的理论知识在当今的这个信息时代中在各个领域中起着举足轻重的作用。同时信息理论的方法，在科学、工程以及数学理论方面也得到了大量的应用。因此，我们不应该把期末考试当作学习的终点，我们不仅要学好信息论相关课程的专业知识，还应该把其中的思想应用于生活实践中,解决生活中的实际问题。由于掌握的信息论知识还不够全面，通过翻阅书籍，查找资料，参考资料写下了此篇文章。以下，正是我对信息论与我们生活学习中比较密切方面的应用的浅薄认识，。【正文】（一）自信息自信息量：收到信源发出的某个符号后，观察者所获得的信息量。符号xi的自信息量定义为P(ai)的概率越大，不确定性就越小；反之，符号出现的概率越小，不确定度就越大，一旦出现，接收者获得的信息量就越大。总之，符号出现的概率与信息量是单调递减的关系。就比如，明天太阳从西边升起，它是必然发生的，它所包含的信息量为0，这个事件所提供的信息就不存在任何的价值。而利用小概率事件包含的信息量很大的这个特点，在我们的生活中有一个非常常见的例子，就是新闻报道。每天，在我们身边都会发生许许多多的事情，有小事，有大事，有每天都在发生的事情，有一些意想不到的新奇的是事情，而记者们每天都会在每天发生的事情中，筛选出一些重大或者新奇的事情，来进行报道，来吸引读者或者观众的注意，而这其中又有一些新闻会成为头版头条的。而我认为，其中一个来衡量一个新闻报道是否能成为头版头条的因素就是这件事情所包含的信息量，记者1()loglog()()irriiIapapa齐鲁工业大学2013-2014学年第二学期《信息理论与编码》期末小论文Page2of4们会选择发生概率小，包含的信息量大的事件来进行报道，而读者观众也会选择浏览或者观看这些信息量大的新闻。正如前一段事件的马航MH370事件，它引起了全世界的关注。从2014年3月8日凌晨2点40分，马来西亚航空公司称与一架载有239人的波音777-200飞机与管制中心失去联系，到3月24日晚10点，马来西亚总理纳吉布在吉隆坡宣布，通过技术分析马航失联航班MH370在南印度洋坠毁，在这十多天的时间里，马航MH370事件几乎抢占了所有的头版头条，各个报道底下的留言数也在上万条以上。而至今，MH370还给我们留下了许多未解之谜。那么，为什么马航事件能引起这么大的关注呢，除了它的伤亡人数引起人们的揪心，还有一个原因就是它是一个发生概率极其小的事件，包含的信息量极大的事件。首先，据统计飞机失事造成多人伤亡的事故率约为三百万分之一，它的包含的信息量很大，而在这些事故中像马航MH370这样特殊的离奇失踪事件在历史上发生的次数更是少之又少，发生的概率基本接近于零。2009年一架法航客机大西洋上空离奇失踪，直到了2012年，法国当局才声称，冰晶破坏了用于确定飞机空速的系统，导致自动驾驶仪断开，机坠入了大西洋。1979年一架载有6人的波音707飞机在从日本起飞后失踪。1990年一架从冰岛雷克雅维克起飞的波音727飞机发出遇险信息并消失，机上载有18人，这两架飞机均未找到。这些事件都和马航MH370事件一样属于极小概率的事件，发生的概率接近于0，包含的信息量也就接近于无穷在，自然在各自的年代引起了巨大的轰动。（二）信源的熵把信源的平均不确定度称为信源的熵，即H(X)表示信源中每个符号的平均信息量。熵有三种物理含义：（1）信源输出前，信源的平均不确定度（2）信源输出后，每个离散消息所提供的平均信息量（3）反映了变量X的随机性。熵还有三种性质：对称性、确定性、非负性。有以下几个和生活相关的应用信源的熵解决生活问题的实例。再举个曹雪虹课本上的例子，电视屏上约有500×600=3×105个格点，按每点有10个不同的灰度等级考虑，则共能组成个不同的画面。按等概率计算，平均每个画面可提供的信息量为：510321210log)(log)()(niiixpxpXH＝3×105×3.32比特/画面另外有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文的总篇数为N=100001000=104000篇,仍按等概率计算，平均每篇千字文可提供的信息量为H(X)＝log2N＝4×103×3.32≈1.3×104比特/千字文由这两个例子我们得出“一个电视画面”平均提供的信息量远远超过“一篇千字文”提供的信息510310()()()l(og))(iiiiiipxIxpHxpxX齐鲁工业大学2013-2014学年第二学期《信息理论与编码》期末小论文Page3of4量。这个例子，也让我想到一个生活中很普遍的问题，当今社会，为什么那么多人喜欢看电视，却不喜欢花时间去看书，去看报纸呢？这其中的一个原因正是以上计算中所得出的结论：一个电视画面提供的平均信息量远远超过文章所提供的信息量。在如今这个科技发达的时代，人们的生活多姿多彩，很少有人能腾出时间坐在静心的看书，大多数人都会选择在相同的时间接受一些平均信息量大的事物，就比如看电视，这正是信源熵在日常生活中的一个很好的体现。信源熵还有一个十分重要的性质即最大熵定理。离散无记忆信源输出M个不同的信息符号，当且仅当出现概率相等时，信源熵最大。下面我们先通过一个简单的例子计算一下概率不同和等概率的时候出现的熵的值。X不下雨下雨X下雨不下雨P0.90.1P0.50.5H(X)=0.325H(X)=0.693由此表格看出：变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高；当出现等概率的时候，熵最大。而在我们的生活中，许多人喜欢看一些篮球比赛或者足球比赛，举NBA比赛的例子吧。每个人都有自己喜欢的球队，大多数人会选择观看自己喜欢球队的比赛。而在自己喜欢的球队参加的比赛中，在季前赛中大多数人都会有所选择的来收看比赛，那选择比赛的标准是什么呢？除了个人爱好外，两个球队的实力差距正式球迷们选择观看比赛的标准。试问，有谁愿意看一场实力悬殊的比赛?又有谁想看一开场就知道输赢的比赛呢？这就和信源熵的计算有很大的关系。比如，球队A在对战球队C的时候输赢概率三七分；球队B在对战球队C的时候输赢概率五五分；明显球队B的熵比球队A的熵来的大，球队B对战球队C的比赛必然比球队A在对战球队C的比赛来的精彩。而我个人是个羽毛球比赛的忠实观众，我喜欢看林丹的比赛，但在他的众多比赛中，我只会选择其中的小部分比赛，当然就包括林丹对阵李宗伟的比赛。作为羽毛球史上最优秀的男运动员，作为奥运会世锦赛双料冠军，林丹对阵普通运动员的得胜概率基本在百分之八十五以上，而对阵另外一位优秀的羽毛球运动员李宗伟的得胜概率在百分之六十五左右，而这也正是我选择观看林李大战的原因。由以上几个例子，我们不难看出信息熵在我们的生活中有着十分广泛的应用，能够分析和解决生活中许多问题。【总结】当然，信息论与生活的密切联系当然不仅仅只体现在自信息和信源熵的两方面，信息论中的户信息、数据压缩、数据传输、信源编码和信道编码等知识在我们的日常生活中也有众多相关之处。我们齐鲁工业大学2013-2014学年第二学期《信息理论与编码》期末小论文Page4of4学习一门课，不能只是记住它的表层公式、不能仅仅背诵它的知识点，我们更应该理解它深层的含义，最好还能做到理论和实践、理论和生活相联系。总之，《信息理论与编码》这门课的学习确实令我获益匪浅，它不仅和我们的生活有密切的联系，也为我在《通信原理》的课程学习，《概率论》的考研复习中起到了一定的辅助作用。【参考文献】[1]曹雪虹张宗橙信息论与编码（第二版）．清华大学出版社2009[2]ThomasM.Cover(作者),阮吉寿(译者),张华(译者)信息论基础(原书第2版),机械工业出版社,2008年3月;[3]王海燕．信息论基础[M]．南京：东南大学出版社2003