信息度量的故事

摘自《少年百科知识文库》中“年轻的信息科学”片段今天约好由叔叔向小伙伴们介绍信息科学的基础知识！……“叔叔，您刚才讲到的这么多内容，我觉得似乎都是有关信息本质的定性化的内容，那么，信息是否有定量化方面的性质呢？”“有的，最常见的就是我们对信息的度量。信息像其它事物一样，是有其数量大小的。我们通常是用尺来度量物体的长度，以‘米’作单位；用秤来度量物质的重量，以‘千克’作单位；用温度计来度量物体的温度，通常以‘摄氏度’作单位，等等。”“那么，怎样来度量信息的大小呢？它以什么作单位呢？由于长期以来，人们对信息的认识是模糊的，虽然历史上人们曾经设法度量信息，但是方法很不科学。只是经过几千年的漫长历程以后，到了20世纪20年代，才找了度量信息的科学方法。遗憾的是，这种科学方法，现在还有许多人不知道，他们还是沿用过去的老办法来度量信息。因此，在我们谈度量信息这一问题时，有必要先谈谈过去度量信息的老办法，它为什么不科学，然后再谈度量信息的科学方法。”“叔叔，过去量度信息用的是什么方法呢？”细敏急不可待地问道。“为了说明这个问题，我先给你们讲个故事。”叔叔看到小伙伴如此感兴趣，情不自禁地笑了。他接着说：“传说，在我国春秋战国时期，魏王命令大臣庞葱到赵国的首都邯郸去办一件事情。临行前，庞葱对魏玉说；如果忽然有人向大王报告说，城里大街上有一只老虎，大王相信吗？魏玉说：不相信。庞葱说：再有一个人又来报告，城里大街上发现了老虎，大王相信吗？魏王说：我还是不大相信。庞葱说：第三个人又来报告说，老虎正在城里大街上奔跑，大王相信吗？魏王说：那我就相信了。庞葱说：很清楚，街上没有老虎，三个人说有老虎，大王就相信了。邯郸离这里比大街离王宫远得多，而在大王面前说我闲话的恐怕不止三个人，大王可要好好考虑考虑啊……”“从这个故事来看，魏王是用消息的多少来度量信息的。一个人说谎，他不信。三个人说谎，他就信了。把消息混同为信息，用消息的多少来衡量信息的多少，这就是人们几千年来度量信息的古老方法。”“人们往往以为，收到的消息数量越多，获得的信息就越多。其实，这是很不科学的。因为信息不等于消息。信息只是消息中所包含的内容，消息只是信息的形式，这两者是有区别的。有客观内容的消息包含着信息，没有客观内容的消息并不包含信息。你得到的消息全是谎言、废话，或者是你已经知道的东西，那还有什么信息呢？相反，你只得到一条简短的消息，但其中包含许多客观内容，都是你以前所没有听到过的，那你就获得了比较多的信息。所以，用收到的消息的多少来衡量获得的信息的多少，是没有办法量度出信息的多少的。”“然而，千百年来，很少有人明白这个道理。人们习惯于用收到的消息的多少来衡量信息。这一方面是由于科学的发展还没有达到今天的地步，另一方面也由于信息包含在消息里，它们难解难分，何况在许多情况下，的确是消息的数量多，则它所包含的信息也多。”“当然，过去的人也不是一点不懂消息的多少并不等于信息的多少的道理。连古人也知道谎言传的人再多也不会变成真理。例如，刚才说到的庞葱就讲出了信息不等于消息的看法。可见，早在2000年前，我国就有人认识到不能用消息的多少来量度信息。”“到了20世纪20年代，人们对这个问题才开始有了深刻的认识。到了40年代，信息论的奠基人、美国数学家香农又详细讨论了信息的量度问题。从此，人们从技术上找到了量度信息的一些科学方法。”“按照他们的观点，人们在没有获得任何信息之前，信源对收集者一定存在着某种不确定性。也就是说，信息从信源发出，但在收信者没接收到信息之前，对信源存在着一定量的不确定性。所谓不确定，就是收集者对信源的认识不肯定、不知道。你对某件事物知道得越少，则存在的不确定性就越大，而你得到的信息假如能使不确定性消除得越多，你所获得的信息量就越多。”“例如，在一次英语考试之后发布成绩通知，如果通知说，某位平时英语很好的同学的成绩是优，同学们不会有太大的反应，因为这是他们意料之中的事，这个通知使他们获得的信息量不大。如果通知说，该同学的成绩是中，同学们就会感到有些反常，这个通知给他们提供的信息就比前一种情况所提供的信息量要大。假如通知说，该同学的成绩是不及格，那一定会轰动全班，使大家感到惊讶。因为这是他们意想不到的事。这个通知给他们提供的信息量就更大了。这个例子说明，某一事物状态出现的可能性越小，它的不确定性就越大，报道这一事物状态出现的消息所提供的信息量就越大。如果某一消息报道的内容是人人皆知、司空见惯的，或者是事先已经预料必然要发生的事，那么这个事物就是确定的。它的不确定性等于零，因此，这种消息的信息量也等于零。”丁大力为了巩固自己刚学到的概念，迫不及待地说：“叔叔，根据您刚才讲到的，我的体会是，信息量的多少，是按照信息所消除的不确定性的大小来进行量度的。消除不确定性多，就是信息量大，反过来说，消除不确定性少，就是信息量小，对不对？”“是这样的。”叔叔肯定地点了点头。“那么，我还有一些疑问。就是您所说的事物的不确定性又怎么来衡量呢？如果我们不能衡量不确定性，那么我们还是不能来度量信息量的大小。”王永明喜欢探根究底。“你的问题提得很好！”叔叔看到小伙伴们不但认真地听讲，而且还能开动脑筋，不断提出疑问，很是高兴。他觉得只有这样，小伙伴们才会掌握有关的信息科学基础知识。为了能通俗地给小伙伴们讲这个深奥的问题，叔叔考虑了一下，不紧不慢地说：“事物的不确定性的大小与事物可能发生的状态数目及各种状态发生的概率有关，要进行定量的计算，就得借助数学这个基础工具了。”“所谓概率，通俗地讲，就是事件可能发生的程度。某一件事绝对不可能发生，称为不可能事件，它的概率为零。反过来说，某一件事绝对会发生，称为必然事件，它的概率为1。概率论认为，两个事件能同时发生，称为独立事件。如果一个事件的出现会引起另一事件的出现，称为相关事件。在一定的条件下，可能出现，也可能不出现的事件，称为随机事件，它的概率在0和1之间。概率并不是十分深奥的，在日常生活中，我们也常常用到它，例如，人们说这件事有80％的成功把握，明天的天气50％能转晴等，就是概率的运用。”“你们玩过抛掷硬币的游戏吗？抛掷硬币这一事件可能有两种结果：一种是正面朝上，一种是反面朝上。但是在每次抛掷之前，究竟哪一面朝上是不能肯定的，这种不肯定就是我们认识上的不确定性。等到抛掷以后，我们知道了结果，这种不确定性也就被消除了，这是因为我们获得了信息。”“如果你们反复多次地抛掷硬币，把每次的结果统计一下，你们会发现，出现正面朝上和反面朝上的次数各占一半，即各为1/2，这1/2就叫做抛掷硬币的概率。既然如此，那么，你们在每次抛掷之前对于可能出现的结果就不是完全不知道，至少知道存在着两种可能性，一种可能是正面朝上，一种可能是反面朝上。也就是说，你们对出现的结果，一半知道，一半不知道。这样，你们认识上的不确定性、不知道用概率来表示，就是1/2。当抛掷一次以后，出现了结果，你们获得了信息，这个1/2的不确定性、不知道也就被消除了。信息论把获得这么多的信息规定为信息量单位，叫做1比特。所谓1比特，就是含有两个独立的相等概率的事件所具有的不确定性被全部消除所需要的信息量。它实际上是从两种可能状态选择出一种的等可能消息所含有的平均信息量。”“我们在现实生活中有大量能获得1比特信息量的例子。例如，我们去看一场电影，这场电影我们是喜欢看还是不喜欢看在看电影之前是存在着两种可能性的。当看完电影之后，无论是喜欢看，还是不喜欢看，我们所获得的信息量都是1比特。为什么呢？因为在看电影之前，我们对这场电影是喜欢看，还是不喜欢看这个不知道的不确定性只包含两种可能性。而喜欢看和不喜欢看是两个独立事件。当看完电影，就能知道是喜欢看还是不喜欢看了，也就是两种可能性中的一种变成了现实。这个事件的不确定性也就完全被消除了。所以，我们获得的信息量是1比特。”“叔叔，让我也举一个例子试试，看我理解得对不对，好吗？”丁大力说。“好，你说吧！”叔叔鼓励着。丁大力稍微思考了一下，说：“我明年要考初中了。对这件事只有两种可能，考上重点中学和考不上重点中学。当考完试后，学校发出录取通知单，我就获得了1比特的信息。因为我得知了考上和考不上重点中学这两种可能性中的一种。”“你说得很对。”叔叔赞许地说，“然而，世界上的事情是复杂的，一个事件出现的可能性并不都是两种，有的是三种、四种或更多种可能性。而且它们的概率也不一定是相等的，有的也可能不是独立事件，我们怎样才能知道它的信息量呢？要完全弄清这些问题，需要掌握更多的有关概率论和其它方面的科学知识。而详细地介绍这些知识，不是短时间内能弄懂的。要搞清楚这一问题，有待于你们在今后的学习中去掌握各学科的知识。不过，今天我可以介绍一个计算具有多种可能性事件信息量的简单方法。”“例如，我们在一个布袋里放入大小相等的红、黄、黑、白四种颜色的球各一个。让你随意地从中摸一个来猜，看是什么颜色的。你怎么猜法？当然你猜四种颜色中的一种。当你拿出来一看，你获得的信息量是多少呢？这一事件的可能性有四种，而且它们的概率是相等的，各自又是独立的。因此，出现每一种颜色的球的概率都是1/4。这种情况的不确定性要比抛掷硬币大，四种可能性正好是两种可能性的二次方。因此，你猜后拿出来一看，所获得的信息量就是2比特。那么，如果布袋里装入八个大小相等、颜色不同的球呢？你摸一个猜后拿出来一看，所获得的信息量就是3比特。因为八个球就有八种可能性，八种可能性正好是两种可能性的三次方。”“由这个例子我们不难发现，一个事件的等可能性是2的多少整数次方，它的信息量就是多少比特。这就是计算信息量的一个简单方法。”“我们认识了信息的本质特性以及信息的度量方法，这只是打下了一个基础。