第三章熵与分布

熵气象学--第三章熵与分布68第三章熵与分布第一章我们把统计物理中常用的分布函数的概念作了交待。继之又在第二章对气象现象中观测、统计出来的分布函数的形态作了较多的介绍。至此应当说我们用分布函数的概念把一批气象现象作了一种较统一的综合。它改变了提出问题的方式，也为让一个适当的理论出台来解释这些现象作好了前期准备工作。从这一章开始我们要进一步引用熵的概念和原理，并且把它与分布问题联系起来。我们想通过事例说明熵原理也是制约大气运动的一个普遍原理。抓住这个强有力的理论会加深对气象现象的理解、丰富气象理论园地。这一章的中心是交待熵的概念、算法以及它与分布问题的关系。而把熵原理及其在气象学中的应用放在以后各章。§1熵概念沿革当今的科学被分成上千个学科，每个学科都有自己一套专用名词，而外行人对它知之甚少。可是在科学史上却有少数的专用名词，其知名度则远远超出孕育它出生的那个村庄。霍顿(G．Holton)说“某些概念之所以重要是由于它们反复出现在许多描述和定律中，而且往往波及离最初表述很远的领域内”。大家熟悉的“能量”这个概念就具有上述特征。现在我们要指出“熵”是又一个知名度日益提高并昇华到熵气象学--第三章熵与分布69哲学殿堂的概念。在某些人看来熵的科学地位应当高于莎士比亚在文学中的地位。上世纪中叶，人们在发现热力学第一定律(能量守衡定律)之后不久又在研究热机效率的理论时发现在卡诺热机完成一个循环时，它不仅遵守能量守衡定律，而且工作物质吸收的热量Q与当时绝对温度T的比值之和(∑Q/T)为零(Q，T都不为零)。鉴于以上物理量有这一优点，克劳修斯(R．CIausius)就把可逆过程中工作物质吸收的热与温度T之比称为entropie，与德文的能量“energie”相接近。1923年胡刚复教授从其定义式出发为汉文另创了—个字“熵”来称呼它。日本则直用其英文的译音ェントロピ称之。克劳修斯发现这样定义的物理量——熵还有一个重要性质，即其改变量的大小仅与研究对象的起始状态和终止状态有关，而与其经历的热力学路径无关；这也就是告诉人们熵是又一个新发现的状态函数。它意味着系统的状态一旦确定，其熵值(选用一定参考点后)就不变化了。克劳修斯还进而分析了不可逆过程中的熵的变化，他得出参与不可逆过程的各部分的熵值变化之和总是大于刀∑Q/T。1865年他把热力学第二定律视为孤立系统中熵仅能加大或不变的“熵增加原理。1870年玻耳兹曼(L．Boltzmann)在分子运动论的基础上研究分子处于不同能级状态的个数Ω的特性。他发现Ω的对数值应当与熵成正比例。这一发现就为熵提供了微观的物理图象。使我们加深了对熵的理解。熵是分子运动的无序程度（玻耳兹曼)和混乱程度(吉布斯，J．W．Gibbs)的提法逐步在科技界流行。热力学熵的研究不仅推进了热机效率的研究，经过熵气象学--第三章熵与分布70亥姆霍兹(H．Helmhotz)、吉布斯、麦克斯韦等人的努力，熵与其他的热力学函数的关系，熵如何用于判知化学反应的进行方向与程度等方面都取得了重大进展。这样，熵已跨出热学领域而进入理论化学园地。普朗克和爱因斯坦(A．Einstein)都利用熵原理作过出色的工作，它们扩大了熵的物理阵地，量子论的创始人之一--薜定谔(E．Schr6dinger)于1945年把熵又引入生物学。20纪，信息论诞生了。其创始人申农(C．E．Shannon)把通讯过程中信息源的讯号的不确定性称为熵(把消除了多少不确定性称为信息)。据说这是接受了数学家冯·诺曼的建议。由于通讯技术的迅猛发展，信息论很快成为一股研究热潮。而熵概念的应用领域又获得了史无前例的扩展。信息论针对通讯需要定义两个等概率状态对应的熵为一比特(Bit)的计值办法不仅在通讯中十分方便，而且在后来兴起的电子计算机技术中也以它作为计量存储量的基本单位。可以看到，申农的工作使“熵”闯入了距其出生地非常遥远的概率论、通讯、计算机领域。20世纪后半叶以电子计算机技术为代表的信息革命的兴起推进了与信息密切相关的熵概念的大扩展。今天，议论熵正逐步成为一种时尚。熵在今天早已不单独属于哪一个专门学科了。50年代杰尼斯(E．T．Jaynes)用信息论中阐述的熵极大原理反回去论证由玻耳兹曼等人在上世纪导出的统计物理学中的正则分布。这项工作一则把统计物理中的重要成果纳入信息熵的体系中，也说明了脱离了“热”的熵的一般原理的强大力量。60年代最大熵谱的提出则是又一个应用实例。熵气象学--第三章熵与分布71气象学一直受惠于各种基础科学和技术科学。流体力学，数学，计算机、气象卫星的应用都是其例。我们认为熵概念与熵理论在气象学中的巧妙应用会把气象学再推进一步。§2热力学熵17世纪蒸汽机发明后，如何提高它的效率成了重要问题；卡诺对此的研究采用了分析理想热力过程的独到思路。他给出的理想化的热机有一个高温热源向工作介质提供热量，介质把吸收的热量Q1的一部分变成了对外界作的功W，在把余下的热量Q2排向另一低温热汇以后工作介质又可再从高温处吸取热能。显然功W与热量Q1，的比值也就是热机效率ηη=W/Q1（3．1)卡诺的理想热机中的工作介质经过4个热力过程就又回到初始状态。这就构成了一个完整的热力学循环。4个过程中包括两个等温过程(吸热、放热)和两个绝热过程(压缩、膨胀)。而这些过程的理想化含有一个重要含义：它们可以沿着一个正方向进行，也可以反过来，即沿着相反的方向进行。这就是所谓“可逆过程”。从概念上讲只有无限缓慢的过程，才可能是可逆过程。如以理想气体为工作介质，不难证明卡诺的理想热机的效率为121TTT(3.2)T1、T1、分别为高温热源和低温热汇的绝对温度。根据能量守衡定律，显然循环一次对外作的净功W应为W=Q1-Q2(3.3)，熵气象学--第三章熵与分布72联立以上各式有2211TQTQ(3.4)如果定义放出的热应当取负值，则上式要改成2211TQTQ(3.5)此式说明可逆的卡诺循环过程完成后，工作介质吞吐的热与当时绝对温度比值的合计值是不变化的(功或热的合计值就是变的)。克劳休斯基于Q/T的这一优良品质(在可逆的卡诺过程中)专门为它取了个名字，即现在称呼的熵(英文Entropy)。它一般是用符号S表示。如果一定的工作介质在进行着卡诺循环，其一个微小的元过程中在绝对温度T了下吸收了热量δQ，则我们就把熵的变化记为dS=δQ/T(3.6)因而一个完整的卡诺过程的熵值不变，就表示为TQdS（3.7）如果不是完成一个卡诺循环，而仅是分析某一段可逆的热力学过程，那么工作介质(分析的物质系统)的熵值的变化应为[见图(3.1]babaABSSTQdS（3.8）这里的A，B分别表示两个热力学状态。而熵的变化是可逆过程中初、终热力学状态的熵值的差。这体现了它与过程的无关性，又显示了可以从可逆过程中吸收的熵气象学--第三章熵与分布73热量δQ与当时温度的比值去计算这个变化量的大小。图3.1介质的热力学状态从A-B在很多计算中，人们关心的是上述变化量是多少。而对于熵的绝热值究竟是多少并不计较。不过在热力学中有一个热力学第三定律，它明确指出一切物质的温度达到绝对零度时，它的熵值就变成零了。熵有了这个绝对标度再与其他物态方程联系起来就可以定出在各种温度压力下每摩尔化学物质的熵值。从(3．6)式可以看出热力学熵的单位应当是焦尔/开(JK-1)。它是针对一定的工作介质而言的。有时针对每单位质量或每摩尔的工作介质的熵作分析，熵的单位变成了焦尔/克·开(J/g-1K-1)或焦尔/摩尔开(Jmol-1K-1)。前者有时称为比熵，后者称为摩尔熵(我们常以小写的s表示)。AAABpv熵气象学--第三章熵与分布74热力学熵的另一个重要特征是它在不可逆过程中要自行加大。这时(3.6)式要改写成dSδQ/T(3.9)这些涉及热力学第二定律的问题将在第五章讨论。热力学熵在气象上的一个应用就是位温。这放在下一章再介绍。§3玻耳兹曼熵把热理解为微观尺度的分子运动是19世纪物理学的一个进步。与此对应，对热力学的熵是否也能提供一种微观的解释?奥地利学者玻耳兹曼在19世纪70年代对此作了研究。他发现熵的性质与物质系统处于平衡态时所对应的微观能量配置状态的可能实现办法的多少是有关的。上述实现办法越多，熵也越大。定量地讲如以Ω表示实现办法的个数，那么熵与Ω的对数值成正比。这可写成S=klnΩ(3.10)；上式中S仍为该物质系统的热力学熵。k是玻耳兹曼常数。这个式子把一个纯热力学量——熵与微观状态的个数Ω联系了起来。方程式右侧现在常被称为玻耳兹曼熵，或统计力学熵。常数k的值是1.38×10-23J/K。它是用气体常数R被1mol的分子个数去除而得到的。在第五章我们再对(3.10)作解释。§4信息熵一枚硬币落在桌子上，事先能知道哪一面朝上吗?不能。一个骰子掷出去之前，能预知哪个点向上吗?也不能。这些实验在进行前我们是不知其结局的。但对比以上两熵气象学--第三章熵与分布75个实验的可能结局，可以看出两个实验的结局的不确定程度是有差别的。预言硬币的正面向上会有50％的准确率，而预言“3”点向上的准确率仅有1/6。这启示我们如果定量研究结局的不确定程度就应当它把与可能结局的个数，甚或每个结局的出现概率联系起来。1928年统计学家哈特利(R．V．L．Hartley)就把等可能结局的个数n的对数值称为信息量。现代信息论(关于通讯的数学理论)的创始人申农则把它称为不确定性(程度)。文献中多以H表示某一实验结局的不确定程度。这样就有H=Clogn(3.11)这里的常数C可以取任何值。申农把前述随机事件结局的不确定性称为信息熵。从(3．11)式看结局的可能个数n越大，不确定程度越大。显然掷骰子的结局个数(6)比掷硬币的两个可能结局要多，所以前者的信息熵(10g6)就比后者大。如果让你从一个袋子中，任意取一个球出来，而袋子里共有100个标号不同的球，那么这一实验进行前具有的不确定性就比掷骰子或掷硬币更大。此时信息熵H=logl00。如果共有n个等可能结局，那么每个结局的出现概率P就是1/n。所以(3.11)式也可以写成H=-Clogp(3.12)这样信息熵就与概率问题初步联系起来。信息熵计量的是随机实验的结局的不确定性。自然界中存在着大量的随机事件，这些随机事件的出现概率如果并不相等，那么(3.12)式还难以应用。把(3.12)式推广为各随机事件出现概率不尽相等时熵的计算式是申农的重要贡献。他给的普遍形态下的熵的公式是熵气象学--第三章熵与分布76niiippCH1log（3.13）如果某一随机实验共有n个可能结局。我们可以说集合A共有n个元素A={A1，A2，…，An}而每个元素都有一个出现概率(在随机抽样实验时)pi，(i=1，2，…，n)，那么这种随机实验的结局的不确定性就由上式算出。表3.1集合A中各元素出现的概率元素名称A1A2A3…An出现概率p1p3p3…Pn值得补充的是上述求和由于是针对集合内的所有元素，所以其概率p的合计值应当等于l。这就是概率论中讲的归一性。对此可写成niip11(3.14)例如某地的各种天气的出现概率如表3.2中给出的值，则依(3.13)式的熵公式可求得其熵值为0.66。表3.2某地各种天气的出现概率天气晴多云阴天小雨中雨大雨暴雨合计概率.36.25.21.11.04.023.0071在上述计算中我们人为地把常数C取为1。此时求得的熵称为哈特利。故某地的天气熵为0.66哈特利。如果公式中对数的底不是10而是其他的值，根据对数换底公式这相当于改变常数C的值。在科技文献中则常常用不同名称称呼不同对数底的熵值。其名称还有比特、字节、纳特这几个。它们的对数底、英文名、换算关系我们列于表3.3中。表3.3几种信息熵的单位熵气象学--第三章熵与分布77中文名英文名缩写对数底换算关系注比特Bitebit21bit=0.125B=0.301030Hartley(1)字节ByteB2561B=8Bite(2)哈特利HartleyHartley101Hartley=3.321928bit(3)奈特