您好,欢迎访问三七文档
正态分布的前世今生(上)神说,要有正态分布,就有了正态分布。神看正态分布是好的,就让随机误差服从了正态分布。创世纪—数理统计1.正态分布,熟悉的陌生人学过基础统计学的同学大都对正态分布非常熟悉。这个钟形的分布曲线不但形状优雅,它对应的密度函数写成数学表达式f(x)=12π−−√σe−(x−μ)22σ2也非常具有数学的美感。其标准化后的概率密度函数f(x)=12π−−√e−x22更加的简洁漂亮,两个最重要的数学常量π、e都出现在这公式之中。在我个人的审美之中,它也属于top-N的最美丽的数学公式之一,如果有人问我数理统计领域哪个公式最能让人感觉到上帝的存在,那我一定投正态分布的票。因为这个分布戴着神秘的面纱,在自然界中无处不在,让你在纷繁芜杂的数据背后看到隐隐的秩序。正态分布曲线正态分布又通常被称为高斯分布,在科学领域,冠名权那是一个很高的荣誉。2002年以前去过德国的兄弟们还会发现,德国1991年至2001年间发行的的一款10马克的纸币上印着高斯(CarlFriedrichGauss,1777-1855)的头像和正态密度曲线,而1977年东德发行的20马克的可流通纪念钢镚上,也印着正态分布曲线和高斯的名字。正态分布被冠名高斯分布,我们也容易认为是高斯发现了正态分布,其实不然,不过高斯对于正态分布的历史地位的确立是起到了决定性的作用。德国马克和纪念币上的高斯头像和正态分布曲线正态曲线虽然看上去很美,却不是一拍脑袋就能想到的。我们在本科学习数理统计的时候,课本一上来介绍正态分布就给出分布密度函数,却从来不说明这个密度函数是通过什么原理推导出来的。所以我一直搞不明白数学家当年是怎么找到这个概率分布曲线的,又是怎么发现随机误差服从这个奇妙的分布的。我们在实践中大量的使用正态分布,却对这个分布的来龙去脉知之甚少,正态分布真是让人感觉既熟悉又陌生。直到我读研究生的时候,我的导师给我介绍了陈希儒院士的《数理统计学简史》这本书,看了之后才了解了正态分布曲线从发现到被人们重视进而广泛应用,也是经过了几百年的历史。正态分布的这段历史是很精彩的,我们通过讲一系列的故事来揭开她的神秘面纱。2.邂逅,正态曲线的首次发现第一个故事和概率论的发展密切相关,主角是棣莫弗(AbrahamdeMoivre,1667-1754)和拉普拉斯(Pierre-SimonLaplace1749-1827)。拉普拉斯是个大科学家,被称为法国的牛顿;棣莫弗名气可能不算很大,不过大家应该都应该很熟悉这个名字,因为我们在高中数学学复数的时候都学过棣莫弗公式(cosθ+isinθ)n=cos(nθ)+isin(nθ).而棣莫弗所写的《机遇论》(Thedoctrineofchances)是概率论发展历史中很重要的一本书。牛顿对棣莫弗十分欣赏,遇到学生向他请教概率方面的问题时,他就说:“这样的问题应该去找棣莫弗,他对这些问题的研究比我深入得多。”棣莫弗和拉普拉斯古典概率论发源于赌博,惠更斯(ChristiaanHuygens,1629-1695)、帕斯卡(BlaisePascal,1623-1662)、费马(PierredeFermat,1601-1665)、雅可比·贝努利(JacobBernoulli,1654-1705)都是古典概率的奠基人,他们那会研究的概率问题大都来自赌桌上,最早的概率论问题是赌徒梅累在1654年向帕斯卡提出的如何分赌金的问题。统计学中的总体均值之所以被称为期望(Expectation),就是源自惠更斯、帕斯卡这些人研究平均情况下一个赌徒在赌桌上可以期望自己赢得多少钱。有一天一个哥们,也许是个赌徒,向棣莫弗提了一个和赌博相关的问题:A、B两人在赌场里赌博,A、B各自的获胜概率是p,q=1−p,赌n局。两人约定:若A赢的局数Xnp,则A付给赌场X−np元;若Xnp,则B付给赌场np−X元。问赌场挣钱的期望值是多少。问题并不复杂,本质上是一个二项分布,若np为整数,棣莫弗求出最后的理论结果是2npqb(n,p,np)其中b(n,p,i)=(ni)piqn−i是常见的二项概率。但是对具体的n,因为其中的二项公式中有组合数,要把这个理论结果实际计算出数值结果可不是件容易的事,这就驱动棣莫弗寻找近似计算的方法。与此相关联的另一个问题,是遵从二项分布的随机变量X∼B(n,p),求X落在二项分布中心点一定范围的概率Pd=P(|X–np|≤d)。对于p=1/2的情形,棣莫弗做了一些计算并得到了一些近似结果,但是还不够漂亮,幸运的是棣莫弗和斯特林(JamesStirling,1692-1770)处在同一个时代,而且二人之间有联系,斯特林公式是在数学分析中必学的一个重要公式n!≈2πn−−−√(ne)n.事实上斯特林公式的雏形是棣莫弗最先得到的,但斯特林改进了这个公式,改进的结果为棣莫弗所用。1733年,棣莫弗很快利用斯特林公式进行计算并取得了重要的进展。考虑n是偶数的情形,二项概率为b(n,12,i)=(ni)(12)n以下把b(n,12,i)简记为b(i),通过斯特林公式做一些简单的计算容易得到,b(n2)≈2πn−−−√,b(n2+d)b(n2)≈e−2d2n,于是有b(n2+d)≈22πn−−−√e−2d2n.使用上式的结果,并在二项概率累加求和的过程中近似的使用定积分代替求和,很容易就能得到P(∣∣∣Xn–12∣∣∣≤cn√)=≈=≈∑−cn√≤i≤cn√b(n2+i)∑−cn√≤i≤cn√22πn−−−√e−2i2n∑−2c≤2in√≤2c12π−−√e−12(2in√)22n√∫2c−2c12π−−√e−x2/2dx.(1)看,正态分布的密度函数的形式在积分公式中出现了!这也就是我们在数理统计课本上学到的一个重要结论:二项分布的极限分布是正态分布。以上只是讨论了p=1/2的情形,棣莫弗也对p≠1/2做了一些计算,后来拉普拉斯对p≠1/2的情况做了更多的分析,并把二项分布的正态近似推广到了任意p的情况。这是第一次正态密度函数被数学家刻画出来,而且是以二项分布的极限分布的形式被推导出来的。熟悉基础概率统计的同学们都知道这个结果其实叫棣莫弗-拉普拉斯中心极限定理。[棣莫弗-拉普拉斯中心极限定理]设随机变量Xn(n=1,2,⋯)服从参数为n,p的二项分布,则对任意的x,恒有limn→∞P(Xn–npnp(1−p)−−−−−−−−√≤x)=∫x−∞12π−−√e−t22dt.我们在大学学习数理统计的时候,学习的过程都是先学习正态分布,然后才学习中心极限定理。而学习到正态分布的时候,直接就描述了其概率密度的数学形式,虽然数学上很漂亮,但是容易困惑数学家们是如何凭空就找到这个分布的。读了陈希孺的《数理统计学简史》之后,我才明白正态分布的密度形式首次发现是在棣莫弗-拉普拉斯的中心极限定理中。数学家研究数学问题的进程很少是按照我们数学课本编排的顺序推进的,现代的数学课本都是按照数学内在的逻辑进行组织编排的,虽然逻辑结构上严谨优美,却把数学问题研究的历史痕迹抹得一干二净。DNA双螺旋结构的发现者之一詹姆斯·沃森(JamesD.Watson,1928-)在他的名著《DNA双螺旋》序言中说:“Scienceseldomproceedsinthestraightforwardlogicalmannerimaginedbyoutsiders.(科学的发现很少会像门外汉所想象的一样,按照直接了当合乎逻辑的方式进行的。)”棣莫弗给出他的发现后40年(大约是1770年),拉普拉斯建立了中心极限定理较一般的形式,中心极限定理随后又被其他数学家们推广到了其它任意分布的情形,而不限于二项分布。后续的统计学家发现,一系列的重要统计量,在样本量N趋于无穷的时候,其极限分布都有正态的形式,这构成了数理统计学中大样本理论的基础。棣莫弗在二项分布的计算中瞥见了正态曲线的模样,不过他并没有能展现这个曲线的美妙之处。棣莫弗的这个工作当时并没有引起人们足够的重视,原因在于棣莫弗不是个统计学家,从未从统计学的角度去考虑其工作的意义。正态分布(当时也没有被命名为正态分布)在当时也只是以极限分布的形式出现,并没有在统计学,尤其是误差分析中发挥作用。这也就是正态分布最终没有被冠名棣莫弗分布的重要原因。那高斯做了啥工作导致统计学家把正态分布的这顶桂冠戴在了他的头上呢?这先得从最小二乘法的发展说起。3.最小二乘法,数据分析的瑞士军刀第二个故事的主角是欧拉(LeonhardEuler,1707-1783)、拉普拉斯、勒让德(Adrien-MarieLegendre,1752–1833)和高斯,故事发生的时间是18世纪中到19世纪初。17、18世纪是科学发展的黄金年代,微积分的发展和牛顿万有引力定律的建立,直接的推动了天文学和测地学的迅猛发展。当时的大科学家们都在考虑许多天文学上的问题,几个典型的问题如下:土星和木星是太阳系中的大行星,由于相互吸引对各自的运动轨道产生了影响,许多大数学家,包括欧拉和拉普拉斯都在基于长期积累的天文观测数据计算土星和木星的运行轨道。勒让德承担了一个政府给的重要任务,测量通过巴黎的子午线的长度。海上航行经纬度的定位。主要是通过对恒星和月面上的一些定点的观测来确定经纬度。这些天文学和测地学的问题,无不涉及到数据的多次测量、分析与计算;17、18世纪的天文观测,也积累了大量的数据需要进行分析和计算。很多年以前,学者们就已经经验性的认为,对于有误差的测量数据,多次测量取算术平均是比较好的处理方法。虽然缺乏理论上的论证,也不断的受到一些人的质疑,取算术平均作为一种异常直观的方式,已经被使用了千百年,在多年积累的数据的处理经验中也得到相当程度的验证,被认为是一种良好的数据处理方法。以上涉及的问题,我们直接关心的目标量往往无法直接观测,但是一些相关的量是可以观测到的,而通过建立数学模型,最终可以解出我们关心的量。这些问题都可以用如下数学模型描述:我们想估计的量是β0,⋯,βp,另有若干个可以测量的量x1,⋯,xp,y,这些量之间有线性关系y=β0+β1x1+⋯+βpxp如何通过多组观测数据求解出参数β0,⋯,βp呢?欧拉和拉普拉斯采用的的方法都是求解如下线性方程组⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪y1=β0+β1x11+⋯+βpxp1y2=β0+β1x12+⋯+βpxp2⋮yn=β0+β1x1n+⋯+βpxpn.(2)但是面临的一个问题是,有n组观测数据,p+1个变量,如果np+1,则得到的线性矛盾方程组,无法直接求解。所以欧拉和拉普拉斯采用的方法都是通过对数据的一定的观察,把n个线性方程分为p+1组,然后把每个组内的方程线性求和后归并为一个方程,从而就把n个方程的方程组化为p+1个方程的方程组,进一步解方程求解参数。这些方法初看有一些道理,但是都过于经验化,无法形成统一处理这一类问题的通用解决框架。以上求解线性矛盾方程的问题在现在的本科生看来都不困难,这就是统计学中的线性回归问题,直接用最小二乘法就解决了。可是即便如欧拉、拉普拉斯这些数学大牛,当时也未能对这些问题提出有效的解决方案。可见在科学研究中,要想在观念上有所突破并不容易。有效的最小二乘法是勒让德在1805年发表的,基本思想就是认为测量中有误差,所以所有方程的累积误差为累积误差=∑(观测值–理论值)2我们求解出导致累积误差最小的参数β^==argminβ∑i=1ne2iargminβ∑i=1n[yi–(β0+β1x1i+⋯+βpxpi)]2.(3)勒让德勒让德在论文中对最小二乘法的优良性做了几点说明:1.最小二乘法使得误差平方和最小,并在各个方程的误差之间建立了一种平衡,从而防止某一个极端误差取得支配地位;2.计算中只要求偏导后求解线性方程组,计算过程明确便捷;3.最小二乘法可以导出算术平均值作为估计值。对于最后一点,推理如下:假设真值为θ,x1,⋯,xn为n次测量值,每次测量的误差为ei=xi–θ,按最小二乘法,误差累积为L(θ)=∑i=1ne2i=∑i=1n(xi–θ)2求解θ使得L(θ)达到最小,正好是算术平均x¯¯¯=∑ni=1xin
本文标题:正态分布的前世今生
链接地址:https://www.777doc.com/doc-1667105 .html