10-勒让德发明最小二乘法

勒让德发明最小二乘法勒让德是法国大数学家，在数学的许多领域，包括椭圆积分，数论和几何等方面，都有重大的贡献。最小二乘法最先出现在他于1805年发表的一本题为《计算彗星轨道的新方法》著作的附录中，该附录占据了这本长80页著作的最后9页。勒让德在这本书前面几十页关于彗星轨道计算的讨论中没有使用最小二乘法，可见在他刚开始写作时，这一方法尚未在他头脑中成形。历史资料还表明，勒让德在参加量测过巴黎子午线长这项工作很久以后还未发现这个方法。考虑到此书发表于1805年且该法出现在书尾的附录中，可以推测他发现这个方法当在1805年或之前不久的某个时间。勒让德在该书72～75页描述了最小二乘法的思想、具体作法及方法的优点。他提到：使误差平方和达到最小，在各方程的误差之间建立了一种平衡，从而防止了某一极端误差（对决定参数的估计值）取得支配地位，而这有助于揭示系统的更接近真实的状态。的确，考察勒让德之前一些学者的做法，都是把立足点放在解出一个线性方程组上。这种做法对于误差在各方程之间的分布的影响如何，是不清楚的。在方法的具体操作上，勒让德指出，为实现20111()niikikixxx最小而对各i求偏导数所形成的线性方程组.,,1,,,1,0,,,,1,0110kjkrxxskjsnijirirjkrjrrj（13）只涉及简单的加、乘运算，至于解线性方程组，这是当时已知的其他方法也不免的。现今我们把(13)叫做正则方程组，这是后来高斯引进的称呼。关于最小二乘法的优点，勒让德指出了以下几条。一是通常的算术平均值是其一特例。第二，如果观察值全部严格符合某一线性方程，则这个方程必是最小二乘法的解。第三，如果在事后打算弃置某些观察值不用或增加了新的观察值，对正则方程的修改易于完成。从现在的观点看，这方法只涉及解线性方程组是其最重要的优点之一（其他的重要优点包括此法在统计推断上的一些优良性质，以及其广泛的适用性）。近年发展起来的，从最小二乘法衍生出的其它一些方法，尽管在理论上有其优点，可是由于计算上的困难而影响了其应用。最小二乘法在19世纪初发明后，很快得到欧洲一些国家的天文和测地学工作者的广泛使用。据不完全统计，自1805年至1864年的60年期间，有关这一方法的研究论文约250篇，一些百科全书，包括1837年出版的不列颠百科全书第7版，都收进了有关这个方法的介绍。在研究论文中，有一些是关于最小二乘估计的计算，这涉及解线性方程组。高斯也注意了这个问题，给出了正则方程的命名并发展了解方程的消去法。但是，在电子计算机出现以前，当参数个数(即(13)式中的k)较大时，计算任务很繁重。1858年，英国为绘制本国地图作了一次大型的survey，其数据处理用最小二乘法涉及模型(13)中k=920，n=1554。用两组人员独立计算，花了两年半的时间才完成。1958年我国某研究所计算一个炼钢方面的课题，涉及用最小二乘法解13个自变量的线性回归，30余人用电动计算机算，夜以继日花了一个多月的时间。勒让德的工作没有涉及最小二乘法的误差分析问题。这一点由高斯在1809年发表的正态误差理论加以补足，详细介绍见后面故事(高斯的正态误差理论)。高斯的这个理论对于最小二乘法之用于数理统计有极重要意义。这一点在20世纪哥色特、费歇尔等人发展了正态小样本理论后，尤其看得明显。正因为高斯这一重大贡献，以及他声称自1799年以来一直使用这个方法，所以人们多把这一方法的发明优先权归之于高斯。当时在这两位大数学家之间曾为此发生优先权之争，其知名度仅次于牛顿和莱布尼兹之间关于微积分发明的优先权之争。近年来还有学者根据有关的文献研究这个问题，也作不出判然的结论。这个公案大概也只能以“两人同时独立做出”来了结。但无论如何，第一个在书面上发表的是勒让德，他有理由占先一些。我们已指出，最小二乘法是针对适合形如0110kkxxx的线性关系的观测数据而作出的，现在统计学上把这叫做线性(统计)模型——当然，其含义比最初所赋予它的要广得多。最小二乘法在数理统计学中的显赫地位，大部分来自它与这个模型的联系。另一个原因是它有简单的线性表达式。这不仅使它易于计算，更重要的是，在正态误差的假定下，它有较完善的小样本理论，使基于它的统计推断易于操作且有关的概率计算不难进行。其他的方法虽也可能具有某种优点，但由于缺乏最小二乘法所具备的上述特性，故仍不可能取代最小二乘法的位置，这就是此法得以长盛不衰的原因。