对最小二乘法的研究论文

编号2009011121毕业论文(设计)（2013届本科）论文题目:对最小二乘法的探究学院:数学与统计学院专业:数学与应用数学班级:2009级本科1班作者姓名:张凯指导教师:史存琴职称：讲师完成日期:2013年5月10日目录陇东学院本科毕业论文（设计）诚信说明.....................................1摘要...................................................................2关键词...................................................................21最小二乘法的历史简介..................................................22探究最小二乘法的意义..................................错误!未定义书签。3最小二乘法的定义......................................................34最小二乘法的原理......................................................45应用最小二乘法解决实际问题............................................45.1多项式拟合实例.....................................................45.2一元线性拟合实例...................................................55.3非线性拟合实例.....................................................66加权最小二乘法........................................................76.1加权最小二乘法的定义...............................错误!未定义书签。6.2加权最小二乘法的原理...............................错误!未定义书签。7结论..................................................................7参考文献.................................................................9英文摘要................................................................10致谢....................................................................111陇东学院本科毕业论文（设计）诚信说明本人郑重声明：本人所呈交的毕业论文（设计），是在导师的指导下独立进行研究所完成.毕业论文（设计）中凡引用他人已经发表或未发表的成果、数据、观点等，均已明确注明出处.特此声明.论文（设计）作者签名：日期：2对最小二乘法的探究张凯(陇东学院数学与统计学院甘肃庆阳745000)摘要：最小二乘法(又称最小平方法）是一种数学优化技术，是从误差拟合角度对回归模型进行参数估计或系统辨识，并在参数估计、系统辨识、以及预测预报等众多领域中得到极为广泛的应用.它通过最小误差的平方和寻找数据的最佳函数匹配.利用最小二乘法可以简便地求知数据，并使得这些求得的数据与实际数据之间误差的平方和最小.本文就是对最小二乘法的发展历史、原理、及其简单的应用进行归纳和总结.关键词：最小二乘法；历史；应用；简单原理1最小二乘法的历史简介1801年，意大利天文学家朱塞普.皮亚齐发现了第一颗小行星谷神星.经过40多天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置.随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果，时年24岁的高斯利用最小二乘法的方法计算了谷神星的轨道，奥地利天文学家海因里希.奥尔伯斯根据高斯计算出来的轨迹重新发现了谷神星.高斯使用的最小二乘法发表于1809年他的著名作品《天体运动论》中.其实，早在1806年，法国科学家勒让德便独立地发现了“最小二乘法”但因不为世人所知而默默无闻.在此后，法国科学家勒让德曾多次与高斯为谁最早创立最小二乘法原理发生争执.但最终，1829年，高斯提供的最小二乘法的证明方法强于其他各界学者的证明方法.因此最小二乘法也被称为高斯—马尔可夫定理.于是“最小二乘法”便被高斯这样的数学天才带入了数学的世界，并为人们所探索、发现、理解与应用.2探究最小二乘法的意义目前，最小二乘法在参数估计、系统辨识、以及预测预报等众多领域中都得到了极为广泛的应用.尤其是在近代统计估计理论的概念、矩阵符号表示法和近代线性代数的概念及大型快速数字计算机的应用三个领域，更是得到了越来越广泛地应用和发展.而在这众多领域的广泛应用与发展也给最小二乘法的估计理论和实用都带来了深刻的影响.在每个领域中，对于最小二乘法的应用，其观测数值不可能完整无误，而观测精度总是存在一个极限值，若超过这个极限值，就会导致不是计算量的数学模型失效，就是3测量仪器的分辨力失效，或者两者都失效，且超过这个精度极限值，重复观测结果之间不会相互符合.处理不一致的数据的方法叫做统计学，确定唯一估值以及其优度的方法叫做统计估值法，最小二乘法是使不符值的平方和为最小的一种统计估计法.应当指出的是，还有其他方法也能得到唯一的估值.例如：使不符值的绝对值的和为最小的估值法，或使最大的不符值为最小的估值法.但与最小二乘法相比，这些方法都存在着许多不足和缺陷.因此，最小二乘法几乎成为获得唯一估值的标准方法.并在如今普遍运用于天文、运输、预测、物理等各个领域.所以，对最小二乘法的探究对各个领域的发展和应用都有着极为重要的意义.3最小二乘法的定义定义1（残差）：iiiyx)(),,2,1(mi，希望i尽可能小，常见方法有：(1)选取)(x，使偏差最大绝对值之和最小，即miiimiiyx11)(最小.(2)选取)(x，使偏差最大绝对值最小，即iimiimiyx)(maxmax11最小.(3)选取)(x，使偏差平方和最小，即miiimiiyx1212])([最小.我们称(3)为最小二乘法原则.定义2（最小二乘法）：根据已知数据组),(iiyx),,2,1(mi选取一个近似函数)(x，使得4mimiiiiyx1122])([最小.这种求近似函数的方法称为曲线拟合的最小二乘法，函数)(x称为这组数据的最小二乘函数.4最小二乘法的原理在实际应用中，我们经常需要观测两个函数关系的变量，根据两个量的许多组观测数据来确定他们的函数曲线.这类问题通常有两种处理方法：一种是两个观测量x与y之间的函数形式已知，但一些参数未知，需确定位置参数的最佳估计值；另一种是x与y之间的函数关系未知，需要找出它们之间的未知参数，后一种情况通常假设x与y之间的关系是一个待定的多项式，多项式系数就是待定的未知参数，从而可采取类似于前一种情况的处理方法.在两个观测量中，往往总有一个量精确度比另一个高得多，为简单起见把精确量较高的观测量看做没有误差，并把这个观测量选作x，而把所有误差只认为是y的误差，设x和y的函数关系由理论公式：fy（x；c1.c2.c3...cm）（0—0—1）给出，其中c1.c2.c3...cm是m个需要通过试验确定的参数，对于每组观测数据),(iiyxi=1.2.3...N.都对应于xy平面上的一个点，若不存在测量误差，则这些数据点都准确落在理论曲线上，只要选取m组测量值带入（0—0—1）中便得到方程组fyi（xi；c1.c2.c3...cm）（0—0—2）其中i=1.2.3...m，求m个方程的联立解即可得m个参数的数值，显然Nm时，参数不能确定.在Nm的情况下，式（0—0—2)成为矛盾方程组，不能直接用解方程的方法求得m个参数值，只能用曲线拟合的方法来处理.5应用最小二乘法解决实际问题5.1多项式拟合实例已知实验数据如表所示：5i012345678ix1345678910iy1054211234试用最小二乘法求它的二次拟合多项式解：设；拟合曲线方程为2210xaxaay列表如下：ixiy2ix3ix4ixiiyx2ix01101111010135927811545244166425616643522512562510504613621612966365714934324017496826451240961612853323813017253171471025得正规方程组：253173017381301738152381529210aaa102514732解得：4597.130a6053.31a2676.02a故拟合多项式为：22676.06053.34597.13xy5.2一元线性拟合实例测得铜导线在温度)(CTi时的电阻)(iR如表，用最小二乘法求电阻R与温度T的近似函数关系.6i0123456)C(iT19.125.030.136.040.045.150.0)(iR76.3077.8079.2588.8082.3583.9085.10解：画出散点图，可见测得的数据接近一条直线，故取n=1，拟合函数为TaaR10列表如下iiTiR2iTiiRT019.176.30364.811457.330125.077.80625.001945.000230.179.25906.012385.425336.080.801296.001908.800440.082.351600.003294.000545.183.902034.013783.890650.085.102500.004255.000Σ245.3565.59325.8320029.445正规方程组为83.93253.2453.245710aa=445.200295.565解方程组得：572.700a921.01a故R与T的拟合直线为：TR921.0572.70利用上述关系，可以预测不同温度时铜导线的电阻值.5.3非线性拟合实例已知一组数据如下表，在},,1{xxeespan中求其拟合函数.ix00.10.20.30.40.50.6iy22.202542.407152.615922.830963.054483.288767解设拟合函数为：xxeaeaaxp210)(即,1)(0x,)(1xexxex)(2代入得：G=54881.082212.1160665.064872.1167032.049182.1174082.034986.1120254.222140.1190484.010517.11111，y=28876.305448.383096.261592.240715.220254.22所以：GGT=15627.49999.629005.59999.679927.1363909.929005.563909.97，yGT=45687.1315718.2639981.18解正规方程组yGGGTaT得,98614.10a,01700.11a00304.12a故所求拟合曲线为：xxeey00304.101700.198614.16加权最小二乘法如今，最小二乘法出现了越来越的的形式，我们将