最小二乘法

基于最小二乘法的状态估计理论及实验仿真分析北方民族大学学士学位论文论文题目:基于最小二乘法的状态估计理论及实验仿真分析院(部)名称:信息与计算科学学院学生姓名:专业:学号:指导教师姓名:论文提交时间:论文答辩时间:（不填）学位授予时间:（不填）基于最小二乘法的状态估计理论及实验仿真分析I摘要最小二乘法是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。最小二乘法在科学上的应用广泛，特别是在用在科学实验上，用试验数据点来拟合曲线.本文探讨了最小二乘法原理以及与统计学的关系，用最小二乘法原理进行一元线性，多元线性和多项式的拟合讨论了各种线性拟合的方法，并运用实例来展示了最小二乘法在实践中的应用，在此基础上给出了几种最小二乘法程序的设计原理。关键词原理，实验，最小二乘法，线性拟合基于最小二乘法的状态估计理论及实验仿真分析IIAbstractTheleastsquaremethodisamathematicaloptimizationtechniques,Whichminimizethesquareerrorandfindthebestmatchingfunctionofasetofdata.Applicationofleastsquaremethodonsciencewidely,especiallyinusedinscientificexperiments,usingexperimentaldatatofitcurve.Thispaperdiscussestheprincipleofleastsquaremethodandstatistics,usingtheprincipleofleastsquaremethodforalinear,multivariatelinearandpolynomialdiscussesvariousmethodsoflinearfitting,andtoshowtheapplicationofleastsquaremethodinpracticalapplicationexamples,basedonthedesignprincipleofseveralleastsquaresprocedure.Keywordsprinciple,experiment,theleastsquaremethod,linearfitting.基于最小二乘法的状态估计理论及实验仿真分析III目录摘要......................................................................................................................1Abstract.................................................................................................................II第一章前言......................................................11.1最小二乘法的产生与发展..................................11.1.1最小二乘法的产生..................................11.1.2最小二乘法的发展..................................11.2最小二乘法与数理统计...................................1第二章最小二乘法................................................32.1最小二乘法的原理........................................32.2最小二乘法的统计学原理..................................4第三章最小二乘法的应用..........................错误!未定义书签。3.1一元线性拟合............................................63.2多元线性回归............................................93.3多项式线性回归.........................................133.4应用举例...............................................153.4.1线性拟合..........................错误!未定义书签。3.4.2多项式拟合.......................................16第四章最小二乘法的MATLAB实现..................................194.1一元线性拟合程序设计原理...............................194.2多元线性拟合程序设计原理...............................194.3MATLAB实例............................................20结束语.........................................................22参考文献.......................................................23谢辞..........................................................24基于最小二乘法的状态估计理论及实验仿真分析1第一章前言1.1最小二乘法的产生与发展1.1.1最小二乘法的产生在处理数据时,常要把实验获得的一系列数据点描成曲线反映物理量间的关系.为了使曲线能代替数据点的分布规律,则要求所描曲线是平滑的,既要尽可能使各数据点对称且均匀分布在曲线两侧.由于目测有误差,所以,同一组数据点不同的实验者可能描成几条不同的曲线(或直线),而且似乎都满足上述平滑的条件.那么,究竟哪一条是最曲线呢？这一问题就是“曲线拟合”问题.而最小二乘法就由此应运而生.意大利天文学家发现了一颗小行星,经过一段时间的观察,小行星运行到太阳的背后,由此失去了小行星的位置.随后世界科学家都相继用以前的观察数据来计算小行星的位置,高斯也利用最小二乘法来计算,后人用高斯的计算方法找到了小行星.并把高斯运用的最小二乘法称为高斯-马尔可夫定理.1.1.2最小二乘法的发展从发现最小二乘法到现在二乘法已经被应用到多个领域.如金融学、化学、物理、计算机这些基本的学科，而这些学科的发展都离不开运用数学这个工具,最小二乘法的发现又使近代统计估计理论的概念、矩阵符号表示法和近代线性代数的概念得到进一步的发展.1.2最小二乘法与数理统计美国统计学家施蒂格勒认为最小二乘法之于数理统计学,有如微分之于数学,这并非夸张之辞.他还认为,19世纪的数理统计学史,就是最小二乘法向各个领域拓展的历史.可以举出一两件事实来支持这个论点,席卷统计大部分的几个分支：方差分析、相关回归分析、线性模型理论等。所谓方差分析：就是检验同方差的若干正态母体均值是否相等的一种统计方法.最小二乘法在数据分析领域是一个很好的工具。就最小二乘法本身，虽然很实用，不过看上去更多的算是一个代数方法。虽然可以推导出最优解，对于解的误差有多大，无法给出有效的分析。而把正态分布和最小二乘法联系在一起，并使得正态分布在统计误差分析中确立了自己的定位.线性模型理论,众所周知线性模型的形式就是ax+b=y,最小二乘法就是通过实验测得的数据记在图上,根据图上的点画出直线或曲线如图一基于最小二乘法的状态估计理论及实验仿真分析2图一方差分析与线性模型在统计学中也占很大一部分.不少近代的统计学研究是也是在最小二乘法的基础上衍生出来的,作为其近一步发展或纠正其不足之处而采取的对策,这包括回归分析中一系列修正最小二乘法导致的估计方法.基于最小二乘法的状态估计理论及实验仿真分析3第二章最小二乘法2.1最小二乘法的原理假设x和y是具有某种相关关系的物理量,它们之间的关系可用下式给出：),,,,(21Ncccxfy（1）式中nccc，，21,是N个待定常数,即式（1)曲线形式已经确定,而曲线的具体形状是未定的.为求得具体曲线,可同时测得x和y的数值,设共获得m对观测结果：x1x2x3x…mxy1y2y3y…my(2)根据这些观测值来确定常数nccc，，21,设x,y关系的最佳形式为：)ˆ,,ˆ,ˆ,(ˆ21Ncccxfy(3)式中,Ncccˆ,,ˆ,ˆ21是c1,c2,…,cN的最佳估计值.若不存在测量误差,则各观测值都应落在曲线式（1）上,即：),,,,(21Niicccxfy(i=1,2,…,m)(4)但由于存在测量误差,因而是（4）与（3）不相重合,即有：iiiyyeˆ(i=1,2,…,m)(5)称ie为残差,它是误差的实测值.如果m对观测值中有比较多的y值落到曲线式（3）上,则所得曲线就能较为满意地反映被测物理量之间的关系.当y值落在曲线上的概率最大时,曲线式（3）就是曲线式（1）的最佳形式.如果误差服从)(^iyN，正态分布1,则),,(P21meee概率为：基于最小二乘法的状态估计理论及实验仿真分析4miiimyyeeeP122212)ˆ(exp21),,,((6)当),,(P21meee最大时,求得的曲线就应当是最佳形式.显然,此时下式应最小mimiiiieyy1122)ˆ((7)残差平方和最小,就应有：0,,0,021Nccc(8)0)ˆ,,ˆ,ˆ,((0)ˆ,,ˆ,ˆ,((0)ˆ,,ˆ,ˆ,((12112211121miNNiimiNiimiNiicfcccxfycfcccxfycfcccxfy(9)该方程组称为正规方程（normalequation）,解该方程组可得未定常数,通常称之为最小二乘法解.2.2最小二乘法的统计学原理最小二乘法拟合原理就是就是残差平方和最小，然后通过这个方程式求解，但是求得的曲线是否符合接近试验数据点.这就得看曲线拟合程度了.这就得用到统计学里的相关系数来加以判断。若),(是一个二维随机变量，且DEDE)(.)(E则称基于最小二乘法的状态估计理论及实验仿真分析5DD(C.))((),(C******），ovDEDEEEEEov为随机变量和的相关系数用R表示.其中E是一个离散随机变量),(21nxxx的数学期望iniipx.||E1)2,1(nipi为随机变量ix的概率.)(EDE))((),(CEEEov叫做协方差DE-*0*E基于最小二乘法的状态估计理论及实验仿真分析6第三章最小二乘法的应用3.1一元线性拟合1.已知函数为线性关系,其形式为：y=a+bx（1）式中a,b为要用实验数据确定的常数.此类方程叫线性回归方程,方程中的待定常数a,b叫线性回归系数.由实验测得的数据是nxxxx21,时,对应的y值是nyyyy21,由于实验数据总是存在着误差,所以,把各组数据代入(1)式中,两边并不相等.相应的作图时,数据点也并不能准确地落在公式对应的直线上,如第一章节中的图(一）所示.最好地拟合于各数据点的最佳曲线应使各数据点与曲线偏差的平方和为最小.因