最小二乘法的原理及在建模中的应用分析

(二〇一〇年六月本科毕业论文学校代码：10128学号：题目：最小二乘法的原理及在建模中的应用分析学生姓名：学院：系别：专业：班级：指导教师：副教授内蒙古工业大学本科毕业论文摘要最小二乘法是一种最基本、最重要的计算技巧与方法.它在建模中有着广泛的应用,用这一理论解决讨论问题具有简明、清晰的特点,特别在大量数据分析的研究中具有十分重要的作用和地位.随着最小二乘法理论不断的完善,其基本理论与应用已经成为一个不容忽视的研究课题.本文共分三部分.绪论主要介绍最小二乘法的起源、基本概念以及本文的主要工作;第一章阐述了最佳平方逼近和曲线拟合的算法,并做出二者的流程图,接着对曲线拟合的线性和非线性模型给出求解方法,最后总结出常用的模型函数以及线性化方法;第二章首先通过解决实际算例,阐述如何克服病态方程,然后通过预测研究生招生人数,阐明它在建模中的作用,并作简单的分析,最后做出了总结.关键词:最小二乘法;最佳平方逼近;曲线拟合;病态方程;Matlab内蒙古工业大学本科毕业论文AbstractLeast-squaremethodisoneofthemostfundamentalandmostimportantcalculationmethodsandskillsinmodeling.Itiswidelyusedinsolvingthistheory,discusstheproblemwithconcise,clearcharacteristics,especiallyintheresearchofdataanalysisplaysaveryimportantroleandstatus.Withtheleastsquaretheoryconstantly,perfectthebasictheoryandapplicationhasbecomeaseriousresearchtopic.Thepaperhasthreepartsaremainlyintroduced.Introductiontotheoriginofleastsquares,basicconceptsandthemainjob,Thefirstchapterdescribesbestsquareapproximationandthecurvefitting,thealgorithmandtheflowchart,thenbothofthecurvefittingislinearandnonlinearmodelofsolvingmethod,andfinallysummarizescommonmodelfunctionandlinearizationmethod,Thesecondchapterfirstthroughsolvingpracticalexamples,thispaperdiscusseshowtoovercomethepathologicalequation,andthenthroughthepredictionofgraduatestudentrecruitstudentsnumber,expoundsitsroleinmodelingandsimpleanalysis,finallymadeasummary.Keywords:Least-squaremethod;Thebestsquareapproximation;Thecurvefitting;Psychopathicequation;Matlab内蒙古工业大学本科毕业论文目录绪论.................................................................1第一章最小二乘法概述..................................................31.1预备知识........................................................31.2最佳平方逼近问题................................................41.3曲线拟合问题....................................................61.4曲线拟合的模型分类..............................................81.4.1线性模型..................................................81.4.2非线性模型...............................................111.5总结...........................................................13第二章最小二乘法在建模中的应用.......................................162.1应用举例.......................................................162.2病态方程.......................................................182.3建模分析.......................................................202.4总结...........................................................24参考文献..............................................................25附录A最佳平方逼近流程图..............................................26附录B曲线拟合流程图..................................................27附录C部分Matlab程序.................................................28谢辞................................................................33内蒙古工业大学本科毕业论文1绪论在科学研究中,为了揭示某些相关量之间的关系,找出其规律,往往需要做数据拟合,其常用方法一般有传统的插值法、最佳一致逼近多项式、最佳平方逼近、最小二乘拟合、三角函数逼近、帕德（Pade）逼近等,以及现代的神经网络逼近、模糊逼近、支持向量机函数逼近、小波理论等.其中,最小二乘法是一种最基本、最重要的计算技巧与方法.它在建模中有着广泛的应用,用这一理论解决讨论问题简明、清晰,特别在大量数据分析的研究中具有十分重要的作用和地位.随着最小二乘理论不断的完善,其基本理论与应用已经成为一个不容忽视的研究课题.1.最小二乘法的起源与基本概念1805年勒让德(Legendre)发表的论著《计算彗星轨道的新方法》附录中,最早提到最小二乘法,Legendre之所以能做出这个发现,是因为他没有因袭前人的方法—要设法构造出k个方程去求解,他认识到关键不在于使某一方程严格符合,而在于要使误差以一种平衡的方式分配到各个方程,具体地说,他寻求这样的值,使得20111()niiikkixxx达到最小.1809年,高斯(Gauss)发表论著《天体运动理论》,对其误差进行了研究,再该书末尾,他写了一节有关“数据结合”的问题,以及其简单的手法导出误差分布-正态分布,并用最小二乘法加以验证.关于最小二乘法,Gauss宣称自1795年以来他一直使用这个原理.这立刻引起了Legendre的强烈反击,他提醒说科学发现的优先权只能以出版物确定,并严斥Gauss剽窃了他人的发明.他们间的争执延续了多年.因而,这俩位数学家之间关于优先权的争论仅次于牛顿(Newton)和莱布尼兹(Leibniz)之间关于微积分发明的争论.现在一般认为,二人各自独立的发明了最小二乘法.尽管早在10年前,Gauss就使用这个原理,但第一个用文字形式发表的是Legendre.最小二乘法在19世纪初发明后,很快得到欧洲一些国家的天文学家和测地学家的广泛关注.同时,误差的分布是“正态”的,也立刻得到天文学家的关注.正态分布作为一种统计模型,在19世纪极为流行,一些学者甚至把19世纪的数理统计学称为正态内蒙古工业大学本科毕业论文2分布的统治时代.综上可知,Legendre和Gauss发现最小二乘法是从不同的角度人手的:一个是为解线性方程组,一个是寻找误差函数;一个用的是整体思维,考虑方程组的均衡性,一个用的是逆向思维,首先接受经验事实,一个是纯代数方法,一个致力于应用.相比而言,高斯不愧为数学王子,他把最小二乘法推进得更远、更深刻,这极大地推进了数理统计学的发展.发展至今,其已在各个方面有了应用.其基本原理如下.基本原理:在自然科学和工程实践中,经常会遇到寻求经验公式问题.由实验或观测得到一组数据(,)iixy(1,2,)im,而各ix是不同的,且设()iiyfx,通过这些数据,我们求一曲线()nySx,在函数空间,{1,,}ispanin中寻找一个逼近函数()yfx由于观测有误差,因此()()iniiSxfx并不为零.但要求2211[()()]minmminiiiiSxfx这就是曲线拟合的最小二乘问题.2.选题背景与本文的主要工作在科学研究中,为了揭示某些相关量之间的关系,找出其规律,往往需要求解其函数解析式.一种方法是采用插值逼近法,即所构造的近似函数()x在已知节点ix上必须满足()iixy要求逼近函数()ix与被逼近函数()fx在各已知点ix处的误差为零,即要求()x的曲线必须通过所有的点,常用的插值法有拉格朗日(Lagrange)插值,牛顿(Newton)插值,埃尔米特(Hermite)插值等.另一方面,由于观测数据较多,一般不用插值法,而是用拟合的方法.即只要找到一条曲线,即能反映给定数据的一般趋势,又不出现局部较大的波动即可,只要()x与()fx的偏差满足某种要求就行了.这种数据间的非确定关系需要统计方法来描述,最常用的方法就是数据拟合.数据拟合就是找一种函数的解析表达式或近似表达式来描述这组数据间的函数关系,通常用到最小二乘法.数据拟合的最小二乘法通过最小化误差的平方和,寻找数据的最佳函数.利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小.本文就是在这样的背景下,第一章主要介绍了最小二乘法的原理,对最佳平方逼近和曲线拟合给出求解方法,总结了非线性模型下最小二乘法的求法.第二章主要讲述其在实际中的应用,以及如何克服法方程病态的方法.最后通过实例阐述其在建模中的作用.内蒙古工业大学本科毕业论文3第一章最小二乘法概述最小二乘法通过最小化误差的平方和来寻找数据的最佳函数匹配.利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小.在下面的章节中我们主要分析最小二乘法的原理,分别对最佳平方逼近和曲线拟合做了简单概述,重点对曲线拟合的非线性模型给出总结.1.1预备知识定义1.1设在区间(,)ab上非负函数()x,满足条件:1)()bnaxxdx存在(0,1,)n;2)对非负的连续函数()gx,若()()0bagxxdx则在(,)ab上()0gx就称()x为区间(,)ab上的权函数.定义1.2设(),()[,]()fxgxabx，是[a,b]上的权函数,积分()()()bafgxgxfxdx（,）=称为函数()fx与()gx在[,]ab上的内积.定义1.3内积若满足下列四条公理:1)(,)(,)fggf2)(,)(,)cfgcfg,c为常数