曲线拟合的最小二乘法

3.1问题的提出–函数解析式未知,通过实验观测得到的一组数据,即在某个区间[a,b]上给出一系列点的函数值yi=f(xi)xx1x2……xmyy1y2……ym第三章曲线拟合的最小二乘法3.2.曲线拟合的最小二乘法数据含有误差。节点上的函数值是由实验或观测得到的数据，不可避免地带有测量误差，如果要求所得的近似函数曲线精确无误地通过所有的点(xi,yi),就会使曲线保留着一切测试误差。当个别数据的误差较大时,插值效果显然是不理想的。数据量很大。由实验或观测提供的数据个数往往很多,如果用插值法,势必得到次数较高的插值多项式，这样是不可行的。为此,我们希望从给定的数据(xi,yi)出发,构造一个近似函数,不要求函数完全通过所有的数据点，只要求所得的近似曲线能反映数据的基本趋势，如图3.1所示。)(x)(xyox图3.1曲线拟合示意图曲线拟合:求一条曲线,使数据点均在离此曲线的上方或下方不远处,所求的曲线称为拟合曲线,它既能反映数据的总体分布,又不至于出现局部较大的波动,更能反映被逼近函数的特性,使求得的逼近函数与已知函数从总体上来说其偏差按某种方法度量达到最小。与函数插值问题不同,曲线拟合不要求曲线通过所有已知点,而是要求得到的近似函数能反映数据的基本关系。在某种意义上,曲线拟合更有实用价值。函数插值是插值函数P(x)与被插函数f(x)在节点处函数值相同,即而曲线拟合函数不要求严格地通过所有数据点,也就是说拟合函数在xi处的偏差(亦称残差）不都严格地等于零。但是,为了使近似曲线能尽量反映所给数据点的变化趋势,要求按某种度量标准最小。若记向量,即要求向量的某种范数最小,如的1-范数或∞-范数即)()(iixfxP(1,,)im)(x),(iiyx)(x()()iiixfx(1,,)imi1,,Tmeeee1ee111()()mmiiiiiexfxmaxmax()()()iiiiiexfx最大偏差或最小。为了便于计算、分析与应用，通常要求的2-范数e112222211()()mmiiiiiexfx（均方误差）222211()()mmiiiiiexfx即为最小。这种要求误差（偏差）平方和最小的拟合称为曲线拟合的最小二乘法。一般曲线拟合的最小二乘法的求法001102010011100111:()()()()(),,,[()()()]min,0()[()()()]0(0,1,,)()nnnkkkmniinniiikmkiiinniiixaxaxaxaxSaaaaxaxaxySSaxaxaxaxyknhx设拟合函数为由最小二乘原则应使对函数求偏导数并令其为零可得若对于任意函数1,():,()()miiigxhghxgx引入记号000010n01101111n0n1n0011n01,,,,(0,1,,)(),,,,,,,,,(),,,,,,()nnnkknknknaaafafafaknxxxf称为法方程即写成矩阵组形式为或正规方程组。当线性无关时，方程组有唯一解。1110211111112111101()1,(),,(),mmmniiiiiimmmmniiiiiiiiinmnnmmmnnnniiiiiiiiimxxyaxxxaxyaxxxxxxxxxy取相应的法方程组为例1设有某实验数据如下：12341.361.371.952.2814.09416.84418.47520.963iixiy用最小二乘法求以上数据的拟合函数.解:把表中所给数据画在坐标纸上,将会看到数据点的分布可以用一条直线来近似地描述,故设拟合直线为记x1=1.36,x2=1.37,x3=1.95x4=2.28,y1=14.094,y2=16.844,y3=18.475,y4=20.963则正规方程组为01()xaax4401114442011114iiiiiiiiiiiaaxyaxaxxy32.741iix8434.13412iix376.7041iiy12985.13241iiiyx其中将以上数据代入上式正规方程组,得12985.1328434.1332.7376.7032.741010aaaa013.9374,7.4626aa解得即得拟合直线xy4626.79374.3例2设某实验数据如下：123456012345521123iixiy用最小二乘法求一个多项式拟合这组数据.解：将已给数据点描在坐标系中，可以看出这些点接近一条抛物线，因此设所求的多项式为2210xaxaay由法方程组,经计算得m=6,612616161461361261122,30,14,797,225,55,15iiiiiiiiiiiiiiiiyxyxyxxxx其法方程组为122979225553022555151455156210210210aaaaaaaaa解之得5000.0,7857.2,7143.4210aaa25000.07857.27143.4xxy所求的多项式为（4）可化为线性拟合的非线性拟合对于一个实际的曲线拟合问题，一般先按观测值在直角坐标平面上描出散点图，看一看散点的分布同哪类曲线图形接近，然后选用合适的拟合函数。非线性拟合函数可以通过变量替换转化为线性拟合问题，按线性拟合解出后再还原为原变量所表示的曲线拟合方程。表3-4列举了几类经适当变换后化为线性拟合求解的曲线拟合方程及变换关系表3-4曲线拟合方程变换关系变换后线性拟合方程bxyaeln,yy(ln)yabxaabaxxyxxyy1,1xbaybaxy1yy1yaxbcbxaxy21yy1cbxaxy2cbxaxxy2yxycbxaxy2几种常见的数据拟合情况。图(a)数据接近于直线，故宜采用线性函数拟合；图(b)数据分布接近于抛物线可采拟合二次多项式拟合；xaay102210xaxaayyyOxOx(a)(b)图(c)：开始曲线上升较快随后逐渐变慢,宜采用双曲线型函数或指数型函数图(d)：开始曲线下降快,随后逐渐变慢,宜采用或或等数据拟合。bxaxyxbaeybxaxy2bxaxybxaeyyyOxOx(c)(d)例3设某实验数据如下:12345600.511.522.52.01.00.90.60.40.3iixiy用最小二乘法求拟合曲线。解:将已给数据点描在坐标系中下图所示,可以看出这些点接近指数曲线,因而可取指数函数作为拟合函数.对函数两边取对数得.令就得到线性模型bxaeybxaeybxaylnln01ln,ln,yyaaabxaay10则正规方程组为6601116662011116lnlniiiiiiiiiiiaaxyaxaxxy其中5.761iix75.13612iix043302.2ln61iiy714112.5ln61iiiyx将以上数据代入上式正规方程组，得714112.575.135.7043302.25.761010aaaa解得772282.0,562302.010aa由得aaln000.5623021.754708,aaeeba1772282.01ab由得于是得到拟合指数函数为xey772282.0754708.1小结插值法和曲线拟合的最小二乘法都是实用性很强的方法。它们解决的实际问题虽然各式各样，但抽象为数学问题却有它的共性，即利用已知的数据去寻求某个较为简单的函数P(x)来逼近f(x)。插值法和曲线拟合的最小二乘法分别给出了寻求这种近似函数的两类不同的原则，以及构造近似函数的几种具体方法。其中插值法要求近似函数在已知的数据点必须与f(x)完全一致，曲线拟合法不要求点点一致而只须满足一定的整体逼近条件。插值法中的拉格朗日插值多项式是研究数值微积分与微分方程数值解的重要工具。牛顿插值多项式是拉格朗日插值多项式的变形，具有承袭性，比拉格朗日插值多项式节省计算量。分段低次多项式插值由于具有良好的稳定性与收敛性，且算法简单，便于应用。特别是应用广泛的三次样条插值，不但有较好的稳定性和收敛性，而且具有较好的光滑性，从而满足了许多实际问题的要求。需对样条函数作进一步了解的读者可参阅有关文献曲线拟合的最小二乘法是处理实验数据的常用方法。本章主要介绍了最小二乘法的基本原理和线性最小二乘问题的求解方法。多项式拟合是线性最小二乘拟合问题的一种特殊情况,其特点是拟合多项式形式简单,但当n较大时,法方程组往往是病态的。用正交多项式进行曲线拟合，避免了法方程组病态所造成的麻烦。关于非线性最小二乘曲线拟合问题,一般求解比较困难,但对一些特殊情形,可以转换为线性最小二乘拟合问题。作业P89习题三：1Thankyouverymuch!