计算方法课件-第六章最小二乘法与曲线拟合

第六章最小二乘法与曲线拟合§6.0问题的提出§6.1用最小二乘法求解矛盾方程组§6.2多项式拟合如果实际问题要求解在[a,b]区间的每一点都“很好地”逼近f(x)的话，运用插值函数有时就要失败。另外，插值所需的数据往往来源于观察测量，本身有一定的误差。要求插值曲线通过这些本身有误差的点，势必使插值结果更加不准确。如果由试验提供的数据量比较大，又必然使得插值多项式的次数过高而效果不理想。§6.0问题的提出从给定的一组试验数据出发，寻求函数的一个近似表达式y=(x)，要求近似表达式能够反映数据的基本趋势而又不一定过全部的点(xi,yi)，这就是曲线拟合问题，函数的近似表达式y=(x)称为拟合曲线。本章介绍用最小二乘法求拟合曲线。§6.1用最小二乘法求解矛盾方程组一、矛盾方程组的定义设线性方程组或写为其矩阵形式为NnNnNNnnnnbxaxaxabxaxaxabxaxaxa22112222212111212111),,2,1(1NjbxainjjijbxA当方程组的系数矩阵合增广矩阵的秩不相等时，方程组无解，此时方程组称为矛盾方程组。对于rankA＝n（A的秩为n）的矛盾方程组（Nn），我们寻求其最小二乘意义下的解。二、用最小二乘法求解矛盾方程组1.最小二乘原则由于矛盾方程组的精确解不存在，我们转而寻求其某种意义下，即最小二乘意义下的解。令),,2,1(1Nibxainjjiji称为偏差。i达到最小值，这一条件称为最小二乘原则。工程实际中的许多问题都可以归结为矛盾方程组，实际中需要寻求矛盾方程组的一组解，以使得偏差的绝对值之和尽可能地小。为了便于分析计算和应用，常采用使偏差的平方和Nii1NiinjjijNiibxaQ12112按照最小二乘原则来选择未知数x1,x2,…,xn的一组取值的方法称为求解矛盾方程组的最小二乘法。符合条件的一组取值称为矛盾方程组的最小二乘解。把Q看成是n个自变量x1,x2,…,xn的二次函数，记为Q＝f(x1,x2,…,xn)，因此，求矛盾方程组的最小二乘解就是求二次函数Q＝f(x1,x2,…,xn)的最小值点。问题：二次函数Q＝f(x1,x2,…,xn)是否存在最小值？若最小值存在，如何求出该最小值点？2.最小二乘解的存在唯一性引理1：设n元实函数f(x1,x2,…,xn)在点P0(a1,a2,…,an)的某个邻域内连续，且有一阶及二阶连续的偏导数，如果(1)(2)矩阵),,2,1(00nkxfPk0000000002222122222212212212212PnPnPnPnPPPnPPxfxxfxxfxxfxfxxfxxfxxfxfM是正（负）定矩阵，则f(a1,a2,…,an)是n元实函数f(x1,x2,…,xn)的极小（大）值。引理2：设非齐次线性方程组的系数矩阵A=(aij)N×n，若rankA=n，则bxA(1)矩阵ATA是对称正定矩阵；(2)n阶线性方程组有唯一的解。bAxAATT证明：（1）矩阵ATA显然是对称矩阵。设齐次线性方程组0xA因为rankA=n，故齐次方程组有唯一零解。因此，对于任意的，有，从而0x0xA0)()()(xAAxxAxATTT故矩阵ATA是对称正定矩阵。(2)因为矩阵ATA是正定矩阵，故rank(ATA)=n，从而线性方程组有唯一的解。bAxAATT证毕定理：设矛盾方程组的系数矩阵的秩为n，则二次函数NiinjjijnbxaxxxfQ12121),,,(一定存在最小值。证明：因为Q是x1,x2,…,xn的二次函数，故Q不仅是连续函数，且有连续的一阶及二阶偏导数。因为)(2)(2)(2112221111njNjNjNknjjjknjjjkkbxaabxaabxaaxQ引理2说明,在条件RankA=n下,无论线性方程组Ax=b是否有解,构造的n阶方程组ATAx=ATb一定有唯一解。njNjNjnjjjnjjjNkkkbxabxabxaaaa1122111212)(221bxAaaaNkkk故)(2)(221bAxAAbxAAxQxQxQTTTn令),,2,1(0nkxQk即bAxAATT（*）因为rankA=n，故由引理2知，上式有唯一解。设解为x1=a1,x2=a2,…,xn=an，记为点P0(a1,a2,…,an)，即二元函数Q存在点P0，使。故满足引理1的条件（1）。),,2,1(00nkxfPk因为),,2,1,(2)(2122112ntkaaaaaaaaxxQNiitikNtNktktktk故AAaaaaaaaaaaaaaaaaaaaaaMTNiinNiiniNiiniNiiniNiiniNiiiNiiNiiiNiiniNiiiNiiiNii22121312111213212212111131121121由引理2知，当rankA=n时，矩阵M是对称正定阵，M满足引理1的条件（2），故由引理1知，二次函数Q存在极小值。又因方程组（*）式有唯一解，故Q存在的极小值就是最小值，线性方程组（*）式的解就是最小值点。证毕Remark1：线性方程组（*）式称为正则方程组。Remark2：该定理说明，只要矛盾方程组的系数矩阵A的秩rankA=n，则（1）矛盾方程组的最小二乘解存在；（2）正则方程组有唯一解，此解就是矛盾方程组的最小二乘解。3.最小二乘法解矛盾方程组计算步骤：（1）判断方程组的秩是否满足rankA=n？（2）写出正则方程组；（3）求解正则方程组，其解就是矛盾方程组的最小二乘解。一、曲线拟合模型确定曲线的类型：一般选取简单的低次多项式。定义：依据某种标准选择一条“最好”的简单曲线作为一组离散数据的连续模型。Niiiyx0),(§6.2多项式拟合求一个次数不高于N－1次的多项式：)1()(2210Nmxaxaxaaxymm（其中a0,a1,…,am待定），使其“最好”的拟合这组数据。“最好”的标准是：使得(x)在xi的偏差),,2,1()(Niyxiii的平方和NiiiNiiyxQ1212)(达到最小。由于拟合曲线y=(x)不一定过点(xi,yi)，因此，把点(xi,yi)带入y=(x)，便得到以a0,a1,…,am为未知量的矛盾方程组NmNmNNmmmmyxaxaxaayxaxaxaayxaxaxaa22102222221011212110其矩阵形式为bxA其中NmmNNNmmyyybaaaxxxxxxxxxxA2110222221211,,111(x)在xi的偏差就是矛盾方程组各方程的偏差。曲线拟合的条件就是确定a0,a1,…,am，使得偏差的平方和Q达到最小值。bAxAATT据此可知，a0,a1,…,am就是矛盾方程组的最小二乘解，也就是正则方程组的解。二、曲线拟合的最小二乘解法NiimiNiiiNiiTNimiNimiNimiNimiNimiNiiNiiNiiNimiNiiNiiTyxyxybAxxxxxxxxxxxNAA111121211111131211121,正则方程组为：NiimiNimimNimiNimiNimiNiiiNimimNiiNiiNiiNiiNimimNiiNiiyxxaxaxaxayxxaxaxaxayxaxaxaNa112122111101111321211011122110三、解的存在唯一性定理：设x1,x2,…,xN互异，且Nm+1，则上面的正则方程组有唯一的解。证明：只需证明矛盾方程组的系数矩阵A的秩rankA=m＋1。矛盾方程组的系数矩阵A是N×(m+1)的矩阵，记A的前m＋1行构成m＋1阶子矩阵mmmmmmxxxxxxxxxA1211222212111111该矩阵是范德蒙矩阵，由x1,x2,…,xN互异知行列式不为零，从而有rankA=m＋1。由引理2知，正则方程组有唯一解。证毕四、最小二乘法拟合曲线的步骤1..通过观察、分析得到拟合曲线的数学模型，或根据经验公式确定数学模型。2.将拟合曲线的数学模型转换为多项式。3.写出矛盾方程组。4.写出正则方程组。（可由多项式模型直接得到）5.求解正则方程组，得到拟合曲线的待定系数。6.将正则方程组的解带回到数学模型中，得到拟合曲线。Remark1.同一问题可以有不同的拟合曲线，通常根据均方误差和最大偏差的大小来衡量拟合曲线的优劣。均方误差和最大偏差较小的拟合曲线为较优的拟合曲线。Niiiyx12])([iiNiyx)(max12.在解决实际问题时，有时通过观察选择多个函数类型进行计算、分析、比较，最终获得较好的数学模型；有时把经验公式作为数学模型，只是用最小二乘法来确定公式中的待定常数。Remark3.当拟合曲线(x)中的待定常数是线性形式时，可直接根据矛盾方程组得到正则方程组而求解。当待定常数不是线性形式时，则应该先将待定常数线性化，再根据矛盾方程组写出正则方程组而求解。例1：bxaeybxaylnlnbBaAyu,ln,lnBxAubxay1bxay1yu1bxau例2：曲线拟合应用实例:例1:试用最小二乘法求一个形如(a,b为常数)的经验公式,使它与下列数据相拟合(取四位小数)xi12345678yi15.320.527.436.649.165.687.8117.6bxaey解:由于经验公式中待定常数a,b是非线性形式,故做如下变形:bxaylnlnbBaAyu,ln,ln令:BxAu则有:将x,u带入得到关于A,B的矛盾方程组，进而得正规方程组并求出A,B，由A,B得到a,b即可。（具体计算数据见书P141页例6.3）例2.对彗星1968Tentax的移动在某极坐标系下有如下表所示的观察数据，假设忽略来自行星的干扰,坐cos1epr标应满足：其中：p为参数，e为偏心率,试用最小二乘法拟合p和e。r2.702.001.611.201.02480670830108012600.3703700.500000.6211180.833330.9803920.6691310.3907310.121869-0.309017-0.587785ry1cost解:变形为:则有如下数据,cos11pepr记，得拟合模型：pebpa,1ybta则矛盾方程组为：980392.0833333.0621118.0500000.0370370.0587785.01309017.01121869.01390731.01669131.01ba得正则方程组为：