计算方法第五章最小二乘逼近

最佳逼近第五章§1.离散最小二乘逼近例5.1.1考察某种纤维的强度与其拉伸倍数的关系,下表是实际测定的24个纤维样品的强度与相应的拉伸倍数的记录:编号拉伸倍数强度编号拉伸倍数强度11.91.41355.5221.3145.2532.11.81565.542.52.5166.36.452.72.8176.5662.72.5187.15.373.531986.583.52.72087944218.98.51043.52298114.54.2239.58.1124.63.524108.1iiyxiiyx科学试验、统计分析获得大量数据。试确定因变量y与自变量x之间的近似表达式。已知一组数据(xi,yi),yi=f(xi)，i=1,2,…,m。方法一：插值方法二：曲线拟合或记Q=(φ(x1),φ(x2),…,φ(xm)),Y=(y1,y2,…,ym),则有Q=Y.构造插值函数φ(x)来逼近f(x),则有φ(xi)=f(xi)=yi,i=1,2,…,m。如果数据不能同时满足某个特定函数，而要求所求的逼近函数“最优地”靠近数据点，即向量Q与Y的误差或距离最小。按Q与Y的误差最小原则作为最优标准所构造出的函数，我们称为拟合函数。拟合和插值都可构造逼近函数当数据量特别大时一般不用插值法。这是因为数据量很大时所求插值曲线中的未知参数就很多，而且数据量很大时，多项式插值会出现高次插值（效果不理想）或分段低次插值（精度不高）；另外，测量数据本身往往就有误差，所以，使插值曲线刻意经过这些点也没有必要。而曲线拟合首先根据物理规律或描点画草图确定一条用来拟合的函数曲线形式，也可选择低次多项式形式（所含参数比较少），然后按最小二乘法求出该曲线，它未必经过所有已知点，但它能反映出数据的基本趋势，且误差最小，效果比较好。1234567891012345678912345678910123456789纤维强度随拉伸倍数增加而增加系要关系应是线性关的主与拉伸倍数因此可以认为强度xy并且24个点大致分布在一条直线附近01()Fxx为待定参数其中10,从一组试验数据中寻找自变量x与因变量y之间的函数关系y=F(x).01()(,)()()(,)iiiiyFxxyFxxxy我们不要求经过所有点，而只要求与所有的数据点样本点越接近越好。必须找到一种度量标准来衡量什么曲线最接近所有数据点！(),iiiFxy令常见做法有：在回归分析中称为残差1|||()|kkkyFx1km（）使残差的最大绝对值max达到最小；12(,,...,).Tm记()(,)iiFxxy通常使用某种范数作为衡量与数据点偏离程度大小的度量标准，即要求向量按某种范数取最小。1|()|mkkkyFx（2）使残差绝对值的和达到最小；21[()]mkkkyFx（3）使残差的平方和达到最小。称为最小二乘逼近太复杂不可导，求解困难确定拟合曲线的方法：例5.1.2在多个景点之间修一条主干道。已知景点(xi,yi),i=1,2,…,m.设φ(x)=a+bx,求a，b使残差的平方和达到最小。记δi=φ(xi)–yi，222111(,)(),,,(,)mmmiiiiiiiiQabxyabxyabQab即找使达到最小。（1）选择曲线类型；（2）若曲线类型难以确定，画散点图；（3）用多种曲线类型拟合，选择最小二乘法意义下误差最小的拟合曲线。参数a和b必须满足一阶必要条件：若取F(x)=a+bx，此时最小二乘逼近称为最小二乘拟合直线221(,)[()].mkkkSabyabx221(,)[()]min,mkkkSabyabx一、最小二乘拟合直线记要使22(,)0,(,)0,SabaSabb即2121(,)2[()]0,(,)2[()]0.mkkkmkkkkSababxyaSababxyxb化简得112111,.mmkkkkmmmkkkkkkkmaxbyxaxbxy称为正规方程组或法方程组2121(,)2[()]0,(,)2[()]0.mkkkmkkkkSababxyaSababxyxb112111mmiiiimmmiiiiiiiamxyxxxyb，或解之得2111122111112211,.mmmmkkkkkkkkkmmkkkkmmmkkkkkkkmmkkkkxyxxyamxxmxyxybmxx11,mkkxxm11,mkkyym记则可得112111mmiiiimmmiiiiiiiamxyxxxyb，121()(),.()mkkkmkkxxyybaybxxx2121212121111956,344,18913,61640.iiiiiiiiixyxyx21956344,9566164018913ab例5.1.3给出21组数据，用线性函数拟合鱼的种类和鱼的数量的关系，m=21。解设p(x)=a+bx,经计算：法方程组：8.20840.1795ab()8.20840.1795.pxx二、一般最小二乘拟合多项式01()...nnpxaaxax20112011min(,,...,):(())(...).mnkkkmnknkkkSaaapxyaaxaxy对于离散数据:(xk,yk),k=1,2,…,m,用n(nm)次多项式来拟合曲线。设多项式的系数是下述极小值问题的解：01()...(nnpxaaxaxnpxxy最小二乘拟合多项式最佳平方逼则称为给定数据的次或，也称）为变量和之间的或。给定近的多项式经验数据也称为公式拟数学模型合数据。一阶必要条件：0,0,1,...,.jSjna直接计算易得110011()2(())2()2(),0,1,...,.mkkkkjjmnijikkkkinmmijjkikkikkpxSpxyaaaxyxxayxjn2011210(,,...,):(())()mnkkkmniikkkiSaaapxyaxy故011()0,0,1,...,,nmmijjkikkikkxayxjn或1(())0,0,1,...,.mjkkkkpxyxjn称为正规方程组。可表示为11102111111121111.....................mmmnkkkkkkmmmmnkkkkkkkkknmmmmnnnnkkkkkkkkkmxxyaxxxayxaxxxyx例5.1.4用二次多项式函数拟合如下数据:xi-3-2-10123yi4230-1-2-5解23420,28,0,196,1,39,7.iiiiiiiiixxxxyxyxy设p(x)=a0+a1x+a2x2,形成正规方程组：m=7.约定直接计算有：71,i2023123422.iiiiiiiiiiiiimxxyaxxxaxyaxxxxy定义5.1.1三、一般最小二乘拟合问题0101(),(),...,()X,,...,nnxxxccc设函数组定义在实数集上。如果存在不全为零的实数，使得0011()()()0,nncxcxcxxX0101(),(),...,()X(),(),...,()Xnnxxxxxx成立，则称函数组在上；线性否则，称函数组在相关上线性无关。例如：1(1)X[]na,bnxxX设为区间或者为至少含有个不同实数的点集，则多项式组1,,...,在上线性无关。sin,sin2,...,sin)((12)kxxnxkxk=1,...,n-1n正弦函数组在点集X={=,}上线性无关。01...,...,,...,nnnnaaxaxxxxx由定义可知：多项式可视为由线性无关的函数组1,（称为基函数）张成的线性空间span{1,}中的元素。一般地，01(),(),...,()Xnxxx设函数在上线性无关，称0011()()()...()nnpxaxaxax为定义在X上的广义多项式，记为01(){(),(),...,()}.npxspanxxx121sinsin2...sin(1)nkaxaxanxx由此可见，k为定义在X={=,k=1,2,...,n-1}上的广义多项式。n222211(()),mmiiiiipxy定义残差的平方和：最小二乘问题为：求解极小值问题2221min.mii加权最小二乘拟合问题(,)(1,2,...,)iixyim对于一组给定的数据点(,)(1,2,...,)iixyim在拟合的数据点中各点的重要性可能是不一样的的重度表示数据点假设),(iiiyx重度:即权重或者密度，统称为权系数1,2,...,im定义加权残差的平方和为2221miii21(())miiiiyxy2211mmiiiii即，在最小二乘中，用更一般的加权平均代替。最小二乘问题可推广如下：(,)1,2,...,,kkxyxym设有关于变量和的一组数据，k0112(),(),...,()X={,,...,}nmxxxxxx且函数在上线性无关，010011,,...,()()()...()nnnaaanmpxaxaxax参数()使得多项式满足2011(,,...,):(())min,mnkkkkSaaapxy12,,...,0m其中，0011()()()...()nnpxaxaxax则称12,,...,m带权系数最小二乘拟合多项式最佳平为给定数方逼近据的的或多项式。由多元函数取极值的必要条件0,0,1,...,,kSkna10()()00,1,...,.mnijjiikiijaxyxkn，得即101()()()0,1,...,.mnmijjikiiikiijiaxxyxkn，011()()(),0,1,...,.nmmijikijiikijiixxayxkn20110(,,...,)()mnnijjiiijSaaaaxy10()()()00,1,...,.mnijjikiikiijaxxyxkn，00111111()()()()...()()()0,1,...,.mmmiikiiikininikiiiimiikiiaxxaxxaxxyxkn，即000()()(),0,1,...,.nmmijikijiikijiixxayxkn01,,...,1naaan显然上式是