数值计算方法-第6章-函数逼近

第6章函数逼近实际问题中,通过测量或数值计算得到一批离散的数据,希望通过某种函数(曲线)来描述它,且使得它在某种意义下最“贴近”这批数据,这就是数据拟合,也称为函数逼近.一组实验数据:函数逼近的概念函数逼近的例子i1234Xi2468yi1.12.84.97.2从图形上可看出,数据分布接近于直线:yaxb如何选取a,b,使得直线“最好”地贴近于数据点?记,*iiyaxb*iiiyy残差评判残差大小的标准?衡量残差大小的标准①使残差的绝对值之和最小,即:minii第6章函数逼近这一标准虽然简单,但使用上不太方便.②使残差绝对值最大的分量达到最小,即:maxminii这一方法称为最佳一致逼近.③使残差的平方和达到最小,即:2minii这一方法称为最佳平方逼近,通常也称为曲线(数据)拟合的最小二乘法.该方法较简单,是应用中常用的一种方法.一.数据拟合的最小二乘法多项式拟合(xi,yi)第6章函数逼近最小二乘法的基本思想一组给定的数据点(i=0,1,…n)选取近似函数类H,寻求函数使得(),xH2211[()]nniiiiiyx最小.01()mmmPxaaxax()mn即,(,)(1,,)iixyin要求F(a0,…,am)极小H通常采用比较简单的函数类,如低阶多项式,指数函数等.2211[()]min[()]nniiiiHiiyxyx方法数据点:m次多项式:残差平方和:220111(,,,)[()]nnmiimiiiFaaayPx0(0,1,,)jFjma12[()]0njimiiiyPxx101()nmnkjjkiiiiikiaxxyx011()mnnkjjikiikiixayx(0,1,,)jm确定拟合多项式的系数第6章函数逼近011()mnnkjjikiikiixayx201211112310121111112201211111()()()()()()()()()()()nnnnmiiimiiiiinnnnnmiiiimiiiiiiinnnnnmmmmmiiiimiiiiiiinaxaxaxayxaxaxaxayxxaxaxaxayxj=0(0,1,,)jmj=1j=m称为正则方程组,或法方程组.记为,可以证明,该方程组有唯一解(a0,a1,…,am),从而得Pm(x).[]afA但要注意,系数矩阵A通常是病态的,其条件数cond(A)非常大.多项式拟合的例子第6章函数逼近用二次多项式拟合这批数据.i123456Xi012345yi0.3560.8051.0050.9420.6680.325解.二次拟合多项式:211102311111223421111nnniiiiiinnnniiiiiiiiinnnniiiiiiiiinxxyaxxxayxaxxxyx22012()Pxaaxax正则方程(n=6):012615554.10115552259.9385522597932.116aaa0120.3798570.5048860.104571aaa拟合曲线图21(,)inaxiiFabybe指数拟合方法axybe取极小关于x的线性函数称为非线性最小二乘问题.lnlnzybax即:第6章函数逼近(,)(1,,)iixyin当数据点接近于指数曲线分布时,可用指数函数进行拟合:0Fa10iinaxaxiiiybebxe0Fb10iinaxaxiiybee改进的方法数据点(,)iixz拟合多项式:01zaax正则方程:11021111nniiiinnniiiiiiinxzaaxxzxlniy线性最小二乘问题01aa01aaxzyee01aaxyee分式线性拟合当数据点分布接近于函数时1yaxb1zaxby第6章函数逼近作变换:对数据点进行线性最小二乘拟合.1(,)iiixzy112111nniiiinnniiiiiiinxzbaxxzxba参数a,b拟合曲线zaxb11yzaxb当数据点分布接近于函数时tyabt作变换:1,xt1zaxby对数据点进行线性最小二乘拟合.11(,)iiiixzty参数a,b拟合曲线zaxb11tyzaxbabt上面两种拟合中,参数a,b满足以下正则方程:最小二乘拟合的一般步骤第6章函数逼近①通过观测数据点的形态,确定拟合函数的形式;②对于一些简单的非线性问题,通过合适的变换化成线性问题;③由最小二乘的正则方程确定拟合函数中的参数;④对于非线性问题,将线性拟合函数再反变换成非线性函数.观测数据点取极小几点说明①对于指数函数拟合问题:直接拟合(非线性)非线性拟合结果数据变换变换后的数据点线性拟合参数非线性拟合函数线性拟合反变换②实际问题中,各个数据点的重要性可能不相等,定义误差函数:2011(,,,)nmiiiFaaa01(,,,)maaa加权系数2011(,,,)()nmiiiiFaaayx线性最小二乘法的一般形式方法要求F极小,即第6章函数逼近(,)(1,,),iixyin数据点记:0011()()()()mmxaxaxax取拟合函数:线性无关函数组:01(),(),,()mxxx误差函数:210()nmiikkiikyax1()()0niiijiiyxx011[()()]()mnnijikikiijikiixxayx1(,)()()nkjijikiixx正则方程:0001000101111101(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)mmmmmmmmayayay0jFa(0,1,,)jm由于线性无关,系数矩阵非奇异,方程有唯一解.()(0,1,,)ixim下面证明就是所求的最小二乘函数.()x0(=1,2,...,)iin为权系数.01()[[()]()]mnkkiiikikiacyxx22111()2()][()()()()nnniiiiiiiiiiiiiiyxyxxxxx定理6.1(最小二乘解)证明.对0()(),miiixcxH证毕#第6章函数逼近设(a0,a1,…,am)是满足上述正则方程的解,则是数据点(xi,yi)(i=1,…,n)的最小二乘函数.0()()miiixax证明00(,,)(,,)mmFccFaa201(,,)()nmiiiiFccyx21(())(()())niiiiiiyxxxII10[()][()()]nmiiikkkiikyxacx020011(,,)()(,,,)nmiiimiFccyxFaaa即,2211()min()nniiiiiiHiiyxyx0正则方程的第k个方程正交多项式方法的提出第6章函数逼近正则方程一般是病态的,尤其是m比较大的情况,这样得到的系数(a0,a1,......,am)误差较大.正则方程的系数矩阵为对角阵.21(,)()0(0,1,,)nkkikiixkm121()(,)(,)()niikikiknkkikiiyxyax若选取的函数组满足:()jx(0,1,,)km最小二乘函数:00(,)()()()(,)mmkkkkkkkkyxaxx若函数组满足上述条件,()jx1(,)()()0()nkjikijiixxkj定义(正交函数族)则称为以为权,关于(1,,)iin点集(x1,x2,…,xn)的正交函数族.01112()1()()()()()(2,3,,)kkkkkxxxxxxxkm正交多项式的构造第6章函数逼近其中,2111121111()(,)(1,2,,)(,)()niikikkiknkkikiixxxkmx2111122221()(,)(2,3,,)(,)()nikikkiknkkikiixkmx证明过程类似于后面的定理6.4.利用正交多项式求拟合多项式的过程第6章函数逼近③得拟合多项式:①构造正交函数系:01{(),(),,()}mxxx②解正则方程,得系数:a0,a1,…,am.0011()()()()mmxaxaxaxi123456Xi012345yi0.3560.8051.0050.9420.6680.325例.利用正交函数求下列数据的最小二乘二次(m=2)拟合多项式解.n=6,取012{(),(),()},xxx0()1,x11(),xx0011001(,)155,(,)621niinixx1(1,2,,)iin①构造正交多项式系:1()2.5,xx例（续）第6章函数逼近22120()()()()xxxx11211(,)43.752.5,(,)17.5x11200(,)17.52.916667(,)622()(2.5)2.916667xx②解正则方程,得拟合函数的各个系数.212222221()(,)37.33330.104571(,)3.904()niiiiniiiyxyax60i=1000(,)4.1010.6835,(,)66iyya1111(,)0.31450.017971(,)17.5ya③拟合多项式:001122()()()()xaxaxax2012()(2.5)[(2.5)2.916667]xaaxax22212210(5)(2.52.916667)2.5axaaxaaa2()0.1045710.5048860.379857xxx与多项式直接拟合结果完全一致.二.正交多项式基本概念第6章函数逼近定义6.2(正交函数系)特例:0()jk(,0,1,2,)jk正交函数系的例子若函数系满足:01{(),(),,(),}mxxx(,)()()()bjkjkaxxxdx0()kjk则称函数系在[a,b]上关于权函数的正交函数系.()ix()x1(0,1,2,),kk是区间上关于权函数的正交函数系.[,]()1x{1,cos,sin,cos2,sin2,,cos,sin,}xxxxnxnx三角函数系:称为标准正交函数系.()ix正交函数系的性质——由下面两个定理给出:定理6.2(