数值计算与最优化(lecture 12)最佳平方逼近

定义5.1.1三、一般最小二乘拟合问题0101(),(),...,()X,,...,nnxxxccc设函数组定义在实数集上。如果存在不全为零的实数，使得0011()()()0,nncxcxcxxX0101(),(),...,()X(),(),...,()Xnnxxxxxx成立，则称函数组在上；线性否则，称函数组在相关上线性无关。例如：1(1)X[]na,bnxxX设为区间或者为至少含有个不同实数的点集，则多项式组1,,...,在上线性无关。sin,sin2,...,sin)((12)kxxnxkxk=1,...,n-1n正弦函数组在点集X={=,}上线性无关。01...,...,,...,nnnnaaxaxxxxx由定义可知：多项式可视为由线性无关的函数组1,（称为基函数）张成的线性空间span{1,}中的元素。一般地，01(),(),...,()Xnxxx设函数在上线性无关，称0011()()()...()nnpxaxaxax为定义在X上的广义多项式，记为01(){(),(),...,()}.npxspanxxx121sinsin2...sin(1)nkaxaxanxx由此可见，k为定义在X={=,k=1,2,...,n-1}上的广义多项式。n222211(()),mmiiiiipxy定义残差的平方和：最小二乘问题为：求解极小值问题2221min.mii加权最小二乘拟合问题(,)(1,2,...,)iixyim对于一组给定的数据点(,)(1,2,...,)iixyim在拟合的数据点中各点的重要性可能是不一样的的重度表示数据点假设),(iiiyx重度:即权重或者密度，统称为权系数1,2,...,im定义加权残差的平方和为2221miii21(())miiiiyxy2211mmiiiii即，在最小二乘中，用更一般的加权平均代替。最小二乘问题可推广如下：(,)1,2,...,,kkxyxym设有关于变量和的一组数据，k0112(),(),...,()X={,,...,}nmxxxxxx且函数在上线性无关，010011,,...,()()()...()nnnaaanmpxaxaxax参数()使得多项式满足2011(,,...,):(())min,mnkkkkSaaapxy12,,...,0m其中，0011()()()...()nnpxaxaxax则称12,,...,m带权系数最小二乘拟合多项式最佳平为给定数方逼近据的的或多项式。由多元函数取极值的必要条件0,0,1,...,,kSkna10()()00,1,...,.mnijjiikiijaxyxkn，得即101()()()0,1,...,.mnmijjikiiikiijiaxxyxkn，011()()(),0,1,...,.nmmijikijiikijiixxayxkn20110(,,...,)()mnnijjiiijSaaaaxy10()()()00,1,...,.mnijjikiikiijaxxyxkn，00111111()()()()...()()()0,1,...,.mmmiikiiikininikiiiimiikiiaxxaxxaxxyxkn，即000()()(),0,1,...,.nmmijikijiikijiixxayxkn01,,...,1naaan显然上式是一个关于的元线性方程组。引入记号12((),(),...,())0,1,...,,rrrrmxxxrn，12(,,...,)mfyyy并定义内积：1(,)()()mkjikijiixx1(,)()mkikiiifxy正规方程组00111111()()()()...()()()0,1,...,.mmmiikiiikininikiiiimiikiiaxxaxxaxxyxkn，正规方程组便可化为：0011(,)(,)...(,)(,)0,1,...,.kknknkaaafkn，(,)(,)kjkf这是一个系数为，常数项为的线性方程组。将其表示成矩阵形式naaa1001(,)(,)(,)nfff0112(),(),...,(),,...,nmxxxxxx称上式为函数序列在点上的法方程组。......00010n10111nn0n1nn(,)(,)(,)(,)(,)(,)(,)(,)...(,)01(),(),,()nxxxnn显然，系数矩阵G是对称的。由于是线性无关的，因而G也是非奇异的，即baGn简单记为(1)(1)det()det[((,))]0nijnnG根据Cramer法则，法方程组有唯一解：*,*,*,1100nnaaaaaa*0*()()njjjSxax为最小二乘解。因此()()(,)(1,2,...,)niiSxPxxyim常使用多项式作为的拟合函数作为一种简单的情况：()()nSxPx拟合函数的基函数为:0()1,x1(),xx...,(),...,kkxx()nnxx1(,)()()mkjikijiixx1mkjiiiixx1mkjiiix1(,)()mkikiiifxy1mkiiiixy基函数之间的内积为法方程组为：111102111111121111.........mmmmniiiiiiiiiiimmmmniiiiiiiiiiiiimmmmnnnniiiiiiiiiiiiixxyaxxxxyaaxxxxy例5.1.5回到本节开始的实例，从散点图可以看出纤维强度和拉伸倍数之间近似与线性关系xaaxy10)(故可选取线性函数为拟合函数，其基函数为0()1x1()xx建立法方程组：根据内积公式，可得00(,)2401(,)127.511(,)829.610(,)113.1f1(,)731.6f法方程组为：61.8295.1275.1272410aa6.7311.113§2.最佳平方逼近()[,]()[,]fxCabfxab本节研究函数的最佳平方逼近问题，即求拟合函数，使之与函数在上的均方差最小。我们将讨论此类逼近问题的解的存在惟一性及其计算问题。定义5.2.1YY(,)设是实线性空间，在上定义了一个二元实值函数，若它满足(,)(,),);1Y(,fggffg(,)(,),,Y,();2fgfgfgR(,)(,)(,),,(),Y;3fghfhghfgh(,)Y则称为内积，相应地，称为内积空间。一、内积空间(,)0,Y,(,)00),(4ffffff且定义5.2.2(,)()abx在区间上的非负函数满足条件,||1)()(bnaxxdx对任何非负整数n存在；()(,)xab则称是区间上的一个权函数。()()()0(,)()(20.)bagxxgxdxabgx对于非负的连续函数，如果,则在上，21()1[,]()1(1,1)xabxx显然是区间上最简单的一种权函数，是区间上的权函数。11212(,),(,,...,),(,,...,),nnTkkknnnnRxyxyxyxxxxyyyyR如果在维欧氏空间中定义其中则构成最简单的内积空间。222[][]()()()[]La,ba,bxfxfxLa,b记是区间上的可积的函数的全体构成的函数空间，在中定义2(,)()()(),,[],bafgxfxgxdxfgLa,b2()(,)[]Lxabba,其中是区间上的一个权函构成内数,则积空间。[]Ca,b同样，在函数空间中，如果定义(,)()()(),,[],bafgxfxgxdxfgCa,b,]()()[xabCa,b其中是区间上的一个权也构成内函数,则积空间。性质5.2.1（Cauchy－Schwarz不等式）Y设为内积空间，则有|(,)|(,)(,),,Y.fgffggfg(,),Y.ffff引入范：数定义5.2.3Y,Y(,)0.fgfgfgfg设为内积空间。如果对于，成立，则称与正交（垂直），记为定义5.2.401Y(),(),...,(),...nxxx如果内积空间中的函数族满足关系0,,(,)0,.ijiijAij{()}Ynx则称函数族正交是中的函数族。Y=C[,]ab特别地，设，其内积由(,)()()(),,[]bafgxfxgxdxfgCa,b[,]({()}())1{()}[,]nnabxabxxx定义，则称函数族是。当上带权正交时，则称函数的函数族上的族是正交函数族。cos,sin,cos2,sin2,...[,]xxxx：三角函数族1,是在区间上的正例如交函数族。不难算出,(sin,sin)(cos,cos),1,2,...,kxkxkxkxk(1,1)=(sin,sin)(cos,cos)0,,,1,2,...,kxjxkxjxkjkj(sin,cos)0,(1,cos)0,(1sin)0,,1,2,...kxjxjxkxkj，定义5.2.501Y(),(),...,(),...{()}nnxxxx如果内积空间中的函数族中的任何有限个函数线性无关，则称函数族是线性无关的函数族。性质5.2.2{()}Y{()}nnxx设函数族是中的正交函数族，则是线性无关的函数族。性质5.2.30101(),(),...,()Y(),(),...,()YCramernnxxxxxx设为内积空间中的函数，则在中线性无关的充要条件是它的行列式不为零，即......0.0010n00111n10n1nnn(,)(,)(,)(,)(,)(,)(,)(,)...(,)性质5.2.4(勾股定理）12YY...,nfff设为内积空间，中的函数,,两两正交，则22221212.......nnffffff性质5.2.5(平行四边形等式）Y设为内积空间，则22222,,Y.fgfgfgfg和一般的线性赋范空间不同，内积空间有更好的几何性质：二、函数的最佳平方逼近0101()[][]{,,...,}(){,,...,}nnfxCa,bCa,bpx已知函数及中的一个子集span，如果span，使得(,)min,fpfp01(,)()(){,,...,}npxfx其中为内积，则称是在子集span中的最佳平方逼近函数。2010(,,...,):()()()nbniiaiSaaaxaxfxdx上述问题等价于求多元函数的最小值。0()()niiipxax由多元函数取极值的必要条件0,0,1,...,,jSjna0()()()()00,1,...,.nb