平方度量意义下函数逼近问题的研究

云南民族大学函数逼近论I摘要最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识,并在参数估计、系统辨识以及预测、预报等众多领域中得到极为广泛的应用.然而,最小二乘法因其抽象、难懂常常不能被准确理解.本文探讨了最小二乘法的基本原理及其各种变形的拟合方法,其中包括:一元线性最小二乘法拟合、多元线性拟合、多项式拟合、非线性拟合,并且讨论了连续函数的最佳平方逼近，在此基础上，介绍了切比雪夫、勒让德、拉盖尔、埃尔米特四种正交多项式以及三角多项式的逼近问题。关键词：最小二乘法线性拟合曲线拟合正交多项式云南民族大学函数逼近论IIAbstractLeastsquarewasusedtoestimateparametersandidentifysystemofregressionmodel,bythepointoferrorfitting.Andithaswidelyapplicationintheparametersestimate,systemidentification,prediction,forecastingandotherfields.However,theleastsquaremethodbecauseofitsabstractanddifficult，oftencannotbeaccuratelyunderstanding.Theleastsquaremethod’sprincipleandthevariouskindsoffittingmethodssuchasthelinearleastsquarefitting,multiplelinearfitting,polynomialfittinganonlinearfittingaredealtwith.Anddiscussedsquareapproximationofcontinuousfunction,onthisbasis,introducedtheChebyshev,Legendre,Laguerre,Hermiteorthogonalpolynomialsandthefourtriangularpolynomialapproximation.KeyWords：leastsquaremethod；linearfitting；squareapproximation云南民族大学函数逼近论I目录摘要...............................................................IAbstract...........................................................II目录...............................................................I第1章引言.........................................................1第2章最小二乘法...................................................32.1最小二乘法问题描述..........................................3第3章离散点的最小二乘曲线拟合.....................................73.1问题提法及拟合模型..........................................73.2线性模型的正规方程..........................................93.3基于正交基的线性模型.......................................113.4非线性模型举例.............................................13第4章连续函数的最佳平方逼近......................................174.1问题提法及正规方程.........................................174.2利用多项式作平方逼近.......................................194.3利用正交函数组作平方逼近...................................214.4几种常见的正交多项式.......................................21第5章结论........................................................25参考文献...........................................................28致谢...............................................................29云南民族大学函数逼近论1第1章引言最小二乘方法最早是由高斯提出的，他用这种方法解决了天文学方面的问题，特别是确定了某些行星和彗星的天体轨迹。这类天体的椭圆轨迹由5个参数确定，原则上，只要对它的位置做5次测量就足以确定它的整个轨迹。但由于存在测量误差，由5次测量所确定的运行轨迹极不可靠，相反，要进行多次测量，用最小二乘法消除测量误差，得到有关轨迹参数的更精确的值。最小二乘法近似将几十次甚至上百次的观察所产生的高维空间问题降到了椭圆轨迹模型的五维参数空间。假如想了解某个地方的月降雨量，一个月的观测当然不够，任何一个月都可能是异常晴朗或异常多雨。相反，人们应该研究几个月或至少一年甚至十年，并将所有数据加以平均。平均的结果对任何一个具体的月份并不一定能完全符合，但凭直觉，这个结果所给我们的标准降雨量图形将比只研究一个月所得到的结果要准确得多。这个原理在观察和实验科学领域是通用的。它是通过多次测量消除测量误差及随机波动。木匠的格言“量两次，再下手”也正是这个常识的一个例子。在降雨的例子中，我们用一个数来代表或一定程度地近似整个测定数据的效果。更一般的，鉴于各种理论和实际的原因，常用低维来近似说明高维的对象。在下面几种工作中都可以采用这个方法，象消除误差或忽略无关细节，从干扰数据中提取信号或找出趋势，将大量数据降低到可管理的数量或用简单的近似来代替复杂函数。我们并不期望这个近似值多么精确，事实上，在许多时候它也不用很精确。但尽管如此，我们还是希望它能保持对原始数据的相似之处。在线性代数领域，我们希望将一个高维空间的向量投影到低维子空间，完成这个工作的最普遍和最便于计算的方法之一就是最小二乘法。在正确选择模型的前提下,用绝对误差最小二乘法拟合观测点的因变量量级相差较大的资料,往往使各点的相对估计误差分布不均匀(表现为大观测值的相对误差较小,小的则很大),若采用相对误差最小二乘法来拟合,可在一定程度上改善这种不良效果,并提高了拟合结果的可靠性。用于估计直线或曲线模型参数的相对误差最小二乘法是指使因变量估计值与实测值间的相对误差平方和为最小。最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识,并在参数估计、系统辨识以及预测、预报等众多领域中得到极为广泛的应用。我们用数量maxaxbpfpxfx来度量逼近多项式px与已知函数fx的近似程度。若0,npxfxn,则意味着序列npx在区间,ab上一致收敛到fx.一致逼近度量、亦称Tchebyshev度量是很重要的一类度量标准，然而由于它的非线性特征，使得最佳一致逼近多项式的构造问题十分困难。云南民族大学函数逼近论2对于许多问题来讲，人们需要求出的是在确定意义下的“整体”近似。本文讨论一类新的度量——平方度量意义下函数的逼近问题。云南民族大学函数逼近论3第2章最小二乘法2.1最小二乘法问题描述最小二乘法起源于以测量和观测为基础的天文学。Gauss在1794年利用最小二乘法解决了多余观测问题。可以用下面的简单例子描述这类问题。假定通过观测或实验得到如下一组数据（即列表函数）：k12345678kx01234567ky1.41.31.41.11.31.81.62.3我们的目的是用一简单的式子表出这些数据间的关系，从分析数据看出，这些点差不多分布在一条直线上，因此我们自然想到用线性式yabx表示它们之间的关系。这就须定出参数a和b的值。待定参数的确定归结为矛盾方程组的求解问题。假定有某方法可以定出a和b，则按yabx，给出一个x便可以算出一个y。我们记kkyabx1,...,8kky称为ky估计值，显然它们不会是完全相同的，它们之间的差（通常称为残差）1,...,8kkkyyk无疑是衡量被确定的参数a和b（也就是近似多项式yabx）好坏的重要标志。可以规定许多原则来确定参数a，b,例如（1）参数的确定，将使残差绝对值中最大的一个达到最小，即maxkkT为最小；（2）参数确定，将使残差绝对值之和达到最小，即kk为最小；（3）参数的确定，将使残差的平方和达到最小，即2kk为最小．（1）（2）两个原则是很直观的，也很理想，但很不好用；而原则（3）既直观又很好用。按原则（3）确定待定参数，从而得到近似多项式的方法，就是通常所说的最小二乘法。这一方法的理论根据是，概率理论已证明，只有这样的原则才能使得观测或实验的偶然误差对于所作的近似多项式有最小影响。回到所提出的问题上来，即用最小二乘法确定参数a，b,按最小二乘法，应使云南民族大学函数逼近论4821,iiiSabyabx取最小值，因此，应有8120iiiSyabxa8120iiiiSyabxxb由此，得到如下线性方程组：8880111,iiiiiaibxy8882111,iiiiiiiaxbxxy经过简单计算，这个方程组成为82812.2,2814047.3.abab解之可得1.142a,0.110b，从而得近似多项式11.1420.110pxx，现在转入讨论更为一般的情形，设已知列表函数0,1,...,iiyfxim，并且我们想用一个通常的nm次多项式01()...nnnpxaaxax(2-1)去近似它.问题是应该如何选择01,,...,naaa使npx能较好地近似列表函数fx.按最小二乘法，应该选择01,,...,naaa，使得2010,,...,mniniiSaaafxpx(2-2)取最小。注意到S是非负的，且是01,,...,naaa的2次多项式，它必有最小值。求S对01,,...,naaa的偏导数，并令其等于零，得到010...00,1,....mnkiiniiiyaaxaxxkn进一步，可以将它们写成1010000...0,1,....mmmmkkkkniiiiniiiiiyxaxaxaxkn引进记号0mkkiisx和0mkkiiiuyx则上述方程组成为云南民族大学函数逼近论500110021110112...,...,............................................nnannnnnnnsasasausasasausasasau(2-3)它的系数行列式是01121112nnnnnnssssssXsss由(0,1,,2)isin的定义及行列式性质，可以断言21011,,...,.1!nnXWn(2-4)此处符号W表Vandermonde行列式，而是对所有可能的0,1,...,iin求和（每个i可以取值01,,