最小二乘法的曲线拟合问题

曲线拟合（5）最小二乘法的曲线拟合问题——曲线拟合（5）目录1绪论………………………..……………………………….………………………….11.1课题研究的背景和方法………………………………………………………………12曲线拟合……………………………….…………………………………...12.1曲线拟合………………………………………………………...…………………….12.2常用函数………………………………………………………...…………………….13最小二乘法拟合…………………………….…………………………………...23.1最小二乘法拟合的基本原理…………………………………………………….…...23.2最小二乘法拟合的实例程序设计………………………………………....…………43.3最小二乘法多种曲线拟合的效果分析…………………………………………........64结论………………………………………………………………………………...9参考文献……………………………………………………………………………….…….11附录A源代码和执行结果…………………………………….……………..12曲线拟合（5）1绪论1.1课题研究的意义和背景实际工作中，变量间未必都有线性关系，如服药后血药浓度与时间的关系；疾病疗效与疗程长短的关系；毒物剂量与致死率的关系等常呈曲线关系。曲线拟合（curvefitting）是指选择适当的曲线类型来拟合观测数据，并用拟合的曲线方程分析两变量间的关系。线直线化是曲线拟合的重要手段之一。对于某些非线性的资料可以通过简单的变量变换使之直线化，这样就可以按最小二乘法原理求出变换后变量的直线方程，在实际工作中常利用此直线方程绘制资料的标准工作曲线，同时根据需要可将此直线方程还原为曲线方程，实现对资料的曲线拟合。2曲线拟合2.1曲线拟合用连续曲线近似地刻画或比拟平面上离散点组所表示的坐标之间的函数关系的一种数据处理方法。用解析表达式逼近离散数据的一种方法。在科学实验或社会活动中，通过实验或观测得到量x与y的一组数据对(xi，yi)（i=1，2，…m），其中各xi是彼此不同的。人们希望用一类与数据的背景材料规律相适应的解析表达式，y=f(x，c）来反映量x与y之间的依赖关系，即在一定意义下“最佳”地逼近或拟合已知数据。f(x，c)常称作拟合模型，式中c=(c1，c2，…cn)是一些待定参数。当c在f中线性出现时，称为线性模型，否则称为非线性模型。有许多衡量拟合优度的标准，最常用的一种做法是选择参数c使得拟合模型与实际观测值在各点的残差(或离差)ek=yk－f(xk，c)的加权平方和达到最小，此时所求曲线称作在加权最小二乘意义下对数据的拟合曲线。有许多求解拟合曲线的成功方法，对于线性模型一般通过建立和求解方程组来确定参数，从而求得拟合曲线。至于非线性模型，则要借助求解非线性方程组或用最优化方法求得所需参数才能得到拟合曲线，有时称之为非线性最小二乘拟合。2.2课题研究的意义和背景1.线性函数Y=aX2.多项式函数3.指数函数Y=aebX对式等式两边取对数，得曲线拟合（5）将曲线拟合在选定点上lnY=lna+bXb0时，Y随X增大而增大；b0时，Y随X增大而减少。见图12.4(a)、(b)。当以lnY和X绘制的散点图呈直线趋势时，可考虑采用指数函数来描述Y与X间的非线性关系，lna和b分别为截距和斜率。更一般的指数函数Y=aebX+k式中k为一常量，往往未知,应用时可试用不同的值。4.对数函数Y=a+blnX(X0)b0时，Y随X增大而增大，先快后慢；b0时，Y随X增大而减少，先快后慢。当以Y和lnX绘制的散点图呈直线趋势时，可考虑采用对数函数描述Y与X之间的非线性关系，式中的b和a分别为斜率和截距。更一般的对数函数Y=a+bln(X+k)式中k为一常量，往往未知。(a)lnY=lna+bX(b)lnY=lna-bX(c)Y=a+blnX(d)Y=a-blnX5.幂函数Y=aXb(a0,X0)式中b0时，Y随X增大而增大；b0时，Y随X增大而减少。对式两边取对数，得lnY=lna+blnX所以，当以lnY和lnX绘制的散点图呈直线趋势时，可考虑采用幂函数来描述Y和X间的非线性关系，lna和b分别是截距和斜率。更一般的幂函数Y=aXb+k式中k为一常量，往往未知。3最小二乘法拟合3.1最小二乘法拟合的基本原理根据一组给定的实验数据，求出自变量x与因变量y的函数关曲线拟合（5）系，只要求在给定点上的误差的平方和最小.当时，即(3.1.1)这里是线性无关的函数族，假定在上给出一组数据，以及对应的一组权，这里为权系数，要求使最小，其中(3.1.2)(3.1.2)中实际上是关于的多元函数，求I的最小值就是求多元函数I的极值，由极值必要条件，可得曲线拟合（5）(3.1.3)根据内积定义引入相应带权内积记号(3.1.4)则(3.1.3)可改写为这是关于参数的线性方程组，用矩阵表示为(3.1.5)(3.1.5)称为法方程.当线性无关，且在点集上至多只有n个不同零点，则称在X上满足Haar条件，此时(3.1.5)的解存在唯一。记(3.1.5)的解为曲线拟合（5）从而得到最小二乘拟合曲线(3.1.6)可以证明对，有故(3.1.6)得到的即为所求的最小二乘解.它的平方误差为(3.1.7)均方误差为在最小二乘逼近中，若取，则，表示为(3.1.8)曲线拟合（5）此时关于系数的法方程(3.1.5)是病态方程，通常当n≥3时都不直接取作为基。3.2最小二乘法拟合的实例程序设计（1）已知一组数据j0123jx1257jy9421试求它的最小二乘拟合曲线（)1)(x（用多种曲线拟合），分析拟合效果。（2）求一个二次多项式cbtaty2在最小二乘意义下拟合下面的数据；再用其它曲线来拟合以下数据，比较分析拟合效果。it-1-0.75-0.500.250.50.75iy1.000.81250.751.001.31251.752.3125流程设计：（1）输入已知点的个数；（2）分别输入已知点的X坐标；（3）分别输入已知点的Y坐标；（4）通过调用函数，求出拟合曲线。程序流程图：↓↓输入已知点个数n开始输入已知点的X坐标曲线拟合（5）↓↓如第（1）题可分别用一下函数拟合①baxy②cbxaxy2③dcxbxaxy23第（2）题求出a,b,c以后，可再用baxy拟合用C语言分别编程后的运行结果为：（1）题①的执行结果：②的执行结果：③的执行结果：（2）：输出结果输入已知点的Y坐标曲线拟合（5）即此时用最小二乘法拟合多种曲线的结果为：（1）题：①29.814.1-xy②312146.062287.34209.112xxy③10345.165.123xxxy（2）题：1a=1,b=1,c=1236.173.0xy3.3最小二乘法多种曲线拟合的效果分析在两个观测量中，往往总有一个量精度比另一个高得多，为简单起见把精度较高的观测量看作没有误差，并把这个观测量选作x，而把所有的误差只认为是y的误差。设x和y的函数关系由理论公式y＝f（x；c1，c2，……cm）（3-3-1）给出，其中c1，c2，……cm是m个要通过实验确定的参数。对于每组观测数据（xi，yi）i＝1，2，……，N。都对应于xy平面上一个点。若不存在测量误差，则这些数据点都准确落在理论曲线上。只要选取m组测量值代入式（3-3-1），便得到方程组yi＝f（x；c1，c2，……cm）（3-3-2）式中i＝1，2，……，m.求m个方程的联立解即得m个参数的数值。显然Nm时，参数不能确定。在Nm的情况下，式（3-3-2）成为矛盾方程组，不能直接用解方程的方法求得m个参数值，只能用曲线拟合的方法来处理。设测量中不存在着系统误差，或者说已经修正，则y的观测值yi围绕着期望值f（x；c1，c2，……cm）摆动，其分布为正态分布，则yi的概率密度为22212,......,,;exp21imiiiicccxfyyp,式中i是分布的标准误差。为简便起见，下面用C代表（c1，c2，……cm）。考虑各次测量是相互独立的，故观测值（y1，y2，……cN）的似然函数NiiiNNCxfyL12221;21exp...21.取似然函数L最大来估计参数C，应使min;1122NiiiiCxfy（3-3-3）取最小值：对于y的分布不限于正态分布来说，式（0-0-3）称为最小二乘法准则。若曲线拟合（5）为正态分布的情况，则最大似然法与最小二乘法是一致的。因权重因子2/1ii，故式（3-3-3）表明，用最小二乘法来估计参数，要求各测量值yi的偏差的加权平方和为最小。根据式（3-3-3）的要求，应有mkCxfycccNiiiik,...,2,10;1ˆ122从而得到方程组mkCCxfCxfyccNikiii,...,2,10;;1ˆ12（3-3-4）解方程组（0-0-4），即得m个参数的估计值mcccˆ,...,ˆ,ˆ21，从而得到拟合的曲线方程mcccxfˆ,...,ˆ,ˆ;21。然而，对拟合的结果还应给予合理的评价。若yi服从正态分布，可引入拟合的x2量，NiiiiCxfyx1222;1（3-3-5）把参数估计mccccˆ,...,ˆ,ˆˆ21代入上式并比较式（0-0-3），便得到最小的x2值Niiiicxfyx1222minˆ;1（3-3-6）可以证明，2minx服从自由度v＝N-m的x2分布，由此可对拟合结果作x2检验。由x2分布得知，随机变量2minx的期望值为N-m。如果由式（0-0-6）计算出2minx接近N-m（例如mNx2min），则认为拟合结果是可接受的；如果22minmNx，则认为拟合结果与观测值有显著的矛盾。曲线拟合中最基本和最常用的是直线拟合。设x和y之间的函数关系由直线方程y＝a0+a1x(3-3-7)给出。式中有两个待定参数，a0代表截距，a1代表斜率。对于等精度测量所得到的N组数据（xi，yi），i＝1，2……，N，xi值被认为是准确的，所有的误差只联系着yi。下面利用最小二乘法把观测数据拟合为直线。1.直线拟合的估计前面指出，用最小二乘法估计参数时，要求观测值yi的偏差的加权平方和为最小。对于等精度观测值的直线拟合来说，由式（3-3-3）可使aaNiiixaayˆ1210（3-3-8）最小即对参数a（代表a0，a1）最佳估计，要求观测值yi的偏差的平方和为最小。根据式（3-3-8）的要求，应有,0ˆˆ2110ˆ12100NiiiaaNiiixaayxaaya.0ˆˆ2110ˆ12101NiiiaaNiiixaayxaaya整理后得到正规方程组.ˆˆ,ˆˆ21010iiiiiiyxxaxayxaNa曲线拟合（5）（3-3-9）解正规方程组便可求得直线参数a0和a1的最佳估计值0ˆa和1ˆa。即2220ˆiiiiiiixxNyxxyxa（3-3-10）221ˆiiiiiixxNyxyxNa（3-3-11）2.拟合结果的变差由于直线参数的估计值0ˆa和1ˆa是根据有误差的观测数据点计算出来的，它们不可避免地存在着偏差。同时，各个观测数据点不是都准确地落地拟合线上面的，观测值yi与对应于拟合直线上的iyˆ这之间也就有偏差。首先讨论测量值yi的标准差S。考虑式（0-0-6），因等精度测量值yi所有的i都相同，可用yi的标准偏差S来估计，故该式在等精度测量值的直线拟合中应表示为.ˆˆ112