数值分析第三章数据拟合.

5101520-100100200300400500数值分析NumericalAnalysis第三章数据拟合方法Datafitting郑州大学研究生课程（2015-2016学年第一学期）2/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis第三章数据拟合方法§3.1问题提出§3.2最小二乘法的基本概念§3.3线性拟合方法§3.4非线性曲线的数据拟合3/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis§3.1问题提出离散数据点插值：插值函数精确通过每一个数据点。()Px4/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis两类实际情况:★离散数据点提出来自试验，具有测量误差，要求插值函数通过所有数据点反而会保留测量误差的影响。★某些情况下,只需要找出反映变量变化关系的经验函数，而非精确通过关键点的外形控制函数。§3.1问题提出5/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis例3.1.16/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis已知一组数据(xi,yi),，i=1,2,…,m。yi=f(xi),构造插值函数φ(x)来逼近f(x),则有φ(xi)=f(xi)=yi,i=1,2,…,m或记Q=(φ(x1),φ(x2),…,φ(xm)),Y=(y1,y2,…,ym),则有Q=Y.如果数据不能同时满足某个特定函数，而要求所求的近似函数“最优地”靠近数据点，即向量Q与Y的误差的某度量最小。按Q与Y的误差最小原则作为最优标准所构造出的函数，我们称为拟合函数。§3.1问题提出7/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis定义Q与Y之间的度量：其中，R称为均方误差。最小二乘法：按均方误差达到极小构造拟合曲线的方法。111122221();();().maxmiiiiiimmiiiRQYxyRQYxyRRQYxy§3.1问题提出均方误差meansquarederror，均方误差是各数据偏离真实值的距离平方的平均数，也即误差平方和的平均数。8/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis§3.2最小二乘法的基本概念构造拟合曲线的两个问题：Q:从哪一类函数族里面选择拟合曲线的形式？A:根据问题的实际背景，选择逼近f(x)的函数族。21221231123411221212,sincos()()()(,,,,)(,,,)axnnnnyaaxyaaxaxyaeyaaxaaxyaxaxaxyxaaaaaa其中为待定参数9/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis数据拟合的模型(x)=a11(x)+······+ann(x)例如:[1(x),···,n(x)]=[1,x,···,xn-1][1(x),···,n(x)]=[1,cosx,···,cos(n-1)x]§3.2最小二乘法的基本概念10/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysisQ：如何确定参数a1,a2,…,an以确定一条拟合曲线呢？A:按照在数据点处均方误差最小的原则。11211111(,),(,)(,)(,,),(,,),kknnmmnnkkkkknkkkxyaaQaaQaarxaayrxaay2记误差称为数据点的拟合误差，而其平方和应选择（拟合参数），使得函数的值最小。[]这种用求解误差函数最小值问题来确定拟合参数的方法称为数据拟合的最小二乘法§3.2最小二乘法的基本概念11/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis111112122221(,)=()()(()()()()()))(nmkkkkknnnnnQaayxxyaxaxaxaxaxxax2设拟合函数类是[]，其中，，，称为拟合基函数。定义误差函数，§3.2最小二乘法的基本概念12/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis1112220,(1,2,()()()(),.mkkkkkkinniQyaiaxaxaxxn求其最小值，我们用求驻点的方法可得[]）@最小二乘法归结为求n个未知数的线性代数方程组。§3.2最小二乘法的基本概念13/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis11111,(1,2,)(),()()(),()()()nmmkkjkkjkkmijnnijkkkmkkkijiijiaiGggxxyxnxxyxin1i其中记则系，F=(F),其中数矩阵G是F对称的。最小二乘法的正规/法方程组（其解为驻点）§3.2最小二乘法的基本概念14/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis引进矩阵和向量记号112111222212111222()()()()()()()()(),,nnmmnmmnnxxxxxxAxxxyaryarbXryarrAXb而有§3.2最小二乘法的基本概念15/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis22222100(,),mTkkrrrrAXbAXbXXAXb则最小二乘问题是：求向量使得在达到最小。§3.2最小二乘法的基本概念16/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis★以上正规方程组是否存在唯一解?★正规方程组的解是最小二乘问题的驻点，此驻点是否就是最小二乘问题的解呢？TTAAXAbGXF同时，正规方程组可写成也可以记为§3.2最小二乘法的基本概念17/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis13.2.1((),()),1,2,TjjjmTTAnxxjnAAXAb定理若的个列向量是线性无关的，则正规方程组有唯一解。可以证明,此解是最小二乘问题的解.§3.2最小二乘法的基本概念18/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis定理3.2.2§3.2最小二乘法的基本概念19/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis§3.3线性数据拟合方法已知数据表xx1x2··········xmf(x)y1y2··········ym求拟合函数:(x)=a+bxa+bx1=y1a+bx2=y2··················a+bxm=ymmmyyybaxxx2121111超定方程组AXb20/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis2-范数平方2221||||[()]mkkkrabxy残差:rk=(a+bxk)–yk(k=1,2,···,m)§3.3线性数据拟合方法21/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysismkkkybxarbaS1222])[(||||),(0aS0bS求a,b使S(a,b)=min§3.3线性数据拟合方法22/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis021mkkkybxa)(mkkkkxybxa102)(mkkkmkkmkkmkkmkkyxbxaxybxma112111§3.3线性数据拟合方法23/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysismmmkkmkkmkkxxxxxxxxxm11111121211211mmmkkkmkkyyyxxxyxy212111111方程组系数矩阵方程组右端项§3.3线性数据拟合方法24/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis超定方程组:AX=正规方程组:ATAX=AT112111.mmiiiimmmiiiiiiiamxyxxxyb拟合曲线的法方程(正规方程组)。解之得a，b。代入(x)=a+bx,即得所求的拟合曲线。bb§3.3线性数据拟合方法25/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis例3.3.1已知实验数据如下,求线性拟合函数。解:设拟合曲线方程为(x)=a+bxx12345f(x)44.5689§3.3线性数据拟合方法26/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis9865.445141312111ba5a+15b=31.515a+55b=108a=2.25,b=1.35ATAX=ATAXbb§3.3线性数据拟合方法112111.mmiiiimmmiiiiiiiamxyxxxyb27/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis12345246810R=||Q-Y||2=0.7583残差向量:(1)－4=－0.40(2)－4.5=0.45(3)－6=0.30(4)－8=－0.35(5)－9=0(x)=2.25+1.35x§3.3线性数据拟合方法28/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis例3.3.2求数据的二次拟合函数P(x)=a0+a1x+a2x2x12345f(x)44.5689解:将数据点代入,得§3.3线性数据拟合方法29/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis4291085.3197922555225551555155210aaaa0=3,a1=0.7071,a2=0.1071§3.3线性数据拟合方法11102311211123421111.mmmiiiiiimmmmiiiiiiiiimmmmiiiiiiiiiymxxaaxyxxxaxxxxy30/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis得P(x)=3+0.7071x+0.1071x212345345678910二次拟合误差:||Q-Y||2=0.6437比较线性拟合误差:||Q-Y||2=0.7583§3.3线性数据拟合方法31/41郑州大学研究生2015-2016学年课程数值分析NumericalAnalysis