最小二乘法的应用研究

最小二乘法的应用研究最小二乘法的应用研究摘要最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识,并在参数估计、系统辨识以及预测、预报等众多领域中得到极为广泛的应用.然而,最小二乘法因其抽象、难懂常常不能被准确理解.本文探讨了最小二乘法的基本原理及其各种变形的拟合方法,其中包括:一元线性最小二乘法拟合、多元线性拟合、多项式拟合、非线性拟合,并且讨论了用镜像映射和切比雪夫多项式解“病态”矛盾方程组的基本原理和方法,在此基础上给出了几种最小二乘法程序的设计原理.关键词：最小二乘法,线性拟合,曲线拟合,切比雪夫多项式StudyontheApplicationaboutMethodofLeastSquareAbstractLeastsquarewasusedtoestimateparametersandidentifysystemofregressionmodel,bythepointoferrorfitting.Andithaswidelyapplicationintheparametersestimate,systemidentification,prediction,forecastingandotherfields.However,theleastsquaremethodbecauseofitsabstractanddifficult，oftencannotbeaccuratelyunderstanding.Theleastsquaremethod’sprincipleandthevariouskindsoffittingmethodssuchasthelinearleastsquarefitting,multiplelinearfitting,polynomialfittinganonlinearfittingaredealtwith.AnddiscussedusingmirrorandChebyshevpolynomialsolutionpathologicalcontradictoryequationsbasicprinciplesandmethods.Finallysomekindsoftheprincipleoftheprogramsontheleastsquaremethodaregiven.KeyWords：leastsquaremethod,linearfitting,curvefitting,Chebyshevpolynomial目录一、最小二乘法的统计学原理………………………………………………………1二、曲线拟合…………………………………………………………………………21.一元线性拟合……………………………………………………………………22.多元线性拟合……………………………………………………………………43.多项式拟合………………………………………………………………………54.非线性最小二乘法拟合…………………………………………………………65.多项式回归的高精度快速算法…………………………………………………7三、应用最小二乘法的几个问题……………………………………………………9四、程序设计原理……………………………………………………………………101.线性拟合程序的设计原理………………………………………………………102.多元线性拟合程序的设计原理…………………………………………………103.Shehata方程1212ksksuksks的拟合程序设计原理…………………………11结束语………………………………………………………………………………11参考文献……………………………………………………………………………121一、最小二乘法的统计学原理[1]基本最小二乘法,其统计学原理是:设物理量y与l个变量12,,,lxxx…间的依赖关系式为1201(,,,,,,,)lnyfxxxaaa……,其中01,,,naaa…是方程中需要确定的1n个参数.最小二乘法就是通过1mmn个实验点12(,,,,)(1,2,)iiilixxxyim……,确定出一组参数值01(,,,)naaa…,使由这组参数得出的函数值1201=(,,,,,,,)iiilnyfxxxaaa……与实验值iy间的偏差平方和2011(,,,)()mniisaaayy…取得极小值.在设计实验时,为了减小随机误差,一般进行多点测量,使方程式个数大于待求参数的个数,即1mn.这时构成的方程组叫做矛盾方程组.通过用最小二乘法进行统计处理,将矛盾方程组转换成未知数个数和方程个数相等的正规方程组,再进行求解得出01,,,naaa….由微分学的求极值方法可知01,,,naaa…应满足下列方程组:0iya(1,2,,)in…,这样就实现矛盾方程组向正规方程组的转换.2二、曲线拟合1.一元线性拟合[2]设变量y与x成线性关系,即01yaax.现在已知m个实验点,iixy(1,2,,)im…,求两个未知参数01,aa.[方法一]由最小二乘法原理,参数01,aa应使201011(,)()miiisaayaax取得极小值.根据极小值的求法,0a和1a应满足011001112()02()0miiimiiiisyaaxasyaaxxa,10112011111mmiiiimmmiiiiiiiaaxymmaxaxxy,这就是含有两个未知数和两个方程的正规方程组.从中解得01,aa,即2211101()/()mmiiiiiaxymxyxmxayax(1)其中1111,mmiiiixxyymm,线性相关系数/xyxxyyRlll,式中32222111,,mmmxyiixxiyyiiiilxymxylxmxlymy,相关系数是用来衡量实验点的线性特性.[方法二]将,(1,2,,)iixyim代入01yaax得矛盾方程组1011201201mmyaaxyaaxyaax(2)令12111mxxAx,12myyBy,则（2）式可写成01aBAa,则有01TTaABAAa,所以011()TTaAAABa.其中A称为结构矩阵,B称为数据矩阵,TAA称为信息矩阵,TAB称为常数矩阵.为了定量地给出01yaax与实验数据之间线性关系的符合程度,可以用相关系数r来衡量.它定义为11122221111mmmiijiijimmmmiiiiiiiimxyxyrmxXmyy.4r值在01r中,r值越接近1,x与y的线性关系越好.r为正时,直线斜率为正,称为正相关；r为负时,直线斜率为负,称为负相关.r接近于0时,测量数据点分散或之间为非线性.不论测量数据好坏都能求出0a和1a,所以我们必须有一种判断测量数据好坏的方法,用来判断什么样的测量数据不宜拟合,判断的方法是0rr时,测量数据是非线性的.0r称为相关系数的起码值,与测量次数n有关,如图表所示.相关系数起码值0rn0rn0rn0r31.00090.798150.64140.990100.765160.62350.959110.735170.60660.917120.708180.59070.874130.684190.57580.834140.661200.561在进行一元线性拟合之前应先求出r值,再与0r比较,若0rr,则x和y具有线性关系,可求回归直线；否则反之.2.多元线性拟合设变量y与n个变量x间存在线性关系,01njjjyaax.设变量jx的第i次测量值为ijx,对应的函数值为(1,2,,)iyim,则偏差平方和22010111(,,,)()()mmnniijijiijsaaayyyaax为使s取极小值,得正规方程组为:50110011110112()02()02()0mnijijijmnijijiijmnijijinijnsyaaxasyaaxxasyaaxxa,即011101111()nmmijjijiimnmmikijikjikijjiimaxayxaxxaxy,1,2,,kn.将实验数据(,)ijixy代入上述正规方程组中,即得出未知参数01,,,naaa.3.多顶式拟合对于n次多项式0njjjyax,令(0,1,2,,)jjxxjn,则可转化为线性形式01njjjyaax这是曲线化直.对于1,2,,im个实验点有jijixx,代入多元线性拟合的正规方程:001111111()()nmmmnmmijjiikijikjikijiiijiimaxayxaxxaxy,可直接得出多项式最小二乘拟合的正规方程:011nmmjkijikijiixaxy(0,1,2,,)kn；矩阵形式:60120012311123422212niiiiiiniiiiiiniiiiiinnnnmniiiiiinxxxxxyaxxxxxyaxxxxxyaxxxxxya,式中代表1mi,这是一个具有1n个参数012,,,,naaaa和1n个方程的线性方程组,可用高斯迭代法求出这些未知参数,得出回归方程.4.非线性最小二乘法拟合将非线性关系1212(,,,,,,,)inyfxxxbbb直接代入偏差平方和表达式中,采用极小值的求法得出12,,,nbbb的数值,此方法常常较为繁琐.为此,先将函数展开成泰勒级数,忽略高次项,化成线性形式后按线性拟合的方法求出参数,经多次逼近可得到满足精度要求的结果.计算步骤:(1)设所求参数真值为(1,2,,)jbjn,另取初值(0)jb,其差值(0)jjjbb,故(0)jjjbb.(2)将函数1212(,,,,,,,)lnfxxxbbb在(0)jb处展开成泰勒级数.由于初值(0)jb与真值jb应当很接近,故可以略去函数的泰勒展开式高次项,取得一阶近似展开式:(0)11iiiinnffffbb,式中(0)(0)(0)(0)1212(,,,,,,,)iiiilnffxxxbbb71212(,,,,,,,)iiiilnffxxxbbb(1,2,,.)imm为实验点数(3)令(0),,iijiiijjjfxyffab,则展开式可以写为:11221niiinnijjjyxaxaxaxa,这是线性关系式的特殊形式.(4)将多元线性最小二乘法拟合的正规方程式应用于上式,得出其正规方程组:111()()(1,2,,)nmmijikjikijiixxaxykn令111212122212nnmmmnxxxxxxAxxx12(,,,)Tnaaaa(0)(0)(0)121122(,,,)(,,,)TTmmmyyyyffffff,则上式成为:TTay.(5)以高斯消元法或其它方法求解正规方程,即可得出ja即j,求出(0)jjjbb,此式是一个近似式,因而得出的jb也是一个近似值.将首次求出的jb值赋给(0)jb作为新的初值,重复上述过程,再求出新的j值,从而得到新的初值,反复迭代,直到得出足够精度的jb为止.5.多项式回归的高精度