高等数学实践课-最小二乘法的理论思想及应用

最小二乘法的理论思想及应用课程名称：高等数学（2）专业班级：成员组成：2012年5月3日摘要：探讨最小二乘法的基本原理、几何解释、线性拟合和若干非线性拟合及其在物理、化学等学科中的应用。关键词：最小二乘法直线拟合矛盾方程组正规方程组拟合曲线经验公式几何解释基本原理线性关系有效数字TheoreticalthinkingandapplicationoftheleastsquaresmethodAbstract:xplorethebasicprinciplesoftheleastsquaresmethod,thegeometricinterpretationoflinerregressionandnonlinearcurvefittinganditsapplicationinphysics,chemistryandotherdisciplineKeywords:Theleastsquarescurvefittingthecontradictionequationsnormalequationsfittingcurveempiricalformulaforthegeometricinterpretationoflinearrelationshipofthebasicprinciplesofeffectivedigital1引言最小二乘法在社会生活的各个领域有着广泛的应用，为此特地做出以下简略分析2研究问题及成果一．最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小.这里的“二乘”指的是用平方来度量观测点与估计点的远近（在古汉语中“平方”称为“二乘”），“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小在两个观测量中，往往总有一个量精度比另一个高得多，为简单起见把精度较高的观测量看作没有误差，并把这个观测量选作x，而把所有的误差只认为是y的误差。设x和y的函数关系由理论公式y＝f（x；c1，c2，……cm）（0-0-1）给出，其中c1，c2，……cm是m个要通过实验确定的参数。对于每组观测数据（xi，yi）i＝1，2，……，N。都对应于xy平面上一个点。若不存在测量误差，则这些数据点都准确落在理论曲线上。只要选取m组测量值代入式（0-0-1），便得到方程组yi＝f（x；c1，c2，……cm）（0-0-2）式中i＝1，2，……，m.求m个方程的联立解即得m个参数的数值。显然Nm时，参数不能确定。在Nm的情况下，式（0-0-2）成为矛盾方程组，不能直接用解方程的方法求得m个参数值，只能用曲线拟合的方法来处理。设测量中不存在着系统误差，或者说已经修正，则y的观测值yi围绕着期望值f（x；c1，c2，……cm）摆动，其分布为正态分布，则yi的概率密度为22212,......,,;exp21imiiiicccxfyyp,式中i是分布的标准误差。为简便起见，下面用C代表（c1，c2，……cm）。考虑各次测量是相互独立的，故观测值（y1，y2，……cN）的似然函数NiiiNNCxfyL12221;21exp...21.取似然函数L最大来估计参数C，应使min;1122NiiiiCxfy（0-0-3）取最小值：对于y的分布不限于正态分布来说，式（0-0-3）称为最小二乘法准则。若为正态分布的情况，则最大似然法与最小二乘法是一致的。因权重因子2/1ii，故式（0-0-3）表明，用最小二乘法来估计参数，要求各测量值yi的偏差的加权平方和为最小。根据式（0-0-3）的要求，应有mkCxfycccNiiiik,...,2,10;1ˆ122从而得到方程组mkCCxfCxfyccNikiii,...,2,10;;1ˆ12（0-0-4）解方程组（0-0-4），即得m个参数的估计值mcccˆ,...,ˆ,ˆ21，从而得到拟合的曲线方程mcccxfˆ,...,ˆ,ˆ;21。然而，对拟合的结果还应给予合理的评价。若yi服从正态分布，可引入拟合的x2量，NiiiiCxfyx1222;1（0-0-5）把参数估计mccccˆ,...,ˆ,ˆˆ21代入上式并比较式（0-0-3），便得到最小的x2值Niiiicxfyx1222minˆ;1（0-0-6）可以证明，2minx服从自由度v＝N-m的x2分布，由此可对拟合结果作x2检验。由x2分布得知，随机变量2minx的期望值为N-m。如果由式（0-0-6）计算出2minx接近N-m（例如mNx2min），则认为拟合结果是可接受的；如果22minmNx，则认为拟合结果与观测值有显著的矛盾。二．直线的最小二乘拟合曲线拟合中最基本和最常用的是直线拟合。设x和y之间的函数关系由直线方程y＝a0+a1x(0-0-7)给出。式中有两个待定参数，a0代表截距，a1代表斜率。对于等精度测量所得到的N组数据（xi，yi），i＝1，2……，N，xi值被认为是准确的，所有的误差只联系着yi。下面利用最小二乘法把观测数据拟合为直线。直线参数的估计前面指出，用最小二乘法估计参数时，要求观测值yi的偏差的加权平方和为最小。对于等精度观测值的直线拟合来说，由式（0-0-3）可使aaNiiixaayˆ1210（0-0-8）最小即对参数a（代表a0，a1）最佳估计，要求观测值yi的偏差的平方和为最小。根据式（0-0-8）的要求，应有,0ˆˆ2110ˆ12100NiiiaaNiiixaayxaaya.0ˆˆ2110ˆ12101NiiiaaNiiixaayxaaya整理后得到正规方程组.ˆˆ,ˆˆ21010iiiiiiyxxaxayxaNa解正规方程组便可求得直线参数a0和a1的最佳估计值0ˆa和1ˆa。即2220ˆiiiiiiixxNyxxyxa（0-0-10）221ˆiiiiiixxNyxyxNa（0-0-11）拟合结果的偏差由于直线参数的估计值0ˆa和1ˆa是根据有误差的观测数据点计算出来的，它们不可避免地存在着偏差。同时，各个观测数据点不是都准确地落地拟合线上面的，观测值yi与对应于拟合直线上的iyˆ这之间也就有偏差。首先讨论测量值yi的标准差S。考虑式（0-0-6），因等精度测量值yi所有的i都相同，可用yi的标准偏差S来估计，故该式在等精度测量值的直线拟合中应表示为.ˆˆ1121022minNiixaaySx（0-0-12）已知测量值服从正态分布时，2minx服从自由度v＝N-2的x2分布，其期望值.2ˆˆ1121022minNxaaySxNiii由此可得yi的标准偏差.ˆˆ212110NiiixaayNS（0-0-13）这个表示式不难理解，它与贝塞尔公式是一致的，只不过这里计算S时受到两参数0ˆa和1ˆa估计式的约束，故自由度变为N-2罢了。式（0-0-13）所表示的S值又称为拟合直线的标准偏差，它是检验拟合结果是否有效的重要标志。如果xy平面上作两条与拟合直线平行的直线,ˆˆ,ˆˆ1010SxaaySxaay如图0-0-1所示，则全部观测数据点（xi，yi）的分布，约有68.3%的点落在这两条直线之间的范围内。图0-0-1拟合直线两侧数据点的分布下面讨论拟合参数偏差，由式（0-0-10）和（0-0-11）可见，直线拟合的两个参数估计值0ˆa和1ˆa是yi的函数。因为假定xI是精确的，所有测量误差只有yi有关，故两个估计参数的标准偏差可利用不确定度传递公式求得，即.ˆ;ˆ21121010NiiaNiiaSyaSSyaS把式（0-0-10）与（0-0-11）分别代入上两式，便可计算得;2220iiiaxxNxSS（0-0-14）.221iiaxxNNSS（0-0-15）三、相关系数及其显著性检验当我们把观测数据点（xi，yi）作直线拟合时，还不大了解x与y之间线性关系的密切程度。为此要用相关系数ρ（x，y）来判断。其定义已由式（0-0-12）给出，现改写为另一种形式，并改用r表示相关系数，得2/122iiiiiiiyxxxyyxxr（0-0-16）式中x和y分别为x和y的算术平均值。r值范围介于-1与+1之间，即-1≤r≤1。当r0时直线的斜率为正，称正相关；当r0时直线的斜率为负，称负相关。当|r|＝1时全部数据点（xi，yi）都落在拟合直线上。若r＝0则x与y之间完全不相关。r值愈接近±1则它们之间的线性关系愈密切。利用最小平方法拟合直线趋势方程在时间序列分析中，我们也常常利用最小平方法拟合直线趋势方程，直线趋势方程与直线回归方程基本原理相同，只是直线回归方程中的自变量被时间变量t所取代，方程中的两个待定系数也用同样的方法求得。如果时间数列的一级增长量(即环比增长量)大致相等，则可拟合直线趋势方程。设直线趋势方程为：btayt。如上面介绍方法可得出求解a和b两个参数的标准方程组：2tbtatytbnay解方程组同样能得：tbyattnyttynb22)((9)直线趋势方程btayt中，t是时间序数，往往间隔相等且连续。为了简化计算过程，直线趋势方程还可以采用简捷法的计算形式，求解参数。简捷法求解直线趋势方程，前提是设0t，这要用坐标移位的方法。将0t代入式(9)，其结果就简化为：nyattyb2(10)用式(10)求解a和b两个参数肯定会方便不少，但这里有两个假设要注意：其一，0t；其二，t的间隔相等。具体操作中t的设定为，当时间数列为奇数项时，取中间一项(原点)为0，原点以前的时期分别设为-1，-2，-3，…，原点之后各期设为1，2，3，…；当时间数列为偶数项时，原点就在中间两项的中点，此时可取中间两项分别为-1，1，往上、往下方向分别依次为-1，-3，-5，…和1，3，5，…等等。简捷法的计算形式为大家在趋势预测中简化了计算过程，但实际应用中也经常会出错，其原因：首先，可能是t的设定条件没有满足。其次，用简捷法计算出的趋势方程与用标准方程组计算出的方程往往是不一致的，在t的新设定条件下，参数肯定发生了变化，不要为此产生混淆，但预测出的结果应该是一样的。最后，要提醒注意的是，用简捷法得到的趋势方程用来预测结果时，一定要用t的新设定序号代入方程，否则也会得出错误结果。最小平方法的实际应用分析例一、有10个同类企业的生产性固定资产年平均价值和工业总产值资料如下：企业编号生产性固定资产价值(万元)工业总产值(万元)123456789103189102004094155023141210102212255241019638815913928605151612191624合计65259801要求：⑴说明两变量之间的相关方向及程度⑵编制直线回归方程⑶计算估计标准误⑷估计生产性固定资产(自变量)为1100万元时总产值(因变量)的可能值。解题分析：本题是典型的相关与回归分析计算题，首先要判断两变量之间是否相关，并计算相关系数。相关系数的计算可采用多种途径，下面介绍常用三种手法。其一，传统的列表手工计算，把相关的资料在表格的合计栏得出。其二，利用计算器的功能计算，最好计算器有统计功能。其三，利用计算机中的统计软件来计算，目前统计软件也有多种多样，最普通或方便的是Excel。计算本题时，在Excel的界面中输入x和y各项数据，按列排列，然后打开工具菜单，点击“数据分析”