最小二乘法的应用研究(1)

本科生毕业论文（设计）系（院）数学与信息科学学院专业数学与应用数学论文题目最小二乘法的应用研究学生姓名曹人月指导教师冯新磊（副教授）（姓名及职称）班级2011级（本）3级学号11310137完成日期：二0一五年四月乐山师范学院毕业论文（设计）1最小二乘法的应用研究曹人月数学与信息科学学院数学与应用数学11310137【摘要】文中简单阐述了最小二乘法的原理，对利用最小二乘原理的几种简单拟合曲线进行了讨论，包括：一元线性拟合、多元线性拟合、多项式拟合、指数函数拟合等，并利用Matlab程序对线性最小二乘拟合进行了实现.【关键词】最小二乘法拟合应用Matlab1引言最小二乘法最早出现在1805年，由天文学家勒让德发表在论著《计算彗星轨道的新方法》附录中，但作为一种计算方法，其在应用数学领域还属于萌芽阶段.直至1809年，数学家高斯从纯代数的角度进行研究，才形成了经典最小二乘法理论1.随着社会的不断发展与进步，数学与计算机技术的有效结合，使得最小二乘法在各个领域得到了飞速的发展.如今，最小二乘法的理论研究已经比较成熟，逐渐分化成各种较为专业的方向.现有最小二乘理论都是基于经典最小二乘理论而形成，其普遍存在实际计算操作较为复杂的弊端，为此文中将其与现代数学软件Matlab结合，使其更加适用于实际生活.2最小二乘法的原理在实验中，每当我们研究一组变量yx,时，通常会得到一系列的测量点nnnyxAyxAyxA,,,,,,222111.为了研究它们的变化趋势，将所有测量点画在坐标系中，找出相应的拟合函数xy，使得所有测量点距离曲线:lxy最近.为了便于研究，我们选择对直线拟合bxay（其中a，b为待估参数）这种简单情况进行讨论.若iiixxx0，iiiyyy0为变量yx,的测量值，0ix，0iy表示测量值的“真实值”（即最佳估计值），表示相应的误差.现用测量值ix，iy来估计参数a，b从而实现直线拟合.乐山师范学院毕业论文（设计）2要使所有测量点距离l最近，则实际点00,iiiyxA到测量点iiiyxB,的距离最小.故拟合准则为niiiiiBAyyxxsii12020minmin.由微分学求极值的原理2可知：要使s达到最小值，只须0as，0bs.由此，可求得参数a，b.推导一假设0ix，即测量值的横坐标没有误差.此时拟合准则为21minminniiibxays.即测量点与对应点纵坐标差的平方和取得最小值.推导二假设0iy，即测量值的纵坐标没有误差.此时拟合准则为211minminniiiybaxs.即测量点与对应点横坐标差的平方和取得最小值.推导三假设0ix，0iy，即测量值的横、纵坐标都有误差.此时拟合条件为niiiiiniiibxayybaxYXs1221221minminmin.其中2iX，2iY为测量值在x轴和y轴上的误差，即此时的几何意义为测量点到拟合曲线最短距离3.这三种推导都是现有的最小二乘理论，其中最常用的是第一种.通过推导，我们可以看到无论哪种理论在估计精度上都不可能达到百分之百，并且随着拟合情况的复杂化，在曲线拟合化为直线拟合的过程中又会进一步产生误差.因此，从结果准确度考虑，我们在使用最小二乘法时应尽可能地避免计算误差.乐山师范学院毕业论文（设计）33拟合函数的确定在了解最小二乘法的原理后，我们可以知道在现实生活中，只要任意的给定两个变量x，y的一组测量数据，都可以通过最小二乘法进行强行拟合，从而将毫无关系的数据变为线性关系.但这条直线，并不一定有效地反映测量数据之间的关系以及未来的发展趋势.为此，我们一方面可以建立在已有经验的基础上选择有意义的方程，另一方面我们应该对拟合效果和实际情况进行比对，从而确定最佳的拟合方式，真实有效地反映测量数据间的实际关系.因此，我们可以采用相关系数法对变量x，y的线性相关程度进行检验.公式4如下yyxxxyLLLR（R即为x和y的相关系数），yyxxyxnxyLiixy1，2221xxxnxLixx，2221yyynyLiyy，ixnx1，iyny1.结合相关系数公式，我们可以得残差平方和yyLRs21.由于0,02yyLsiyy我们可知012R，即10R.因此，R越接近1，s的值就越接近0，x和y的线性关系就越好.例1人口增长问题日益突出，有关部门做出了世界人口统计.表1世界人口数表年196019611962196319641965196619671968人口29.7230.6131.5132.1334.3432.8533.5634.2034.83解对表中数据直接用线性关系bxay强行拟合，根据最小二乘原理，即有残差平方和219681960iiiybaxs.乐山师范学院毕业论文（设计）4令0,0bsas得15034528575.293945baba即79.3203.0ba，所以生产量与年份关系满足线性关系79.3203.0xy.从表中我们可以明显的看出人口与年份呈现递增关系，而直接采用线性拟合得出的却是递减关系，这明显是不符合实际情况的.出现这种反差的原因就在于没有考虑散点图的发展趋势，随意选取拟合曲线进行强行拟合.因此，我们在对实验数据进行拟合的时候，必须依据散点图的发展趋势来选择正确的拟合曲线，并对拟合函数进行相关性检验5.在后面第九部分中，对该例题中拟合曲线的选取进行了详细的演示.4一元线性拟合例2测得某电阻线在温度it时的电阻ir如表2所示.表2电阻随温度变化表i1234567Cti19.125.030.136.040.045.150.0jr76.3077.8079.2580.8082.3583.9085.10解将表中的点描在直角坐标系中，发现电阻ir随时间it的变化趋势近似于一条直线.图1电阻随时间变化图乐山师范学院毕业论文（设计）5我们可以将其看作一元线性关系btar，即有10.850.5090.831.4535.820.4080.800.3625.791.3080.770.2530.761.19bababababababa成立.我们可以发现，无论a，b取何值，都不可能使以上方程组成立，只能找到一组参数a，b使误差达到极小.在这里，将r与t看作一元线性关系，由题知有i个实验点mi3,2,1，利用最小二乘法原理进行一元线性拟合即能求两个未知参数a，b.法一6令21miiibtars，则a，b应该满足0as，0bs.即miiiimiiitbtarbsbtaras110202，化简得mimiiiimiimiimiirttbtarmtmba1121111，解得miimiitmbrma111乐山师范学院毕业论文（设计）6mimiiimimimiiiiittmrttrmb1212111.此题中7m，代入上述解即可得到相应的927.0a,572.70b.法二6将mirtii,2,1,代入btar得mmbtarbtarbtar2211.令111Amttt21，mrrrB21.则可将方程组改写为baAB，即得baAABA，所以有BAAAbaT1.将相应数据代入即可得到927.0a,572.70b.5多元线性拟合当影响变量y的因素不止一个7，而是有n（n1）个变量ixni,,2,1时，我们通过j次测量mj,,2,1可以得到下表.乐山师范学院毕业论文（设计）7表3对ix进行j次测量表编号1x2x…ix…nxy111x21x…1ix…1nx1y212x22x…2ix…2nx2y……………………jjx1jx2…jix…njxjy则变量y与变量ix之间的线性关系为niiinniixaaxaxaxaxaay1022110.误差平方和mjnijiijmjjnxaayyyaaas12102110,,,.分别对参数iaaa,,,10求偏导得mjnjniijijnmjjniijijmjnijiijxxaayasxxaayasxaayas110111011100020202.化简得mjnimjjkjimjkjjikjnimjjimjijyxaxxaxyaxma111101110nk,,2,1.把测量数据jijyx,代入化简结果就能得到iaaa,,,10.6多项式拟合在现实生活中的数据mmyxyxyx,;,;,2211很可能不是线性变化的，这时我们乐山师范学院毕业论文（设计）8以n次多项式niiixay0ni,,2,1,0来拟合y与x的函数关系.若令iixx，即能实现曲线化直8，得到niiixaay10.对mj,,2,1个测量值有ijjixx，将其代入mjnimjjkjimjkjjikjnimjjimjijyxaxxaxyaxma111101110nk,,2,1.得多项式拟合正规方程mjjkjjnimjkijyxax101nk,,2,1.矩阵形式为mjjnjmjjjmjjnmjmnjmjnjmjnjmjnjmjjmjjmjnjmjjyxyxyaaaxxxxxxxxm1111101111111211111.求解该矩阵便可得到iaaa,,,10.7能转化为线性拟合的非线性拟合线性最小二乘拟合在选定拟合函数类后，待定参数全部为线性.其中一元线性拟合和简单的多项式拟合是最常见的线性拟合形式.但实际应用中，有些情况下得出的数据分布（散点图）所呈的曲线形状，用多项式拟合并不能反应数据的变化趋势，需以指数、双曲线、反比例等类型的函数去拟合，这时的待定参数可能为非线性，我们依然以误差向量的二次方最小为拟合原则，因此称为非线性最小二乘拟合.我们可以通过变量代换、取对数等方法将非线性模型转变为线性模型，继而用线性拟合对测量数据进行处理.乐山师范学院毕业论文（设计）9对于实际的曲线拟合问题，一般先在直角坐标系上描出相应散点图，观察散点图整体形状，选用相近的曲线表达式作为拟合方程，再通过适当的变量代换就能把非线性的拟合转化为线性拟合问题.下表列举了几类非线性拟合转变为线性拟合的情况.表4非线性拟合转变为线性拟合表曲线拟合方程变换关系变换后的线性拟合方程baxyyyln_，xxln_aaxbayln____其中caxyxx_cxay_baxxyyy1_，xx1___xbaybaxy1yy1_axby_cbxaxy21yy1_cbxaxy2_cbxaxxy2yxy_cbxaxy