对照最小二乘法的矩阵形式

1第五章线性参数的最小二乘法与回归分析本章教学目标本章包括二个方面内容：1、最小二乘法：阐述最小二乘法的基本原理与方法；给出最小二乘法估计量精度的评定方法；最小二乘法在组合测量问题数据处理中的应用。2、回归分析：主要阐述回归分析的基本概念；介绍一元线性回归的基本方法；给出回归方程的方差分析和显著性检验。通过本章的学习，应该掌握最小二乘法以及回归分析的原理、方法及应用，学会从实际测量中寻求两个变量之间的内在关系的方法。2第五章线性参数的最小二乘法与回归分析教学重点与难点最小二乘法原理线性参数的最小二乘法组合测量一元回归原理与方法回归方程的方差分析和显著性检验3第五章线性参数的最小二乘法与回归分析本章内容§5.1最小二乘原理§5.2正规方程§5.3精度估计§5.4组合测量的最小二乘法§5.5回归分析总结4第五章线性参数的最小二乘法与回归分析§5.1最小二乘原理§5.1最小二乘原理最小二乘法是一种在数据处理和误差估计等多学科领域得到广泛应用的数学工具。最小二乘法已经成为参数估计、数据处理、回归分析、经验公式拟合中必不可少的手段，并已形成统计推断的一种准则。5第五章线性参数的最小二乘法与回归分析§5.1最小二乘原理1、问题的引入有待测量（难以直接测量）：tXXX,,,21直接测量量：nYYY,,,21它们的关系（测量方程）：)(XfY直接测量量Y的测量值：nlll,,,21直接测量量Y的估计值：nyyy,,,21有待测量量X的估计值：nxxx,,,216第五章线性参数的最小二乘法与回归分析§5.1最小二乘原理),,,(),,,(),,,(212122221111tnnnttXXXfYlXXXfYlXXXfYl问题：如何根据测得值和测量方程，解得待测量的X估计值？nlll,,,21txxx,,,21)(XfY测量方程现有n次测量，得到Y的n个测量值L直接测量量Y的测量值)(XfY待测量的量X直接测量量Y7:tnn个方程解n个未知数X，可以直接求得估计值txxx,,,21:tn方程组有冗余，有利于减小随机误差，采用最小二乘原理求。txxx,,,21讨论：),,,(),,,(),,,(212122221111tnnnttXXXfYlXXXfYlXXXfYl最小二乘原理：最可信赖的值,应使残余误差平方和最小。第五章线性参数的最小二乘法与回归分析§5.1最小二乘原理82、最小二乘原理设直接测量量的估计值为，则有（Y的估计值y与X的估计值x的关系）nYYY,,,21nyyy,,,21),,,(),,,(),,,(2121222111tnnttxxxfyxxxfyxxxfy由此得测量数据的残余误差（估计值y与测量值l的差）nlll,,,21),,,(),,,(),,,(212122221111tnnnttxxxflvxxxflvxxxflv残差方程式第五章线性参数的最小二乘法与回归分析§5.1最小二乘原理若不存在系统误差，相互独立并服从正态分布，标准差分别为，则出现在相应真值附近区域内的概率为9nlll,,,21n,,,21nddd,,,21),,2,1(21)2(22nidePiiiii由概率论可知，各测量数据同时出现在相应区域的概率为nnniidddePPniii21)2(21112221nlll,,,21要使P最大，应有2222222121nn最小第五章线性参数的最小二乘法与回归分析§5.1最小二乘原理回顾：正态分布概率密度函数)2/(2221)(efli出现在dδi区域内的概率102222222121nn最小以残差的形式表示为2222222121nnvvv最小等精度测量的方差σ2相等。所以等精度测量最小二乘原理：niinvvvv1222221最小不等精度测量的最小二乘原理(引入权pi)niiinnvpvpvpvp122222211最小第五章线性参数的最小二乘法与回归分析§5.1最小二乘原理最小二乘原理（其他分布也适用）113、等精度测量的线性参数最小二乘原理线性参数的测量方程和相应的估计量为tntnnnttttXaXaXaYXaXaXaYXaXaXaY22112222121212121111tntnnnttttxaxaxayxaxaxayxaxaxay22112222121212121111残差方程为)()()(2211222212122121211111tntnnnnttttxaxaxalvxaxaxalvxaxaxalv第五章线性参数的最小二乘法与回归分析§5.1最小二乘原理测量值估计值12令ntnnttnnnaaaaaaaaaAvvvVxxxXlllL212222111211212121ˆ)()()(2211222212122121211111tntnnnnttttxaxaxalvxaxaxalvxaxaxalv则残差方程的矩阵表达式为XALVˆ等精度测量最小二乘原理的矩阵形式(残差平方和为最小)最小VVT第五章线性参数的最小二乘法与回归分析§5.1最小二乘原理X最小）（）（XALXALTˆˆ代入残差表达式13不等精度测量最小二乘原理的矩阵形式思路一：利用权矩阵PnnnpppP00000021权矩阵最小）（）（最小XALPXALPVVTTˆˆ4、不等精度测量的线性参数最小二乘原理第五章线性参数的最小二乘法与回归分析§5.1最小二乘原理X14思路二：不等精度等精度iptnntnnnnnnnnttttxpaxpaxpaplpvxpaxpaxpaplpvxpaxpaxpaplpv22112222221221222211211211111111'iv'il'1ia'2ia'ita则有：最小）（）（最小XALXALVVTTˆ''ˆ''''第五章线性参数的最小二乘法与回归分析§5.1最小二乘原理用权乘以残差方程得到XAALLVVaallvvijijiiii15第五章线性参数的最小二乘法与回归分析§5.2正规方程§5.2正规方程正规方程：误差方程按最小二乘法原理转化得到的有确定解的代数方程组。§5.2.1等精度测量线性参数最小二乘处理的正规方程tntnnnnttttxaxaxalvxaxaxalvxaxaxalv2211222212122121211111最小22221nvvv0)(0)(12112nniiniixvxv残差方差平方后，求偏导数，并令其为零16得正规方程tniititniiitniiitiniittniitiniiiniiiiniitniitiniiiniiiiniixaaxaaxaalaxaaxaaxaalaxaaxaaxaala12121111122122111212112121111111特点相对于主对角线对称分布的各系数两两相等。0)(0)(12112nniiniixvxv由第五章线性参数的最小二乘法与回归分析§5.2正规方程主对角线分布着平方项系数，正数；tntnnnnttttxaxaxalvxaxaxalvxaxaxalv2211222212122121211111和17看正规方程组中第r个方程0][12121111tniitirniiirniiiriniirxaaxaaxaala02211nnrrrvavava等式左边展开即][12121111tniitirniiirniiiriniirxaaxaaxaala第五章线性参数的最小二乘法与回归分析§5.2正规方程)]([)]([11111111tntnnnrttrxaxalaxaxala)(2211nnrrrlalala)(2211tntnrttrttrxaaxaaxaa)(1112121111xaaxaaxaannrrr上式展开后，合并，并且分别提出airnnrrvava11括号中为υi所以1802211nnrrrvavava仿此方法处理可得正规方程方程组000221122221121221111nntttnnnnvavavavavavavavava0VAT正规方程的矩阵形式第五章线性参数的最小二乘法与回归分析§5.2正规方程19将代入到中，得XALVˆ0VAT0ˆXAALATTLAXAATTˆLAXCTˆLACXT1ˆ（待测量Ｘ的无偏估计）AACT令第五章线性参数的最小二乘法与回归分析§5.2正规方程0VAT20已知铜棒的长度和温度之间具有线性关系为。现测得不同温度下铜棒的长度，如下表。求，的最可信赖值。i1234561020253040452000.362000.722000.82001.072001.482000.60解：1）列出误差方程)(00iiityylv令为两个待估参量，则误差方程为dycy00,例题5.1)1(0tyyt0yCti0/mmli/)(dtclviii第五章线性参数的最小二乘法与回归分析§5.2正规方程il长度yt的测得值长度yt的估计值21)(dtclviii按照最小二乘的矩阵形式计算451401301251201101ˆ60.200148.200107.200180.200072.200036.2000AdcXL则有0012.0034.0034.013.11C56501701706AACT03654.097.1999ˆ1dcLACXT因此Cydmmcy000/0000183.0/97.1999mmCtyt)/0000183.01(97.19990拟合方程第五章线性参数的最小二乘法与回归分析§5.2正规方程dycy00,长度测量值本题就是6次试验c、d的系数，c前系数恒为1，d前系数就是ti22§5.2.2不等精度测量线性参数最小二乘处理的正规方程＝最小niiivp120)(0)(12112nniiiniiixvpxvp由此可得不等精度测量线性参数最小二乘处理的正规方程tniititiniiitiniiitiiniititniitiiniiiiniiiiiniiitniitiiniiiiniiiiiniiixaapxaapxaaplapxaapxaapxaaplapxaapxaapxaaplap1212111112212