第五章线性参数的最小二乘法处理.

1第五章线性参数的最小二乘法与回归分析本章内容§5.1最小二乘原理§5.2正规方程§5.3精度估计§5.4组合测量的最小二乘法§5.5回归分析2第五章线性参数的最小二乘法与回归分析§5.1最小二乘原理§5.1最小二乘原理最小二乘法是一种在数据处理和误差估计等多学科领域得到广泛应用的数学工具。最小二乘法已经成为参数估计、数据处理、回归分析、经验公式拟合中必不可少的手段，并已形成统计推断的一种准则。3第五章线性参数的最小二乘法与回归分析§5.1最小二乘原理1、问题的引入有待测量（难以直接测量）：tXXX,,,21直接测量量：nYYY,,,21它们的关系（测量方程）：)(XfY直接测量量Y的测量值：nlll,,,21直接测量量Y的估计值：nyyy,,,21有待测量量X的估计值：nxxx,,,214第五章线性参数的最小二乘法与回归分析§5.1最小二乘原理),,,(),,,(),,,(212122221111tnnnttXXXfYlXXXfYlXXXfYl问题：如何根据测得值和测量方程，解得待测量的量X估计值？nlll,,,21txxx,,,21)(XfY测量方程现有n次测量，得到Y的n个测量值L直接测量量Y的测量值)(XfY待测量的量X直接测量量Y5:tnn个方程解n个未知数X，可以直接求得估计值txxx,,,21:tn方程组有冗余，有利于减小随机误差，采用最小二乘原理求。txxx,,,21讨论：),,,(),,,(),,,(212122221111tnnnttXXXfYlXXXfYlXXXfYl最小二乘原理：Xi最可信赖的值,应使残余误差平方和最小。第五章线性参数的最小二乘法与回归分析§5.1最小二乘原理62、最小二乘原理设直接测量量的估计值为，则有（Y的估计值y与X的估计值x的关系）nYYY,,,21nyyy,,,21),,,(),,,(),,,(2121222111tnnttxxxfyxxxfyxxxfy由此得测量数据的残余误差（估计值y与测量值l的差）nlll,,,21),,,(),,,(),,,(212122221111tnnnttxxxflvxxxflvxxxflv误差方程式(也称残余误差方程，简称残差方程)第五章线性参数的最小二乘法与回归分析§5.1最小二乘原理若不存在系统误差，相互独立并服从正态分布，标准差分别为，则出现在相应真值附近区域内的概率为7nlll,,,21n,,,21nddd,,,21),,2,1(21)2(22nidePiiiii由概率论可知，各测量数据同时出现在相应区域的概率为nnniidddePPniii21)2(21112221nlll,,,21要使P最大，应有2222222121nn最小第五章线性参数的最小二乘法与回归分析§5.1最小二乘原理回顾：正态分布概率密度函数)2/(2221)(efli出现在dδi区域内的概率82222222121nn最小以残差的形式表示为2222222121nnvvv最小等精度测量的方差σ2相等。所以等精度测量最小二乘原理：niinvvvv1222221最小不等精度测量时，引入权piniiinnvpvpvpvp122222211最小第五章线性参数的最小二乘法与回归分析§5.1最小二乘原理最小二乘原理以正态分布导出，其他分布也适用。等精度测量的最小二乘原理不等精度测量的最小二乘原理93、等精度测量的线性参数最小二乘原理线性参数(Y与X呈线性关系)的测量方程和相应的估计量为tntnnnttttXaXaXaYXaXaXaYXaXaXaY22112222121212121111tntnnnttttxaxaxayxaxaxayxaxaxay22112222121212121111误差方程)()()(2211222212122121211111tntnnnnttttxaxaxalvxaxaxalvxaxaxalv第五章线性参数的最小二乘法与回归分析§5.1最小二乘原理测量值估计值10令ntnnttnnnaaaaaaaaaAvvvVxxxXlllL212222111211212121ˆ)()()(2211222212122121211111tntnnnnttttxaxaxalvxaxaxalvxaxaxalv则误差方程的矩阵表达式为XALVˆ等精度测量最小二乘原理的矩阵形式(残差平方和为最小)最小VVT第五章线性参数的最小二乘法与回归分析§5.1最小二乘原理X最小）（）（XALXALTˆˆ代入误差表达式11不等精度测量最小二乘原理的矩阵形式思路一：利用权矩阵PnnnpppP00000021权矩阵最小）（）（最小XALPXALPVVTTˆˆ4、不等精度测量的线性参数最小二乘原理第五章线性参数的最小二乘法与回归分析§5.1最小二乘原理X12思路二：不等精度等精度iptnntnnnnnnnnttttxpaxpaxpaplpvxpaxpaxpaplpvxpaxpaxpaplpv22112222221221222211211211111111'iv'il'1ia'2ia'ita则有：最小）（）（最小XALXALVVTTˆ''ˆ''''第五章线性参数的最小二乘法与回归分析§5.1最小二乘原理用根号权乘以残差方程两边得到XAALLVVaallvvijijiiii13第五章线性参数的最小二乘法与回归分析§5.2正规方程§5.2正规方程正规方程：误差方程按最小二乘法原理转化得到的有确定解的代数方程组。§5.2.1等精度测量线性参数最小二乘处理的正规方程tntnnnnttttxaxaxalvxaxaxalvxaxaxalv2211222212122121211111最小22221nvvv0)(0)(12112nniiniixvxv残差方差平方后，求偏导数，并令其为零14得正规方程tniititniiitniiitiniittniitiniiiniiiiniitniitiniiiniiiiniixaaxaaxaalaxaaxaaxaalaxaaxaaxaala12121111122122111212112121111111特点相对于主对角线对称分布的各系数两两相等。0)(0)(12112nniiniixvxv由第五章线性参数的最小二乘法与回归分析§5.2正规方程主对角线分布着平方项系数，正数；tntnnnnttttxaxaxalvxaxaxalvxaxaxalv2211222212122121211111和上式平方后，求偏导，并令其为0（参考教材）15看正规方程组中第r个方程0][12121111tniitirniiirniiiriniirxaaxaaxaala02211nnrrrvavava等式左边展开即][12121111tniitirniiirniiiriniirxaaxaaxaala第五章线性参数的最小二乘法与回归分析§5.2正规方程)]([)]([11111111tntnnnrttrxaxalaxaxala)(2211nnrrrlalala)(2211tntnrttrttrxaaxaaxaa)(1112121111xaaxaaxaannrrr上式展开后，合并，并且分别提出airnnrrvava11括号中为υi所以1602211nnrrrvavava仿此方法处理可得正规方程方程组000221122221121221111nntttnnnnvavavavavavavavava0VAT正规方程的矩阵形式第五章线性参数的最小二乘法与回归分析§5.2正规方程17将代入到中，得XALVˆ0VAT0ˆXAALATTLAXAATTˆLAXCTˆLACXT1ˆ（待测量Ｘ的无偏估计）AACT令第五章线性参数的最小二乘法与回归分析§5.2正规方程0VAT18已知铜棒的长度和温度之间具有线性关系为。现测得不同温度下铜棒的长度，如下表。求，的最可信赖值。i1234561020253040452000.362000.722000.82001.072001.482000.60解：1）列出误差方程)(00iiityylv令为两个待估参量，则误差方程为dycy00,例题5.1)1(0tyyt0yCti0/mmli/)(dtclviii第五章线性参数的最小二乘法与回归分析§5.2正规方程il长度yt的测得值长度yt的估计值19)(dtclviii按照最小二乘的矩阵形式计算451401301251201101ˆ60.200148.200107.200180.200072.200036.2000AdcXL则有0012.0034.0034.013.11C56501701706AACT03654.097.1999ˆ1dcLACXT因此Cydmmcy000/0000183.0/97.1999mmCtyt)/0000183.01(97.19990拟合方程第五章线性参数的最小二乘法与回归分析§5.2正规方程dycy00,长度测量值本题就是6次试验c、d的系数，c前系数恒为1，d前系数就是ti20§5.2.2不等精度测量线性参数最小二乘处理的正规方程＝最小niiivp120)(0)(12112nniiiniiixvpxvp仿此可得不等精度测量线性参数最小二乘处理的正规方程第五章线性参数的最小二乘法与回归分析§5.2正规方程回顾：等精度测量有正规方程000222111222221121122121111nntnttnnnnnnvapvapvapvapvapvapvapvapvap000221122221121221111nntttnnnnvavavavavavavavava写成矩阵形式0PVAT不等精度的正规方程210PVAT将代入上式，得XALVˆ0ˆXPAAPLATTPLAXPAATTˆPAACT令PLAXCTˆPLACXT1ˆ（待测量Ｘ的无偏估计）第五章线性参数的最小二乘法与回归分析§5.2正规方程LACXT1ˆ回顾等精度测量：22某测量过程的残差方程式及相应的标准差：08.0)5(27.1508.0)4(2