3.1最小二乘法

国防科学技术大学航天与材料工程学院2011-11-5第三章参数估计(1)内容介绍参数估计是根据试验测得的样本推断未知参数的数值，包括参数估计准则和估计算法。准则：最小二乘、最大似然、最小方差、最小风险、最小预报均方误差等。算法：迭代算法、递推算法。什么是参数估计？内容介绍§3.1最小二乘估计准则§3.2最小二乘估计迭代算法§3.3最小二乘估计递推算法学习目标本章的学习目的1、掌握最小二乘参数辨识方法的基本原理2、掌握常用的最小二乘辨识方法3、熟练应用最小二乘参数辨识方法进行模型参数辨识4、能够编程实现最小二乘参数辨识§3.1最小二乘估计准则一、最小二乘法简介二、标准最小二乘估计三、加权最小二乘估计★§3.1最小二乘估计准则最小二乘法奠定了系统辨识参数估计理论的基石，美国著名统计学家斯蒂格勒甚至说“最小二乘法于数理统计科学正如微积分之于数学。”为什么要学习最小二乘法？1801年初，天文学家皮亚齐发现了谷神星。1801年末，天文爱好者奥博斯，在高斯预言的时间里，再次发现谷神星。1802年高斯又成功地预测了智神星的轨道。•高斯自己独创了一套行星轨道计算理论。•高斯仅用1小时就算出了谷神星的轨道形状，并进行了预测•1794年，高斯提出了最小二乘的思想。§3.1最小二乘估计准则最小二乘法是怎么来的？1777.4.30-1853.2.23一、最小二乘法简介二、标准最小二乘估计三、加权最小二乘估计★§3.1最小二乘估计准则离散型线性系统观测方程：其中为观测矢量，是待估参数；测量噪声为零均值白噪声，观测矩阵。YVH1mYR1nR1mVRmnRH§3.1最小二乘估计准则观测数据:用最小二乘法确定a,b通过计算确定某些经验公式类型的方法:),,1,0(),(niyxii),,2,1(,11niyyyxxxiiiiii令,)1(定值若iixybxay则考虑,lnln)2(定值若iixybxay则考虑,ln)3(定值若iixyxbaye则考虑axbylnlnln转化为axbylnln转化为§3.1最小二乘估计准则每次得到i个观测量，进行j次观测，这里有m=i×j，若观测方程有解，则要求m≥n，实际上我们遇到的大量问题都满足这一条件。(1)(2)()mnhhHRhj§3.1最小二乘估计准则§3.1最小二乘估计准则准则函数如下：求使J最小的，即得估计值。Tˆˆ[][]minJHYHYˆ为什么叫“最小二乘”？最小二乘的思想就是寻找一个的估计值，使得各次测量的与由估计确定的量测估计之差的平方和最小。ˆ),1(miYiˆˆˆiiHY“最小二乘”的基本思想是什么？最小二乘估计是在残差二乘方准则函数极小意义下的最优估计因准则函数是二次型，因此，求其最小值，可令，在存在的情况下，则有：其中称之为信息矩阵。信息矩阵为正定Hermite二次型矩阵。ˆ/0JT1T1Tˆ[]HHHYBHYTBHHT1[]HH§3.1最小二乘估计准则性质：1、无偏估计2、估计误差3、残差4、协方差矩阵ˆE()ˆˆˆlrYH1T1TˆCov()E()vvBHRHBRVV§3.1最小二乘估计准则一致性有效性渐进正态性例子：通过试验确定热敏电阻阻值和温度间的关系t)(C1t2t1NtNtR)(1R2R1NRNR•当测量没有任何误差时，仅需2个测量值。•每次测量总是存在随机误差。btaRiiivRy或iivbtay§3.1最小二乘估计准则使最小/*minimaxproblem*/||max1iiNiRy太复杂使最小NiiiRy1||不可导，求解困难使最小miiiRy12||测量误差的平方和最小常见做法：§3.1最小二乘估计准则根据最小二乘的准则有NiiiNiibtaRvJ1212min)]([NiiiibbNiiiaatbtaRbJbtaRaJ1ˆ1ˆ0)(20)(2§3.1最小二乘估计准则套用公式ˆ/0J表1热敏电阻的测量值t)(C20.52632.740516173808895.7R)(76579082685087391094298010101032762.702ˆa4344.3ˆbCt70168.943RbtaR§3.1最小二乘估计准则§3.1最小二乘估计准则最小二乘参数辨识方法可以估计系统方程的参数，其观测误差的二次型函数可以检验实验操作人员的操作技能。深入思考：最为检验操作技能的标准，它是否是完备的？观测误差的二次型函数：Tˆˆ[][]minJHYHY一、最小二乘法简介二、标准最小二乘估计三、加权最小二乘估计★§3.1最小二乘估计准则为什么还要学习加权最小二乘估计？§3.1最小二乘估计准则一般最小二乘估计精度不高的原因之一是对测量数据同等对待各次测量数据很难在相同的条件下获得的有的测量值置信度高，有的测量值置信度低的问题对不同置信度的测量值采用加权的办法分别对待置信度高的，权重取得大些；置信度低的，权重取的小些准则函数取为：其中为对角正定加权阵。Tˆˆ[][]wwJHYWHYmmWR§3.1最小二乘估计准则加权最小二乘估计值为：其中。如果已知测量噪声为零均值白噪声，加权最小二乘参数估计值的协方差矩阵：1TˆwwBHWYTwBHWH1T1ˆCov()wwvwBHWRWHB§3.1最小二乘估计准则，这种加权最小二乘估计就是一般的最小二乘估计。，这种加权最小二乘估计称为马尔可夫最小二乘估计。，这种加权最小二乘估计称为渐消记忆最小二乘估计。加权最小二乘估计仅用于事先能够估计方程误差对参数估计的影响。1vWR§3.1最小二乘估计准则)10,0(raarWkIW例3.2：两仪器不相关，同时测量物理量x，得值y1和y2，已知仪器误差均值为零，方差分别为r和4r，即D(v1)=r，D(v2)=4r，估计物理量，并求出估计值的方差。解：首先写出观测方程：YVH12yYy11H004vrRr§3.1最小二乘估计准则最小二乘估计：1T1T111222ˆ[]2[1,1]()yHHHYyyy加权最小二乘估计：4151T4112551250ˆ[1,1]0wwyBHWYyyy54ˆ()Covr45ˆ()wCovr§3.1最小二乘估计准则离散线性系统观测方程最小二乘估计准则最小二乘的解最小二乘解的统计特性加权最小二乘的解总结作业：例题：3.1，3.2，3.3，3.4；习题：3-1，3-2，3-3。§3.1最小二乘估计准则参考书目•Gauss,CarlFriedrich,TranslatedbyG.W.Stewart.1995.TheoryoftheCombinationofObservationsLeastSubjecttoErrors:PartOne,PartTwo,Supplement.Philadelphia:SocietyforIndustrialandAppliedMathematics.•Plackett,R.L.1949.AHistoricalNoteontheMethodofLeastSquares.Biometrika.36:458–460.•StephenM.Stiger,GaussandtheInventionofLeastSquares.TheAnnalsofStatistics,Vol.9,No.3(May,1981),465-474.•Plackett,RobinL.1972.TheDiscoveryoftheMethodofLeastSquares.Plackett,RobinL.1972.TheDiscoveryoftheMethodofLeastSquares.•BelindaB.Brand,Guass’MethodofLeastSquares:Ahistorically-basedintroduction.August2003•~efriedma/periodictable/html/Ga.html•谢谢！