您好,欢迎访问三七文档
当前位置:首页 > 商业/管理/HR > 企业财务 > 3.2-多元线性模型的参数估计
§3.2多元线性回归模型的估计一、普通最小二乘估计二、最大或然估计三、矩估计四、参数估计量的性质五、样本容量问题六、估计实例说明估计对象:–模型结构参数–随机项的分布参数(方差)估计方法:–3大类方法:OLS、ML或者MM–在经典模型中多应用OLS–在非经典模型中多应用ML或者MM一、普通最小二乘估计(OLS)1、普通最小二乘估计•最小二乘原理:根据被解释变量的所有观测值与估计值之差的平方和最小的原则求得参数估计量。kjniXYjii,2,1,0,,,2,1),,(KikiiiiXXXYˆˆˆˆˆ221100ˆ0ˆ0ˆ0ˆ210QQQQk2112)ˆ(niiiniiYYeQ2122110))ˆˆˆˆ((nikikiiiXXXY已知假定•步骤:QMinkiikikikiiiiikikiiiiiikikiiikikiiXYXXXXXYXXXXXYXXXXYXXX)ˆˆˆˆ()ˆˆˆˆ()ˆˆˆˆ()ˆˆˆˆ(221102222110112211022110ˆ,0,1,2,,jjkL•正规方程组的矩阵形式nknkknkkiikikikiiiikiiYYYXXXXXXXXXXXXXXXXn212111211102112111111ˆˆˆYXβX)X(ˆYXXXβ1)(ˆ条件?•OLS估计的矩阵表示0)ˆ()ˆ(ˆβXYβXYβ0)ˆˆˆˆ(ˆβXXββXYYXβYYβ0ˆβXXYXYXXXβ1)(ˆβXXYXˆ)ˆ()ˆ(12βXYβXYeeniieQ2、正规方程组的另一种表达βXXYXˆβXXeXβXXˆˆ0eX001,2,,iiijiieXejk该正规方程组成立的条件是什么?3、随机误差项的方差的无偏估计βXYeˆMμμXXXXIμXXXXμμXβXXXXμXβ))(()()()(111eeμMMμμMμM为等幂矩阵))1(()))((())(()))((()(212121kntrtrtrEEXXXXIXXXXIμXXXXIμee1)(2knEee1ˆ2knee二、最大似然估计1、最大似然法•最大似然法(MaximumLikelihood,ML),也称最大或然法,是不同于最小二乘法的另一种参数估计方法,是从最大或然原理出发发展起来的其它估计方法的基础。•基本原理:当从模型总体随机抽取n组样本观测值后,最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。•ML必须已知随机项的分布。2、估计步骤:以一元模型为例),ˆˆ(~210iiXNY2102)ˆˆ(2121)(iiXYieYP),,,(),ˆ,ˆ(21210nYYYPL21022)ˆˆ(21)2(1iinXYneYi的分布Yi的概率函数Y的所有样本观测值的联合概率—似然函数2102*)ˆˆ(21)2ln()ln(iiXYnLL0)ˆˆ(ˆ0)ˆˆ(ˆ21012100iiiiXYXY2212220)(ˆ)(ˆiiiiiiiiiiiiiXXnXYXYnXXnXYXYX对数似然函数对数似然函数极大化的一阶条件结构参数的ML估计量0)ˆˆ(210212*222iinXYLneXYniii22102)ˆˆ(1ˆ分布参数的ML估计量3、似然函数ikikiiiXXXY22110)ˆ()ˆ(21))ˆˆˆˆ((212122222211022)2(1)2(1),,,(),ˆ(βXYβXYβeeYYYPLnXXXYnnnkikiiin2~(,)iYNiXβ2~(0,)iN4、ML估计量•由对数似然函数求极大,得到参数估计量*2()1ˆˆ(2)()()2MaxLLnLnLnYXβYXβˆˆ()()MinYXβYXβYXXXβ1)(ˆ结果与参数的OLS估计相同•分布参数估计结果与OLS不同22ˆˆ()()ˆiMLennYXβYXβ22ˆ11iOLSenknkee•注意:–ML估计必须已知Y的分布。–只有在正态分布时ML和OLS的结构参数估计结果相同。–如果Y不服从正态分布,不能采用OLS。例如:选择性样本模型、计数数据模型等。三、矩估计MomentMethod,MM1、参数的矩估计•参数的矩估计就是用样本矩去估计总体矩。•用样本的一阶原点矩作为期望的估计量。•用样本的二阶中心矩作为方差的估计量。•从样本观测值计算样本一阶(原点)矩和二阶(原点)矩,然后去估计总体一阶矩和总体二阶矩,再进一步计算总体参数(期望和方差)的估计量。niiniiynXynX12)2(1)1(11样本的一阶矩和二阶矩niiynXYEM1)1()1(1)(ˆniiynXYEM12)2(2)2(1)(ˆ总体一阶矩和总体二阶矩的估计量)1()1()(ˆˆXYEM2(2)(1)2(2)(1)2ˆˆˆ()()MMXX总体参数(期望和方差)的估计量2、多元线性计量经济学模型的矩估计•如果模型的设定是正确,则存在一些为0的条件矩。矩估计的基本思想是利用矩条件估计模型参数。ikikiiiXXXY221101,,inL100,1,2,,njiiiXjkL0111(())0,0,1,2,,njiiikkiiXYXXjkLL一组矩条件,等同于OLS估计的正规方程组。3、矩估计法是工具变量方法和广义矩估计法的基础•矩估计利用随机干扰项与各解释变量不相关特性构造矩条件。•如果某个解释变量与随机干扰项相关,只要能找到1个工具变量,仍然可以构成一组矩条件,就是工具变量法(IV)。•如果存在多于(k+1)个变量(解释变量或工具变量)与随机干扰项不相关,可以构成一组包含多于(k+1)的矩条件,就是广义矩估计法(GMM)。四、参数估计量的性质说明•在满足基本假设的情况下,多元线性模型结构参数的普通最小二乘估计、最大或然估计及矩估计具有线性性、无偏性、有效性。•同时,随着样本容量增加,参数估计量具有渐近无偏性、渐近有效性、一致性。•利用矩阵表达可以很方便地证明,注意证明过程中利用的基本假设。1、无偏性这里利用了假设:E(X’)=0βμXXXβμXβXXXYXXXβ11)()())()(())(()ˆ(1EEEE2、有效性(最小方差性)Iμμ2)(E五、样本容量问题1、最小样本容量•所谓“最小样本容量”,即从最小二乘原理和最大或然原理出发,欲得到参数估计量,不管其质量如何,所要求的样本容量的下限。•样本最小容量必须不少于模型中解释变量的数目(包括常数项),即n≥k+1。为什么?2、满足基本要求的样本容量•从统计检验的角度:n30时,Z检验才能应用;n-k8时,t分布较为稳定。•一般经验认为:当n30或者至少n3(k+1)时,才能说满足模型估计的基本要求。•模型的良好性质只有在大样本下才能得到理论上的证明。六、例题地区城镇居民消费模型•被解释变量:地区城镇居民人均消费Y•解释变量:–地区城镇居民人均工资性收入X1–地区城镇居民人均其它X2•样本:2013年,31个地区数据地区现金消费支出Y工资性收入X1其他收入X2地区现金消费支出Y工资性收入X1其他收入X2北京26274.930273.015000.8湖北15749.515571.89608.7天津21711.923231.912423.7湖南15887.113951.410691.6河北13640.614588.49554.4广东24133.325286.511217.5山西13166.216216.47797.2广西15417.615647.89381.0内蒙古19249.118377.98600.1海南15593.015773.09146.8辽宁18029.715882.012022.9重庆17813.916654.710195.7吉林15932.314388.39155.9四川16343.514976.08917.9黑龙江14161.712525.88623.4贵州13702.913627.67785.5上海28155.033235.415643.9云南15156.115140.79557.6江苏20371.521890.013241.0西藏12231.919604.02956.7浙江23257.224453.016788.0陕西16679.716441.07667.8安徽16285.215535.39470.8甘肃14020.713329.76819.3福建20092.721443.411939.3青海13539.514015.68115.4江西13850.514767.58181.9宁夏15321.115363.98402.8山东17112.221562.19066.0新疆15206.215585.36802.6河南14822.014704.28982.3变量间关系120001600020000240002800032000100001500020000250003000035000X1Y变量间关系120001600020000240002800032000040008000120001600020000X2YOLS估计OLS估计结果ML估计ML估计结果MM估计MM估计结果
本文标题:3.2-多元线性模型的参数估计
链接地址:https://www.777doc.com/doc-2181766 .html