第2章--一般回归估计方法

1第二章一般回归方法在所有经典假设成立的前提下，利用普通最小二乘法估计结果具有优良的线性无偏最小方差的性质。然而，当经典的假设不成立时，普通最小二乘法估计将得不到良好的估计结果，本章将介绍常见的在不符合经典假设情况时的计量经济模型估计方法。2本章知识框架OLSWLSGLSTSLSTSLSTSLSMLGMM经典：普通最小二乘法异方差：加权最小二乘估计法异方差序列相关：广义最小二乘法残差平方和异方差：加权最小模型识别异方差随机解释变量：二阶段最小二乘法与参数估计：自相关修正序列相关解释变量选择：逐步筛选最小二乘法取样本值的似然函数值最大：极大似然估计选择矩条件最小距离估计量：广义矩估计法贝叶斯估计•§2.1加权最小二乘估计•§2.2两阶段最小二乘法•§2.3逐步筛选最小二乘估计•§2.4广义最小二乘法•§2.5对数极大似然估计法•§2.6广义矩方法（GMM）•§2.7贝叶斯估计3本章主要内容4线性回归模型的基本假设ikikiituxxxy22110i=1,2,…,N在普通最小二乘法中，为保证参数估计量具有良好的性质，通常对模型提出若干基本假设：1．解释变量之间互不相关；2．随机误差项具有0均值和同方差。即0)(iuE2)(iuVari=1,2,…,N即随机误差项的方差是与观测时点i无关的常数；3．不同时点的随机误差项互不相关（序列不相关），即0),(siiuuCovs≠0,i=1,2,…,N5当随机误差项满足假定1~4时，将回归模型”称为“标准回归模型”，当随机误差项满足假定1~5时，将回归模型称为“标准正态回归模型”。如果实际模型满足不了这些假定，普通最小二乘法就不再适用，而要发展其他方法来估计模型。5．随机误差项服从0均值、同方差的正态分布。即),0(2N~iui=1,2,…,N4．随机误差项与解释变量之间互不相关。即0),(ijiuxCovj=1,2,…,k,i=1,2,…,N§2.1异方差性：加权最小二乘估计671．定义古典线性回归模型的一个重要假设是总体回归方程的随机扰动项ui同方差，即他们具有相同的方差2。如果随机扰动项的方差随观测值不同而异，即ui的方差为i2，就是异方差。用符号表示异方差为E(ui2)=i2。§2.1.1异方差概述8异方差性在许多应用中都存在，但主要出现在截面数据分析中。例如我们例如我们调查城镇居民家庭人均文教娱乐支出（Cum）和城镇家庭人均可支配收入（In）之间的关系，建立如下模型：我们将发现高收入家庭人均文教娱乐支出往往会有更大的方差。这是因为低收入家庭，其收入扣除必要生活支出外，用于其他支出的数额较少，因而其波动性也就小。而高收入家庭在扣除了必要的生活支出外，还可以有很大一部分用于其他方面的消费，因而其有比较大的波动性。01*iCumInuββ2．成因（1）模型中遗漏了某些解释变量模型中被省略的解释变量会随着样本的变化而变化，具有差异性，当其被归并到随机项中时，随机项将会有异方差的性质（2）变量样本数据的观测误差一方面，当解释变量取值越大时，测量误差就会变大；另一方面测量误差也跟测量技术，时间等有关9（3）截面数据中个样本的差异一般而言，异方差在截面数据中比在时间序列中更容易出现，因为在同一时刻，不同样本之间的差异往往会比同一样本在不同时刻的差异要大（4）模型形式设定有误函数设定有误时，解释变量不能很好地解释被解释变量，随机误差项也不具有同方差的性质103.异方差后果（1）最小二乘估计量仍然是线性无偏的，但是却不再具有最小方差，即不是最为有效的估计量，即使对大样本也是如此（2）参数的显著性检验和置信区间的建立会存在问题（3）虽然最小二乘法参数的估计量是无偏的，但是这些参数方差的估计量有偏（4）预测（预测值和区间估计）的精确度降低11§2.1.2异方差检验1.图示检验法2.White异方差检验—辅助回归检验法12131.图示检验法(1)用X-Y的散点图进行判断观察是否存在明显的散点扩大、缩小或复杂型趋势（即不在一个固定的带型域中）14（2）X-ûi2的散点图进行判断首先采用OLS方法估计模型，以求得随机误差项u的方差i2的估计量(注意，该估计量是不严格的)，我们称之为“近似估计量”，用ei2表示。于是有(4.1.5)22)()var(iiieuEu即用ei2来表示随机误差项的方差。用解释变量x和ei2的散点图进行观察是否随着x增加，出现方差的逐渐增加、下降或者不规则变化。15~ei2~ei2XX同方差递增异方差~ei2~ei2XX递减异方差复杂型异方差图2.2图示法X-ûi2图判断异方差162.White异方差性检验辅助回归法有多种检验方法，包括BPG异方差检验、Harvey异方差检验、Glejser异方差检验、White检验等方法，其中最为常用的是White检验，几种方法在EViews中的操作方法类似。受篇幅限制，这里只介绍White异方差检验方法。White(1980)提出了对最小二乘回归中残差的异方差性的检验。包括有交叉项和无交叉项两种检验。普通最小二乘估计虽然在存在异方差性时是一致的，但是通常计算的标准差不再有效。如果发现存在异方差性，利用加权最小二乘法可以获得更有效的估计。17检验统计量是通过利用解释变量所有可能的交叉乘积对残差进行回归来计算的。例如：假设估计如下方程(2.1.4)式中b是估计系数，ûi是残差。检验统计量基于辅助回归：(2.1.5)EViews显示两个检验统计量：F统计量和Obs*R2统计量。White检验的原假设：不存在异方差性（也就是，式（2.1.5）中除0以外的所有系数都为0成立）。iiiiuzxy321iiiiiiiizxzxzxu524232102ˆ18White证明出：（2.1.6）其中：N是样本容量，k为自由度，等于式（2.1.5）中解释变量个数（不包含截距项）。如果计算的2值大于给定显著性水平对应的临界值，则可以拒绝原假设，得出存在异方差的结论。也就是说，回归方程（2.1.5）的R2越大，说明残差平方受到解释变量影响越显著，也就越倾向于认为存在异方差。如果原模型中包含的解释变量较多，那么辅助回归中将包含太多的变量，这会迅速降低自由度。因此，在引入变量太多时，必须谨慎一些。White检验的另外一种形式，就是辅助回归中不包含交叉项。因此White检验有两个选项：交叉项和无交叉项。22~kRN19表2.1中国2012年城镇居民家庭人均文教娱乐服务消费支出(cum)与城镇家庭人均可支配收入（In）数据来源：中国统计局20例2.1：利用表2.1的数据，建立2012年城镇居民家庭人均文教娱乐服务消费支出(cum)与城镇家庭人均可支配收入（In）的回归模型，样本数为31，建立的回归方程为：cumi=0+1ini+ui利用普通最小二乘法，得到如下回归模型：=-893.50+0.118*InCum（2.1.7）t=(-4.31)(13.58)20.86R，184.62F用White检验方法对（2.1.7）的回归残差进行异方差检验，建立的辅助回归方程为：22012**iiuInInβββε（2.1.8）在Eview上选择White，则得到的检验结果为:21表2.2White检验结果该结果F统计量和Obs*R2统计量的P值均很大，表明不拒绝原假设，即残差不存在异方差性。22异方差的存在并不破坏普通最小二乘法的无偏性，但是估计量却不是有效的，即使对大样本也是如此，因为缺乏有效性，所以通常的假设检验值不可靠。因此怀疑存在异方差或者已经检测到异方差的存在，则采取补救措施就很重要。就选用估计方法来讲，可以采用加权最小二乘法（WeightedLeastSquared,WLS）估计获得有效估计量。加权最小二乘法的原理是将权重序列分别于每个变量的观测值相乘，从而得到一个具有同方差的新模型，然后再对该新模型进行OLS估计。23§2.1.3加权最小二乘估计WLS1．方差已知的情形考虑一个一元回归线性方程：（2.1.9）假设已知随机误差项的真实的方差，var(ui)=i2，则令,将模型两端同乘wi，变换为（2.1.10）令ui*=wiui，则（2.1.11）iiiuxy10Ni,,2,1iiiiiiiuwxwwyw)(101/)var()var()var(2*iiiiiuuwu1/iiwσ24因此，变换后的模型（2.1.10）不再存在异方差的问题，可以用OLS估计。加权最小化残差平方和为：（2.1.11）由此获得的估计量就是权重序列为{wi}的加权最小二乘估计量。2102)()(bxbywSiiiib25考虑多元线性回归模型的矩阵形式：其中是（k+1）1维向量，y和X是因变量和自变量矩阵。在矩阵概念下，令权数序列w在权数矩阵W的对角线上，其他地方是零，即W矩阵是对角矩阵，则用W左乘等式两边，得到一个新的模型为：（2.1.13）估计协方差矩阵为：（2.1.14）WyWXWXWXb1)(WLS12)(ˆWXWXΣsWLSyXβ+u则加权最小二乘估计量为：WyWXWuβ26§2.1.3加权最小二乘估计WLS2．方差未知的情形①误差方差与成比例可以根据图示法,把回归残差对解释变量X作图，如果与X成线性相关，即：可将模型做如下变换：令，则ix22iiEuX12uiiiiiiiYXBBXXXXuiiivX222u1EEiiiiivEuXX27§2.1.3加权最小二乘估计WLS②误差方差与成比例令可将模型做如下变换：令，则类似上面的方程也可以证明可以使用OLS估计。2iX222iiEuX12u iiiiiiiYXBBXXXXuiiivX③用随机项的近似估计值求权重序列该方法的原理是假定通过OLS估计出的残差值的平方代表随机项的方差。因此，也可以求出权重序列。具体操作方法如下：1．选择普通最小二乘法估计原模型，得到随机误差项的近似估计量ût；2．建立wi=1/|ût|的权数序列；3．选择加权最小二乘法，以wi=1/|ût|序列作为权，进行估计得到参数估计量。实际上是以1/|ût|乘原模型的两边，得到一个新模型，采用普通最小二乘法估计新模型。2829例2.2利用表2.1的数据，建立2012年城镇居民家庭人均文教娱乐服务消费支出(cum)与城镇家庭人均可支配收入（In）的回归模型为：普通最小二乘估计得出如下回归结果：在例2.1中我们通过White异方差检验出该模型存在异方差。因此我们需要采用最小加权二乘法对其进行重新估计。01*iCumInuββ=-893.50+0.118*InCum（2.1.17）t=(-4.31)(13.58)20.86R184.62F30以wi=1/|ûi|为权重序列，将原回归方程的每一项乘以wi，将会消除异方差的存在，变换后的模型为：然后再进行OLS估计，结果如下：与OLS结果比较，拟合优度与由0.86提高到0.99，说明解释变量对被解释变量的解释程度提高。F值由184.62提高到3023.01，模型的显著性明显改善，说明估计的效果更好，并且对用White异方差检验方法分析该回归方程时，可以看出来用WLS估计得到的结果消除了异方差。01*Cum=++iiiiiûûûnûuIββ=-900.33+0.118*iiûCmInûu（2.1.19）t=(-20.57)(54.98)2=0.99R，F=3023.01311.White异方差检验在将方程进行OLS估计之后，如果需要进行异方差检验，则在界面中选择“View/ResidualTest/HerteroskedasticityTest”,将出现如下的界面：§2.1.4异方差检验与加权最小二乘法的EViews软件实现32在该界面中，可以选择不同的估计方法。在这里，我们选择White检