中级计量经济学讲义-第八章古典线性回归的大样本理论

1第八章古典线性回归的大样本理论迄今为止的讨论涉及了最小二乘估计量的有限样本性质。根据非随机回归量和扰动项正态分布这两个假设，我们知道了最小二乘估计量的精确分布和一些检验统计量。在本章中，我们去总结前一章关于最小二乘法的有限样本特性，然后我们重点讨论古典回归模型的大样本结果。第一节最小二乘法的有限样本特性古典回归模型的基本假设是Ⅰ.y=Xβ+ε。Ⅱ.X是秩为K的n×K非随机矩阵。Ⅲ.E[ε]=0。Ⅳ.E[εε′]=σ2I。未知参数β和σ2的最小二乘估计量是yXXXb1)(和)(2Knees通过分析XXXb1)(并且KnMs2我们可得下列精确的有限样本结果：1.E[b]=β（最小二乘估计是无偏的）2.Var[b]=σ2(X′X)-13.任意函数r′β的最小方差线性无偏估计量是r′b。（这就是高斯—马尔科夫定理）4.E[s2]=σ25.Cov[b,e]=02为了构造置信区间和检验假设，我们根据正态分布的假设],0[~.2INV推导额外了的结果，即6.b和e在统计上是相互独立的。相应的，b和s2无关并在统计上相互独立。7.b的精确分布依赖于X，是])(,[12XXN。8.22/)(sKn的分布是][2Kn。s2的均值是σ2，方差是2σ4/（n－K）。9.根据6至8结果，统计量))(][12kkkkXXsbKnt服从自由度为n－K的t分布。10.用于检验一组J个线性约束Rβ=q的检验统计量JqRbRXXRsqRbKneeJqRbRXXRqRb)(])([)()/(/)(])([)(11211服从自由度为J和n－K的F分布。注意，利用I至IV建立起来的b的各种性质和根据扰动项更进一步的正态分布假设而得到的额外推断结果之间的区别。第一组中最重要的结果是高斯—马尔科夫定理，它与扰动项的分布无关。根据正态分布假设得到的重要的附加结果是7、8、9、10。正态性没有产生任何额外的有限样本的最优性结果。（没有得出额外的有关统计量好坏的结论）第二节古典回归模型的渐近分布理论为什么要用大样本理论？在OLS的方法中，我们如果用数据得到的wald统计量：24)3(6221bbnW～).2(2x通不过检验，即假设],0[~.2INV不满足，这样的话我们就不能用OLS完成相关的假设检验问题，所以我们要用到中心极限定理：在n足够大的情况下，Y和都服从正态分布。这样，相应的判别估计量好坏的方法和标准要捉相应的调整，其中重要的概念是一致估计量。虽然估计量有可能相同，但我们关心的是他们的一致性，而不是无偏性。所以我们要区分那些结论是可以在没有正态性的假设下仍然成立的，利用这些条件来推3断最小二乘系数估计量的一致性。对于满足I到IV假设的模型，可以直接推导大样本最小二乘估计量的特性。最小二乘系数向量的一致性复习：依概率分布定理从具有有限均值μ和有限方差2的任何总体中抽取的随机样本的均值都是μ的一个一致估计量。证明：nxVarxE/][][2及，所以，x依均方收敛于μ，或xplim。斯拉茨基定理（Slutsky）对一个不是n的函数的连续函数g(xn)，有)lim()(limnnxpgxgp假设QXXnn1lim是正定矩阵，（1）这个假设在大多数时候是不过份的，考虑一元的情况：X=nxxx111212_2__221211111111111'1xsnnxxxxxnnxxxxxxnXXniiinn(我们知道，p_limxp222_221limlimxsnnnxi).221'1limXXnwhichispositivedefiniteasitsprincipalsubmatricesallhavepositivedeterminants.最小二乘估计量可以写成XnXXnb111（2）4假设Q-1存在，因为逆矩阵是原矩阵的连续函数，我们得到XnpQbp1limlim1现在我们需要最后一项的概率极限。令iiiiiwnxnXnw111，其中ikiiixxxx21,为X的列向量那么wXXnb11且wpQbplimlim1因为，X是非随机矩阵，所以0][1][EXnwE且nXXnnXEXnwwEwVar21][1][][于是可得00][limQwVarn由于w的均值是0，并且它的方差收敛于0，所以w按均方收敛于0，且0limwp。（下面定理揭示了r-阶收敛与依概率收敛的关系定理8Pnrn。）因此01limXnp（4）所以50lim1Qbp（5）这表明了在古典回归模型中，在假设（1）条件下b是β的一致估计量。二、最小二乘估计量的渐近正态性为了导出最小二乘估计量的渐近分布，利用以前结果可得XnnXXbn1)(1由于逆矩阵是原矩阵的连续函数，11)/(limQnXXn。因此，如果极限分布存在，则统计量的极限分布与下式相同：XnQXnnXXn11lim11（6a）因此，我们必须建立下式的极限分布，])[(1wEwnXn其中0][wE。我们可以利用林德伯格-费勒形式的中心极限定理得到wn的极限分布。利用定理中的表达式，iiixnw1是n个互不相关的随机向量iix的平均值，其中ikiiixxxx21,εi的均值为0，方差为iiiiiQxxxVar22][wn的方差][12122nnQQQnQiiinXXxxn2216只要总和不被任一特定项占据主导地位并且回归量表现良好，在这种情况中，这意味着（1）成立，则nlimVar(Xn1)=nlimVar(wn)=QQnn22lim下列结果的正式证明是根据林德伯格-费勒形式的中心极限定理，由施密特（1976）和怀特（1984）给出。如果1.扰动项都服从具有零均值和有限方差2的同样的分布。2.X的元素受到限制使得tkx有限并且QnXX)/lim(是一个有限正定矩阵。则],0[12QNXnd（6）(这也是为什么我们要假设Q是正定的，因为正态的协方差都是正定的)我们利用这一结果可得,即作一个变换：])(,0[112111QQQQNXnQd根据(6a):],0[)(12QNbnd我们可以得到b的渐近分布(不加证明)：12,QnNba三、标准检验统计量的渐近行为如果没有ε的正态性，前面给出的t，F和2统计量则不会服从相应的这些分布。因为12,QnNba由此得出2/112])/[(kkkkkQnb的渐近分布是标准正态分布。7由于1212)/(limQnXXsp（在下一节中将证明22limsp这个结果）2/112])([kkkkkXXsbt将与θk有同样的渐近分布。因此，我们可以认为，关于β的一个元素的假设的通常统计量服从标准正态分布，而不是t分布。(也就是大样本情况下，没有t分布了，相应的t分布是正态分布。)用于检验一组线性约束的F统计量，JqRbRXXsRqRbKneeJeeeeF)(])(([)()/(/)(112**不再是F分布，因为分子和分母都不是要求的2分布。不过,沃尔德统计量JF[J,n－K]渐近地服从2分布并可以用来替代使用。这与扰动项正态分布情况的结果相同。在通常的假设下，无论扰动项是否服从正态分布，在处理古典模型的大样本时，沃尔德统计量都可使用。定理沃尔德统计量的极限分布定理如果],0[)(12QNbnd以及0:0qRH是正确的，那么JFqRbRXXsRqRbW)(])(([)(112依分布收敛于自由度为J的2统计量。（我们不要求正式严格证明）。特别提醒与注意：模型的整体检验统计量这个沃尔德统计量就是可以用来作为我们模型的整体检验，只不过检验时，这里的R=I，而q=0而已。但注意沃尔德统计量W是自由度为J的2统计量，而不再是用F分布来检验了。但W=JF。定理的证明：由于R是常数矩阵，])(,0[)(12RQRNbRnd（1）又Rβ=q，因此8])(,0[)(12RQRNqRbnd（2）为方便起见，将此写成],0[PNzd（3）令T满足T2=P-1，并把T记为21P，即T是P的逆平方根。如果],0[PNzd，那么],0[],0[2/12/12/1INPPPNzPd（4）现在，我们对随机变量函数的极限分布利用斯拉茨基（Slutsky）定理，无关的（即，相互独立）标准正态分布变量的平方和服从2分布。因此，有下面的极限分布)()()(212/12/1JzPzzPzPd（5）再结合前面的各部分，不难证明：)()(])([)(21121JqRbRQRqRbnzPzd（6）即我们已经证明了其极限分布是自由度为J的2分布。由于1212)/(limQnXXsP（在下一节中将证明这个结果），这样：)(]))/(([)(112qRbRnXXsRqRbn的极限分布式与（6）的极限分布是一样的。约去ｎ，对左边进行整理就得到沃尔德统计量W。证明完毕。注意：沃尔德统计量W可以用J乘以通常的F的统计量而得到。F仍然是OLS得到的F统计量。三、s2的一致性和Var[b]的估计量本节证明上节用到的结果plim1212)/(QnXXs的假设,即证明s2对2的一致性，也就是证明22limsp。展开MKns12可得])([112XXXXKns9nXnXXnXnKnn1最前面的常数显然收敛于1，括号中第一项依概率收敛于2，因为：n=21in而且：22)()(iiVarE442242)()]([)(）(iiiiEEEVar因为有：（定理从具有有限均值μ和有限方差2的任何总体中抽取的随机样本的均值都是μ的一个一致估计量。P357(大Green)）所以只有在)(4iE为有限的情况下，n是2的一致估计量。所以我们要假设)(4iE是有限的。这意味着nXnXXnXpsp122limlim单独看plims2的第二项，略微整理之后，我们有nXnXXnXnnXnXXnX111这个统计量的大样本特性与nXQnXnq11的相同。注意q等于n1乘以正态分布向量的二次型，该向量nX渐近方差矩阵是2Q。因此，利用沃尔德统计量极限分布证明的结果，我们发现q可以写成],0[,所以,z其中,,12/12INznXQzznqd这样][/22Knqd0/常数)(即常数,)/(22nqEnqE10而且0