第6章(多元线性回归的向量表述).

《计量经济学》，高教出版社，王少平、杨继生、欧阳志刚等编著。1第6章多元线性回归的向量表述多元线性回归模型的向量形式最小二乘法（OLS）的向量表述最小二乘估计量的性质LR、Wald和LM检验案例分析《计量经济学》，高教出版社，王少平、杨继生、欧阳志刚等编著。2多元线性回归模型的一般形式在实际经济问题中，一个变量往往受到多个原因变量的影响，在线性回归模型中则表现为有多个解释变量，这样的模型被称为多元线性回归模型。模型的一般形式如下：ikikiiiXXXY22110i=1,2,…,n(2.3.1)其中：k为解释变量的数目；其中：K为解释变量个数；K+1为未知参数个数模型中的未知参数称为偏回归系数，的数值结果表明，当其他变量保持不变的情况下，X1增加一个单位，Y平均增加个单位；的数值表明，当其他变量保持不变时，X2增加一个单位，Y平均增加个单位，以此类推。1ˆ1ˆ2ˆ2ˆ《计量经济学》，高教出版社，王少平、杨继生、欧阳志刚等编著。3第6章多元线性回归的向量表述6.1多元线性回归模型的向量表述01122iiikkiiYxxx1,2,in上式是由n个方程，k+1个未知参数组成的一个线性方程组，即：1011122111201122222201122kkkknnnkknnYxxxYxxxYxxx把线性方程组写成矩阵的形式：《计量经济学》，高教出版社，王少平、杨继生、欧阳志刚等编著。40112111111222222212111kknnnknnkXXXYXXXYYXXX这个模型相应的矩阵表达式简记为YX其中：01121111112222222121(1)1(1)111,,,1kknnnknnnnknkkXXXYXXXYYXYXXX《计量经济学》，高教出版社，王少平、杨继生、欧阳志刚等编著。5多元线性回归模型的四种向量表述•真实的回归模型：•估计的回归模型：•真实的回归线：•样本回归线：YXˆˆYXYXˆˆYX《计量经济学》，高教出版社，王少平、杨继生、欧阳志刚等编著。6最小二乘(OLS)法的原理是求残差平方和最小。代数上是求极值问题。minS=(Y-Xˆ)'(Y-Xˆ)=Y'Y-ˆ'X'Y-Y'Xˆ+ˆ'X'Xˆ=Y'Y-2ˆ'X'Y+ˆ'X'Xˆ因为Y'Xˆ是一个标量，所以有Y'Xˆ=ˆ'X'Y。上式的一阶条件为：ˆS=-2X'Y+2X'Xˆ=0X'Y=X'Xˆ因为(X'X)是一个非退化矩阵（假定（5）），所以有ˆ=(X'X)-1X'Y6.2OLS估计量的向量表述'1'ˆ()XXXY因此，回归参数的OLS估计量为：《计量经济学》，高教出版社，王少平、杨继生、欧阳志刚等编著。76.2OLS估计量的向量表述ˆ的最小二乘(OLS)估计公式也可以用下面的方式推导。对估计的回归模型Y=Xˆ+uˆ左乘一个X'，X'Y=X'Xˆ+X'uˆ根据（最小二乘）估计的回归函数的性质（4），X'uˆ=0有X'Y=X'Xˆˆ=(X'X)-1X'Y高斯—马尔可夫定理：若前述假定条件成立，OLS估计量是最佳线性无偏估计量。ˆ具有无偏性，最小方差特性，一致性。求出ˆ，估计的回归模型写为Y=Xˆ+uˆ=Yˆ+uˆ注：OLS估计量中隐含了一个假设条件,只要模型及样本数据满足第四章的假定7，则一定成立。'0XX'0XX《计量经济学》，高教出版社，王少平、杨继生、欧阳志刚等编著。8随机误差项的方差的估计因为残差可以表示为：矩阵是对称的幂等矩阵，幂等矩阵是指自身相乘后仍等于自身的矩阵，即。因此残差平方和可以表示为：两边求期望得：2'1''1''1''1'ˆˆ(())(())(())()(())uYXYXXXXYIXXXXYIXXXXXuIXXXXuMu'1'()MIXXXX2MM''''ˆˆQuuuMMuuMu'''1()[(())]EQEuIXXXXu《计量经济学》，高教出版社，王少平、杨继生、欧阳志刚等编著。9随机误差项的方差的估计由于残差的平方和是标量(Scalar)，可以采用迹(Trace)，即：根据迹运算的性质tr(AB)=tr(BA),上式为：即：所以的无偏估计量是：'''1(){[(())]}EQEtruIXXXXu''1'''1'2''12'1'212(){[(())]}[(())()][()(())][()(())][()](1)KEQEtrIXXXXuutrIXXXXEuutrItrXXXXtrItrXXXXNtrINK'2ˆˆ()()11QuuEENKNK2ˆ11QRSSNKNK22《计量经济学》，高教出版社，王少平、杨继生、欧阳志刚等编著。10OLS估计量的方差-协方差估计因为：则：ˆ'1''1''1'ˆ()()()()XXXYXXXXuXXXu'''1''1''1'''12'1ˆˆˆvar()[()()]{[()][()]}()()()()EEXXXuXXXuXXXEuuXXXXX《计量经济学》，高教出版社，王少平、杨继生、欧阳志刚等编著。11一、OLS估计量的有限样本性质在满足基本假设的情况下，其结构参数的普通最小二乘估计(OLS)具有：线性性、无偏性、有效性。同时，随着样本容量增加，参数估计量具有：一致性、渐近正态性。1、线性性其中,C=(X’X)-1X’为一仅与固定的X有关的行向量。2、无偏性这里利用了假设:E(X’)=0CYYXXXβ1)(ˆ6.3最小二乘（OLS）估计量的性质βμXXXβμXβXXXYXXXβ11)()())()(())(()ˆ(1EEEE《计量经济学》，高教出版社，王少平、杨继生、欧阳志刚等编著。123、有效性（最小方差性）所谓有效性是指在所有线性无偏估计量中，OLS估计量具有最小方差。为了证明OLS估计量的有效性，现假设有另一任意的线性无偏估计量：其中矩阵A和C是与X矩阵有关的(K+1)×N阶矩阵，上式：为了满足无偏性，AX=I必须成立，I是单位矩阵。上式可以得到CX=0，同时意味着，所以：1(')'AYXXXCY()AYAXuAXAu'1'()CAXXXˆ()CYCXuCu''1'''2'1''ˆˆ[()()][()]()0EEXXXuuCXXXC《计量经济学》，高教出版社，王少平、杨继生、欧阳志刚等编著。13因此估计量的方差-协方差矩阵为：显然要使得的方差最小，必须使C=0，所以是所有无偏估计量中方差最小的，即OLS估计量具有有效性。总结：高斯—马尔可夫定理(Gauss-Markovtheorem)在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量,即OLS估计量是BLUE估计量。ˆˆˆvar()var()var()var()CYˆ《计量经济学》，高教出版社，王少平、杨继生、欧阳志刚等编著。14二、OLS估计量的渐近性质1.OLS估计量是一致估计量一致估计量是指对于回归参数的真实值，样本容量为N时的OLS估计量记为，随着样本容量N的逐步增大，即：2.OLS估计量的正态性正态性是指，在大样本下，OLS估计量的分布收敛到正态分布。设，则：ˆNˆlim()NNp'111lim()NNXXQ21ˆ()(0,)dNNQ《计量经济学》，高教出版社，王少平、杨继生、欧阳志刚等编著。15补充：样本容量问题⒈最小样本容量所谓“最小样本容量”，即从最小二乘原理和最大似然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。样本最小容量必须不少于模型中解释变量的数目（包括常数项）,即nk+1因为，无多重共线性要求：秩(X)=k+1《计量经济学》，高教出版社，王少平、杨继生、欧阳志刚等编著。162、满足基本要求的样本容量从统计检验的角度：n30时，Z检验才能应用；n-k8时,t分布较为稳定一般经验认为:当n30或者至少n3(k+1)时，才能说满足模型估计的基本要求。模型的良好性质只有在大样本下才能得到理论上的证明。《计量经济学》，高教出版社，王少平、杨继生、欧阳志刚等编著。176.4LR、Wald和LM检验1.似然比(LR)检验似然比检验是三种检验中最简单的，其原假设和备选假设分别为：HA：原假设的约束条件中至少有一个不成立LR检验统计量等于似然函数的无约束极大值和有约束极大值之差的两倍，即：其中分别表示模型中参数向量的无约束和有约束的极大似然估计结果。LR检验的基本思想是：如果约束条件为真，则无约束和有约束的似然函数极大值不应有显著的差异，所以，如果二者存在较大差异则认为约束条件不成立。在大样本下：q表示约束条件的个数。0:()0Hfˆ2[ln()ln()]LRLFLFˆ,2()asyLRq《计量经济学》，高教出版社，王少平、杨继生、欧阳志刚等编著。18LR检验的判别规则：如果，则拒绝原假设；反之不能拒绝原假设。2.Wald检验LR检验既要估计约束条件下的极大似然函数值，又要估计无约束下的极大似然函数值，但当约束模型的估计很困难时，检验就不适用了。而Wald检验则只需要对无约束模型进行极大似然估计，所以比LR检验具有一定的优势。Wald检验的原假设和备择假设为：HA：原假设的约束条件中至少有一个不成立。如果约束条件是成立的，我们用参数估计值来代替参数，应该很接近0；而如果约束条件不成立，将显著地偏离0。因此构造以下统计量：2()LRq0:()0Hfˆˆ()fˆ()f1ˆˆˆ()[var(())]()Wfff《计量经济学》，高教出版社，王少平、杨继生、欧阳志刚等编著。19在原假设成立的条件下，在大样本下Wald统计量具有以下渐近分布：q为约束条件的个数。Wald检验的判别规则：如果，则拒绝原假设；反之就不能拒绝原假设。3.LM检验当无约束模型的估计较容易时，采用Wald检验较方便，但是当无约束模型的估计很难或根本不可能时，只能采用LM检验，LM检验又称为得分检验(ScoreTest)。LM检验的基本方法是首先给出无约束的对数似然函数：2()asyWq2()Wq2ln(,)LF《计量经济学》，高教出版社，王少平、杨继生、欧阳志刚等编著。20对于无约束极大似然估计量必然有：j=1,2,…,k若约束条件成立，则施加约束条件下极大似然估计量应与不施加约束条件下的极大似然估计量非常接近。也就是说，如果约束条件成立，应近似为零。拉格朗日乘子检验的原理是：如果显著不为零，则说明约束条件不成立。LM检验统计量被定义为：其中：为信息矩阵。在约束条件成立的条件下，LM统计量渐近地服从：q也是约束条件个数，判别规则与前面两种检验方法相同。ˆjln0ˆjLFjˆjln/jLFln/jLF1lnln()LFLFLMI()I2()asyLMq《计量经济学》，高教出版社，王少平、杨继生、欧阳志刚等编著。21对三个检验统计量的说明1.可以证明，当样本容量趋于无穷大时，三种检验统计量都具有同样的极限分布，检验结果是一致的，即三者在大样本下，同时拒绝原假设或同时不拒绝原假设，这被称为渐近