潘省初计量经济学第3版ets4

1第四章多元线性回归模型2第一节多元线性回归模型的概念在许多实际问题中，我们所研究的因变量的变动可能不仅与一个解释变量有关。因此，有必要考虑线性模型的更一般形式，即多元线性回归模型：t=1,2,…,n在这个模型中，Y由X1、X2、X3、…XK所解释，有K+1个未知参数β0、β1、β2、…βK。这里，“斜率”βj的含义是其它变量不变的情况下，Xj改变一个单位对因变量所产生的影响。tktktttXXXYuβ...βββ221103例1：其中，Y=在食品上的总支出X=个人可支配收入P=食品价格指数用美国1959-1983年的数据，得到如下回归结果（括号中数字为标准误差）：uβββ210PXY)114.0()003.0()6.9(99.0739.0112.07.116ˆ2RPXY），（数总消费支出价格平减指食品价格平减指数1001972100PY和X的计量单位为10亿美元(按1972不变价格计算).4多元线性回归模型中斜率系数的含义上例中斜率系数的含义说明如下：价格不变的情况下，个人可支配收入每上升10亿美元（1个billion），食品消费支出增加1.12亿元（0.112个billion）。收入不变的情况下，价格指数每上升一个点，食品消费支出减少7.39亿元（0.739个billion）5例2：其中，Ct=消费，Dt=居民可支配收入Lt=居民拥有的流动资产水平β2的含义是，在流动资产不变的情况下，可支配收入变动一个单位对消费额的影响。这是收入对消费额的直接影响。收入变动对消费额的总影响=直接影响+间接影响。（间接影响：收入影响流动资产拥有量影响消费额）但在模型中这种间接影响应归因于流动资产，而不是收入，因而，β2只包括收入的直接影响。在下面的模型中：这里，β是可支配收入对消费额的总影响，显然β和β2的含义是不同的。ttttuLDC321βββntuDCttt,...,2,1,6回到一般模型t=1,2,…，n即对于n组观测值，有tktktttXXXYuβ...βββ22110nKnKnnnnKKKKuXXXXYuXXXXYuXXXXYβ...ββββ......β...βββββ...ββββ3322110223232221210211313212111017其矩阵形式为：其中nYYYY...21KnnKKXXXXXXX...1...............1...11212111uXYnKuuuu...,...212108第二节多元线性回归模型的估计多元线性回归模型的估计与双变量线性模型类似，仍采用OLS法。当然，计算要复杂得多，通常要借助计算机。理论推导需借助矩阵代数。下面给出普通最小二乘法应用于多元线性回归模型的假设条件、估计结果及所得到的估计量的性质。一．假设条件（1）E(ut)=0,t=1,2,…,n（2）E(uiuj)=0,i≠j（3）E(ut2)=σ2,t=1,2,…,n（4）Xjt是非随机量，j=1,2,…kt=1,2,…n9除上面4条外，在多个解释变量的情况下，还有两个条件需要满足：（5）（K+1）n;即观测值的数目要大于待估计的参数的个数（要有足够数量的数据来拟合回归线）。（6）各解释变量之间不存在严格的线性关系。上述假设条件可用矩阵表示为以下四个条件：10A1.E(u)=0A2.由于显然，仅当E(uiuj)=0,i≠jE(ut2)=σ2,t=1,2,…,n这两个条件成立时才成立，因此，此条件相当前面条件(2),(3)两条，即各期扰动项互不相关，并具有常数方差。22122212121212121.........................................................nnnnnnnuuuuuuuuuuuuuuuuuuuuuuunIuuE2)(nIuuE2)(11A3.X是一个非随机元素矩阵。A4.Rank(X)=(K+1)n.------相当于前面(5)、(6)两条即矩阵X的秩=（K+1)n当然，为了后面区间估计和假设检验的需要，还要加上一条：A5.～，t=1,2,…n),0(2Ntu12二．最小二乘估计我们的模型是：t=1,2,…n问题是选择，使得残差平方和最小。残差为：kˆ,....,ˆ,ˆ10011ˆˆˆˆ....tttttKKteYYYXX01122...utttkkttYXXX13要使残差平方和为最小，则应有：我们得到如下K+1个方程（即正规方程）：22011ˆˆˆ...tttKKtSeYXX0ˆ...,,0ˆ,0ˆ10KSSS14按矩阵形式，上述方程组可表示为：tktKtKtktktttKttKtttttKttKtttKtKtYXXXXXYXXXXXXYXXXXXYXXn211022121201121110110β......ββ........................β......βββ......βββ......ββ15=)'(XXβ'XY即YXXX'β)'(2112111.....................KttKtKtKttttKttXXXXXXXXXXnKβ...ββ10nKnKKnYYYXXXXXX.....................1...11212111211YXXX1)(β16YXXX1)(β三.最小二乘估计量的性质我们的模型为估计式为1．的均值βββˆXYuXY)uβ()(1XXXXu)(β)(11XXXXXXXu)(β1XXX17（由假设3）(由假设1)即这表明，OLS估计量是无偏估计量。βKKKEEEEβ...ββ)β(......)β()β(β...ββ101010β)u()(β)β(1EXXXE182．的方差为求Var()，我们考虑ββββββE00110101ββββββββ...ββ...ββKKKKE19)β(...)β,β()β,β(............)β,β(...)β()β,β()β,β(...)β,β()β(1011010100KKKKKVarCovCovCovVarCovCovCovVar不难看出，这是的方差-协方差矩阵，它是一个(K+1)×(K+1)矩阵，其主对角线上元素为各系数估计量的方差，非主对角线上元素为各系数估计量的协方差。β20由上一段的(4.5)式，我们有因此uXXX1)(ββ11uuXXXEXXX11EXXXuuXXXuuββββ11XXXXXXEE121XXXIXXXn211XXXXXX21XX21请注意，我们得到的实际上不仅是的方差，而且是一个方差-协方差矩阵，为了反映这一事实，我们用下面的符号表示之：21)()β(XXCovVarβ为方便起见，我们也常用Var()表示的方差-协方差矩阵，因此上式亦可写作：需要注意的是，这里不表示方差向量，而是方差-协方差矩阵。β12()()VarβXX()Varβ223．2的估计与双变量线性模型相似，2的无偏估计量是分母是的自由度，这是因为我们在估计的过程中，失去了（K+1）个自由度。4．高斯-马尔科夫定理对于以及标准假设条件A1－A4，普通最小二乘估计量是最佳线性无偏估计量（BLUE）)1(ˆ22Knetkβ,...β,β10uβXY2te23我们已在上一段中证明了无偏性，下面证明线性和最小方差性。证明的路子与双变量模型中类似，只不过这里我们采用矩阵和向量的形式。由OLS估计量的公式可知,可表示为一个矩阵和因变量观测值向量的乘积：其中是一个(K+1)*n非随机元素矩阵。因而是线性估计量。ˆˆYXXX1)(βYYkˆXXXk1)(ˆ24现设为的任意一个线性无偏估计量，即其中是一个(K+1)*n非随机元素矩阵。则显然，若要为无偏估计量，即，只有，为（K+1）阶单位矩阵。*Yc*cucXcuXcYc)(*XcuEcXcucXcEE)()()(**)(E*IXcI25的方差为：我们可将写成从而将的任意线性无偏估计量与OLS估计量联系起来。*cccuVarcucVarucXcVarVar2*)()()()(DXXXc1)(cˆ*26由可推出：即因而有由从而，因此上式中间两项为0，我们有IXDXXXX1)(IXDI0XDDDXXXDDXXXXXXXXXDXXXDXXXDXXXDXXXcc11111111)()()()()()()()(0XD0DXDDXXcc1)(IXc27因此最后的不等号成立是因为为半正定矩阵。这就证明了OLS估计量是的所有线性无偏估计量中方差最小的。至此，我们证明了高斯-马尔科夫定理。)ˆ()ˆ()()(*)(2212122VarDDVarDDXXDDXXccVarDDˆ28第三节拟合优度一．决定系数R2对于双变量线性模型Y=α+βX+u我们有其中，=残差平方和2221YYeR2e29对于多元线性模型我们可用同样的方法定义决定系数：为方便计算，我们也可以用矩阵形式表示R2uXXYKK...110TSSRSSTSSESSRYYeR112222或总变差解释变差30我们有：残差其中，残差平方和：YYeβXY)()(2YYYYeeet)β()β(XYXY)β)(β(XYXYββββXXXYYXYYYXXXXXXYYXYY1)(ββββXYYYYXXYYXYYβββ31而将上述结果代入R2的公式，得到：2222YnYYYnYYY这就是决定系数R2的矩阵形式。2221YYeR222YYeYY22)ˆ(YnYYXYYYYnYY22ˆYnYYYnXY32二．修正决定系数：残差平方和的一个特点是，每当模型增加一个解释变量，并用改变后的模型重新进行估计，残差平方和的值会减小。由此可以推论，决定系数是一个与解释变量的个数有关的量：解释变量个数增加减小R2增大也就是说，人们总是可以通过增加模型中解释变量的方法来增大R2的值。因此