第3章多元线性回归方法

1第3章：多元线性回归方法3.1模型的设定形式及经济含义多元线性回归模型的基本形式为uXXXYkk22110(3-2-1)设置该类模型的目的在于，测度解释变量1X对因变量Y的影响，并假定这种影响是线性的，即满足11/XY的条件。模型中的变量kXXX，，22,被称为控制变量，而且这些控制变量对因变量Y的影响也假定是线性的。在测度解释变量1X对因变量Y的影响时，如果模型中不引入比较充足的控制变量的话，我们很难正确估计1X对因变量Y的真实影响，而且模型也很难满足基本假定，且样本回归方程的拟合优度也会较低。所以，在实际应用研究中，一元线性回归模型很少用到。模型中每个回归系数jjXY/的经济含义可以解释为在其它因素（变量）不变的条件下，变量jX没变动一个单位，因变量一定会变动j个单位。在一个广义的多元线性回归模型中，比如uXXXYkkloglogloglog22110（3-2-2）中，回归系数的经济含义就会不同。由jjjjXXYYXY//log/log（3-2-3）我们可以推之j的经济含义是弹性系数，可解释为在其它因素（变量）不变的条件下，变量jX每变动百分之一，因变量一定会变动百分之j。3.2模型的估计方法及前提假定在模型满足基本假定的条件下，用普通最小二乘法（OLS）可以得到多元线性回归模型的无偏、有效、一致性估计。估计公式用矩阵公式表达为：2YXX)(Xβ1TTˆ（3-2-4）其中：knknkknXXXXXXYYYˆˆˆˆ11110122111121βXY（3-2-5）3.3模型的拟合优度检验可以用定义样本决定系数2R，具体计算样本回归方程的拟合优度，其定义式为：222)(ˆ11YYuTSSRSSRii（3-2-6）具体计算式为：222ˆYnYnRYYYXβ'''(3-2-7)且102R。但在用样本决定系数2R衡量和比较不同的多元回归方程的拟合优度时，会面临两个问题：一是，样本容量大的，TSS会增加；二是，解释变量多的，RSS会减小。所以，为使解释变量个数和样本容量不同的使用最小二乘法则估计的回归方程之间的2R有可比性，最好使用校正决定系数2R：)1/()()1/()ˆ(1)1()1(122nYnknnTSSknRSSRYYYXβYY''''11)1(12knnR（3-3-8）3.4模型的统计/显著性检验对单个总体参数的假设检验：t检验3在这种检验中，我们需要对模型中的某个（总体）参数是否满足虚拟假设0H：jja，做出具有统计意义（即带有一定的置信度）的检验，其中ja为某个给定的已知数。特别是，当ja=0时，称为参数的显著性检验。如果拒绝0H，说明解释变量jX对被解释变量Y具有显著的线性影响，估计值jˆ才敢使用；反之，说明解释变量jX对被解释变量Y不具有显著的线性影响，估计值jˆ对我们就没有意义。具体检验方法如下：（1）给定虚拟假设0H：jja；（2）计算统计量)ˆ(ˆ)ˆ(ˆjjjjjjSeaSet的数值；（3）在给定的显著水平下（不能大于1.0即10%，也即我们不能在置信度小于90%以下的前提下做结论），查出双尾t（1kn）分布的临界值2/t；（4）如果出现2/tt的情况，检验结论为拒绝0H；反之，无法拒绝0H。t检验方法的关键是统计量)ˆ(ˆjjjSet必须服从已知的t分布函数。什么情况或条件下才会这样呢？这需要我们建立的模型满足如下的条件（或假定）：（1）随机抽样性。我们有一个含n次观测的随机样本niYXXXiikii,,2,1:,,,,21。这保证了误差u自身的随机性，即无自相关性，0))())(((jjiiuEuuEuCov。（2）条件期望值为0。给定解释变量的任何值，误差u的期望值为零。即有0),,,(21kXXXuE这也保证了误差u独立于解释变量XXX,,,21，即模型中的解释变量是外生性的，也使得0)(uE。（3）不存在完全共线性。在样本因而在总体中，没有一个解释变量是常数，解释变量之间也不存在严格的线性关系。（4）同方差性。常数221),,,(kXXXuVar。（5）正态性。误差u满足),0(~2Normalu。4在以上5个前提下，才可以推导出：1~)ˆ(/)ˆ()1,0(~)ˆ(/)ˆ()]ˆ(,[~ˆknjjjjjjjjjtSeNSdVarN由此可见，t检验方法所要求的条件是极为苛刻的。对参数的一个线性组合的假设的检验需要检验的虚拟假设为0H：21jj。比如21。无法直接检验。设立新参数211。原虚拟假设等价于0H：01。将211代入原模型后得出新模型：uXXXXYkk)(212110（3-2-9）在模型（3-2-9）中再利用t检验方法检验虚拟假设0H：01。我们甚至还可以检验这样一个更一般的假设：CHkk11000:λβt统计量为)1(~ˆ2kntSetTλX)λ(Xλββλ1T对参数多个线性约束的假设检验：F检验需要检验的虚拟假设为0H：0,,,021kqkqk。该假设对模型(3-2-1)施加了q个排除性约束。模型(3-2-1)在该约束下转变为如下的新模型：uXXXYqkqk22110（3-2-10）模型(3-2-1)称为不受约束（ur）的模型，而模型（3-2-10）称为受约束（r）的模型。模型（3-2-10））也称为模型(3-2-1)的嵌套模型，或子模型。分别用OLS方法估计模型后，可以计算出如下的统计量：)1/(/knRSSqRSSRSSFururr关键在于，不需要满足t检验所需要的假定（3），统计量F就满足：1,~knqFF。利用已知的F分布函数，我们就可以拒绝或接受虚拟假设0H：0,,,021kqkqk了。5所以，一般来讲，F检验比t检验更先使用，用的更普遍，可信度更高。利用关系式)1(2rrRTSSRSS，)1(2ururRTSSRSS，F统计量还可以写成：)1/()1(/222knRqRRFurrur对回归模型整体显著性的检验：F检验需要检验的虚拟假设为0H：0,,,021k。相当于前一个检验问题的特例，kq。嵌套模型变为uY0。02rR，TSSRSSr，22RRur。F统计量变为：)1/(/)1/()1(/22knRSSkESSknRkRF检验一般的线性约束需要检验的虚拟假设比如为0H：0,,,121k。受约束模型变为：uXY10再变形为：uXY01。F统计量只可用：)1/(/knRSSqRSSRSSFururr其中，211211)()()()(1XXYYXYXYTSSRSSiiiiXYr。检验两个数据集的回归系数是否相等：皱（至庄）检验虚拟假定是回归系数的真值相等。步骤如下：（1）基于两组样本数据，进行相同设定的回归，将二者的RSS分别记为1RSS和2RSS。（2）将两组样本数据合并，基于合并的样本数据，进行相同设定的回归，将回归的RSS记为TRSS。（3）计算下面的F统计量：)22/()()1/()(212121knnRSSRSSkRSSRSSRSSFT6（4）如果FF，拒绝原假定。非正态假定下多个线性约束的大样本假设检验：LM（拉格郎日乘数）检验F检验方法需要模型（1）中的u满足正态性假定。在不满足正态性假定时，在大样本条件下，可以使用LM统计量。虚拟假设依然是0H：0,,,021kqkqk。LM统计量仅要求对受约束模型的估计。具体步骤如下：（ⅰ）将Y对施加限制后的解释变量进行回归，并保留残差u~。即我们要进行了如下的回归估计uXXXYqkqk~~~~~22110（ⅱ）将u~对所有解释变量进行辅助回归，即进行如下回归估计ˆˆˆˆˆ~22110kkXXXu并得到R-平方，记为2uR。（ⅲ）计算统计量2unRLM。（ⅳ）将LM与2q分布中适当的临界值c比较。如果cLM，就拒绝虚拟假设0H；否则，就不能拒绝虚拟假设0H。模型函数形式误设问题的一般检验：RESET如果一个多元回归模型没有正确地解释被解释变量与所观察到的解释变量之间的关系，那它就存在函数形式误设的问题。误设可以表现为两种形式：模型中遗漏了对被解释变量有系统性影响的解释变量；错误地设定了一个模型的函数形式。在侦察一般的函数形式误设方面，拉姆齐（Ramsey，1969）的回归设定误差检验（regressionspecilficationerrortest,RESET）是一种常用的方法。RESET背后的思想相当简单。如果原模型（1）满足经典假定（3），那么在模型（1）中添加解释变量的非线性关系应该是不显著的。尽管这样做通常能侦察出函数形式误设，但如果原模型中有许多解释变量，它又有使用掉大量自由度的缺陷。另外，非线性关系的形式也是多种多样的。RESET则是在模型（1）中添加模型（1）的OLS拟合值的多项式，以侦察函数形式误设的一般形式。为了实施RESET，我们必须决定在一个扩大的回归模型中包括多少个拟合值的函数。虽然对这个问题没有正确的答案，但在大多数应用研究中，都表明平方项和三次项很有用。令Yˆ表示从模型（1）所得到的OLS估计值。考虑扩大的模型7322122110ˆˆYYXXXYkk（4）这个模型看起来有些奇怪，因为原估计的拟合值的函数现在却出作为解释变量出现。实际上，我们对模型（4）的参数估计并不感兴趣，我们只是利用这个模型来检验模型（1）是否遗漏掉了重要的非线性关系。记住，2ˆY和3ˆY都只是jX的非线性函数。对模型（4），我们检验虚拟假设0,0:210H。这时，模型（4）是无约束模型，模型（1）是受约束模型。计算F统计量。需要查3,2knF分布表。拒绝0H，模型（1）存在误设，否则，不存在误设。利用非嵌套模型检验函数形式误设寻求对函数形式误设的其他类型（比如，试图决定某一解释变量究竟应以水平值形式还是对数形式出现）作出检验，需要离开经典假设检验的辖域。有可能要相对模型)log()log()log(22110kkXXXY（5）检验模型（1），或者把两个模型反过来。然而，它们是非嵌套的，所以我们不能仅使用标准的F检验。有两种不同的方法。一种方法由MizonandRichard(1986)提出，构造一个综合模型，将每个模型作为一个特殊情形而包含其中，然后检验导致每个模型的约束。对于模型（1）和模型（5）而言，综合模型就是kkXXY110)log()log(11kkkkXX（6）可以先检验0,,0:10kkkH，作为对模型（1）的检验。也可以通过对检验0,,0:10kH，作为对模型（5）的检验。另一种方法由DavisonandMacKinnon(1981)提出。认为，如果模型（1）是正确的，那么从模型（5）得到的拟合值在模型（1）中应该是不显著的。因此，为了检验模型（1）的正确性，首先用OLS估计模型（5）以得到拟合值，并记为Yˆˆ。在新模型YXXXYkkˆˆ122110（7）中计算Yˆˆ的t统计量，利用t检验拒绝或接受假定0:10H。显著的t统计量就是拒绝模型（1）的证据。类似的，为了检验模型（5）的正确性，首先用OLS估计模型（1）以得到拟合值，并记为Yˆˆ。在新模