多重共线性的概念

问题的提出•在前述基本假定下OLS估计具有BLUE的优良性。•然而实际问题中，这些基本假定往往不能满足，使OLS方法失效不再具有BLUE特性。•估计参数时，必须检验基本假定是否满足，并针对基本假定不满足的情况，采取相应的补救措施或者新的方法。•检验基本假定是否满足的检验称为计量经济学检验回顾6项基本假定•（1）解释变量间不相关（无多重共线性）•（2）E(ui)=0（随机项均值为零）•（3）Var(ui)=2（同方差）•（4）Cov(ui,uj)=0（随机项无自相关）•（5）Cov(X,ui)=0（随机项与解释变量X不相关）•（6）随机扰动服从正态分布。不满足基本假定的情形（1）•1、通常不会发生随机扰动项均值不等于0的情形。若发生也不会影响解释变量的系数，只会影响截距项。•2、随机扰动项正态性假设一般能够成立，就算不成立，在大样本下也会近似成立的。所以不讨论此假定是否违背。不满足基本假定的情形（2）•3、解释变量之间相关=多重共线•4、随机扰动项相关=序列自相关–时间序列数据经常出现序列相关•5、随机扰动项方差不等于常数=异方差–截面数据时，经常出现异方差解决问题的思路•1、定义违反各个基本假定的基本概念•2、违反基本假定的原因、背景•3、诊断基本假定的违反•4、违反基本假定的补救措施（修正）一、多重共线性的概念对于模型Yi=0+1X1i+2X2i++kXki+ii=1,2,…,n其基本假设之一是解释变量是互相独立的。如果某两个或多个解释变量之间出现了相关性，则称为多重共线性(Multicollinearity)。如果存在c1X1i+c2X2i+…+ckXki=0i=1,2,…,n其中:ci不全为0，则称为解释变量间存在完全共线性（perfectmulticollinearity）。如果存在c1X1i+c2X2i+…+ckXki+vi=0i=1,2,…,n其中ci不全为0，vi为随机误差项，则称为近似共线性（approximatemulticollinearity）或交互相关(intercorrelated)。在矩阵表示的线性回归模型Y=X+中，完全共线性指：秩(X)k+1，即knnnkkXXXXXXXXXX212221212111111中，至少有一列向量可由其他列向量（不包括第一列）线性表出。如：X2=X1，则X2对Y的作用可由X1代替。二、实际经济问题中的多重共线性一般地，产生多重共线性的主要原因有以下三个方面：（1）经济变量相关的共同趋势时间序列样本：经济繁荣时期，各基本经济变量（收入、消费、投资、价格）都趋于增长；衰退时期，又同时趋于下降。（2）滞后变量的引入在经济计量模型中，往往需要引入滞后经济变量来反映真实的经济关系。例如，消费=f(当期收入,前期收入）显然，两期收入间有较强的线性相关性。横截面数据：生产函数中，资本投入与劳动力投入往往出现高度相关情况，大企业二者都大，小企业都小。（3）样本资料的限制由于完全符合理论模型所要求的样本数据较难收集，特定样本可能存在某种程度的多重共线性。一般经验：时间序列数据样本：简单线性模型，往往存在多重共线性。截面数据样本：问题不那么严重，但多重共线性仍然是存在的。三、多重共线性的后果1.完全共线性下参数估计量不存在如果存在完全共线性，则(X’X)-1不存在，无法得到参数的估计量。μXβY的OLS估计量为：YXXXβ1)(ˆ例：对离差形式的二元回归模型2211xxy如果两个解释变量完全相关，如x2=x1，则121)(xy这时，只能确定综合参数1+2的估计值：2.近似共线性下OLS估计量非有效近似共线性下，可以得到OLS参数估计量，但参数估计量方差的表达式为由于|X’X|0，引起(X’X)-1主对角线元素较大，使参数估计值的方差增大，OLS参数估计量非有效。12)()ˆ(XXβCov仍以二元线性模型y=1x1+2x2+为例:2221221212221222122211121)(1/)()()ˆvar(iiiiiiiiiixxxxxxxxxxXX221211rxi2221221)(iiiixxxx恰为X1与X2的线性相关系数的平方r2由于r21，故1/(1-r2)1多重共线性使参数估计值的方差增大，1/(1-r2)为方差膨胀因子(VarianceInflationFactor,VIF)当完全不共线时,r2=02121/)ˆvar(ix当近似共线时,0r212122212111)ˆvar(iixrx表4.3.1方差膨胀因子表相关系数平方00.50.80.90.950.960.970.980.990.999方差膨胀因子12510202533501001000当完全共线时，r2=1，)ˆvar(13.参数估计量经济含义不合理如果模型中两个解释变量具有线性相关性，例如X2=X1，这时，X1和X2前的参数1、2并不反映各自与被解释变量之间的结构关系，而是反映它们对被解释变量的共同影响。1、2已经失去了应有的经济含义，于是经常表现出似乎反常的现象：例如1本来应该是正的，结果恰是负的。4.变量的显著性检验失去意义存在多重共线性时参数估计值的方差与标准差变大容易使通过样本计算的t值小于临界值，误导作出参数为0的推断可能将重要的解释变量排除在模型之外5.模型的预测功能失效变大的方差容易使区间预测的“区间”变大，使预测失去意义。注意：除非是完全共线性，多重共线性并不意味着任何基本假设的违背；因此，即使出现较高程度的多重共线性，OLS估计量仍具有线性性等良好的统计性质。问题在于，即使OLS法仍是最好的估计方法，它却不是“完美的”，尤其是在统计推断上无法给出真正有用的信息。多重共线性检验的任务是：（1）检验多重共线性是否存在；（2）估计多重共线性的范围，即判断哪些变量之间存在共线性。多重共线性表现为解释变量之间具有相关关系，所以用于多重共线性的检验方法主要是统计方法：如判定系数检验法、逐步回归检验法等。四、多重共线性的检验1.检验多重共线性是否存在(1)对两个解释变量的模型，采用简单相关系数法求出X1与X2的简单相关系数r，若|r|接近1，则说明两变量存在较强的多重共线性。(2)对多个解释变量的模型，采用综合统计检验法若在OLS法下：R2与F值较大，但t检验值较小，说明各解释变量对Y的联合线性作用显著，但各解释变量间存在共线性而使得它们对Y的独立作用不能分辨，故t检验不显著。即R2较大但t值显著的不多。另外判断参数估计值的符号，如果不符合经济理论或实际情况，可能存在多重共线性。2.判明存在多重共线性的范围如果存在多重共线性，需进一步确定究竟由哪些变量引起。(1)判定系数检验法使模型中每一个解释变量分别以其余解释变量为解释变量进行回归，并计算相应的拟合优度。如果某一种回归:Xji=1X1i+2X2i+LXLi的判定系数较大，说明Xj与其他X间存在共线性。具体可进一步对上述回归方程作F检验：式中：Rj•2为第j个解释变量对其他解释变量的回归方程的决定系数，构造如下F统计量)1,2(~)1/()1()2/(2.2.knkFknRkRFjjj在模型中排除某一个解释变量Xj，估计模型；如果拟合优度与包含Xj时十分接近，则说明Xj与其它解释变量之间存在共线性。另一等价的检验是:若存在较强的共线性，则Rj•2较大且接近于1，这时（1-Rj•2）较小，从而Fj的值较大。因此，给定显著性水平，计算F值，并与相应的临界值比较，来判定是否存在相关性。(2)逐步回归法以Y为被解释变量，逐个引入解释变量，构成回归模型，进行模型估计。根据拟合优度的变化决定新引入的变量是否独立。如果拟合优度变化显著，则说明新引入的变量是一个独立解释变量；如果拟合优度变化很不显著，则说明新引入的变量与其它变量之间存在共线性关系。找出引起多重共线性的解释变量，将它排除。以逐步回归法得到最广泛的应用。•注意：这时，剩余解释变量参数的经济含义和数值都发生了变化。如果模型被检验证明存在多重共线性，则需要发展新的方法估计模型，最常用的方法有三类。五、克服多重共线性的方法1.第一类方法：排除引起共线性的变量剔除变量与设定偏误•面对严重多重共线性，最简单的做法之一是剔除共线性诸变量之一，但是从模型中删除一个变量，可能导致设定偏误或设定误差。也就是说在分析中使用了不正确设定的模型。•由上面的讨论可见，从模型中除掉一个变量以缓解多重共线性的问题会导致设定上的偏误，因此在某些情形中，医治也许比疾病更糟糕，多重共线性虽然有碍于对模型参数的准确估计，但是剔除变量，则对参数的真值有严重的误导，应该记得，在近似共线性情形下，OLS估计量仍是BLUE。2.第二类方法：差分法时间序列数据、线性模型：将原模型变换为差分模型:Yi=1X1i+2X2i++kXki+i可以有效地消除原模型中的多重共线性。一般讲，增量之间的线性关系远比总量之间的线性关系弱得多。例如：在中国消费模型中的2个变量：收入(Y：GDP)与消费C的总量与增量数据YC(-1)C(-1)/Y△Y△C(-1)△C(-1)/△Y1981490129760.60721982548933090.60285883330.56631983607636380.59965873290.56051984716440210.561310883830.35201985879246940.533916286730.413419861013357730.5697144110790.748819871178465420.555216517690.465819881470474510.506729209090.311319891646693600.5684176219091.083199018320105560.5762185411960.6451199121280113620.533929608060.2723199225864131460.5083458417840.3892199334501159520.4624863728060.3249199447111201820.42841261042300.3354199559405272160.45811229470340.5721199668498345290.5041909373130.8042•由表中的比值可以直观地看到，两变量增量的线性关系弱于总量之间的线性关系。•进一步分析：Y与C(-1)之间的相关系数为0.9845，△Y与△C(-1)之间的相关系数为0.7456。一般认为：两个变量之间的相关系数大于0.8时，二者之间存在线性关系。所以，原模型经检验地被认为具有多重共线性，而差分模型则可认为不具有多重共线性。3.第三类方法：减小参数估计量的方差多重共线性的主要后果是参数估计量具有较大的方差，所以采取适当方法减小参数估计量的方差，虽然没有消除模型中的多重共线性，但确能消除多重共线性造成的后果。例如：增加样本容量，可使参数估计量的方差减小。4.变量变换tttttXbXbXbbY3322110lnln销量出厂价格市场价格高度相关市场总供应量tttttXbXXbbY322110lnln相对价格5.用被解释变量的滞后值代替解释变量的滞后值ttttXbXbbY1210个人消费现期收入前期收入高度相关ttttYXY1210线性关系较弱6.利用先验信息改变约束形式•先验信息：在此之前的研究成果所提供的信息。•利用某些先验信息，可以把有共线性的变量组合成新的变量，从而消除共线性。•如其中Y＝消费，X2＝收入X3＝财富。因为收入与财富有高度共线的趋势，如果先验认为则代入消去iiiiuXXY332212310.0iiiiiiiiiXXXuXuXX