多元线性回归模型分析

第三章多元线性回归模型**多元线性回归模型是我们课程的重点，原因在于：多元线性回归模型应用非常普遍；原理和方法是理解更复杂计量经济学模型的基础；内容较为丰富。本章主要内容多元线性回归模型的描述参数的OLS估计OLS估计量的有限样本性质参数估计量的方差-协方差矩阵和随机误差项方差2的估计单方程模型的统计检验多元线性回归模型实例§3.1多元线性回归模型的描述1、多元线性回归模型的形式由于在实际经济问题中，一个变量往往受到多个原因变量的影响；“从一般到简单”的建模思路。所以，在线性回归模型中的解释变量有多个，至少开始是这样。这样的模型被称为多元线性回归模型。多元线性回归模型参数估计的原理与一元线性回归模型相同，只是计算更为复杂。以多元线性回归模型的一般形式——K元线性回归模型入手进行讲解，其模型结构如下：Y=x11+x22+…+xkk+(1)其中，Y是被解释变量（因变量、相依变量、内生变量），x是解释变量（自变量、独立变量、外生变量），是随机误差项，i,i=1,…,k是回归参数。线性回归模型的意义在于把Y分成两部分：确定性部分和非确定性部分。在研究中，我们根本无法了解式（1）所示的总体模型的特征，而只能通过样本特征来近似考察。设经过n次试验，得到n个样本，如下所示：y1x11x12…x1ky2x21x22…x2k……ynxn1xn2…xnk在计量经济学分析中，通常会借助矩阵工具，在此亦将多元线性模型表示成矩阵形式，以便于下一步的数学运算。)1n(n21)1(21)n(nn1n22211111)1n(n21kkkkjkjkjxxxxxxxxxyyy（2）写成一般形式为：Y=X+(3)针对式（3），在这里主要讲参数估计和统计推断，但在此之前，我们要先回顾一下什么模型才是多元线性回归模型，即了解线性回归模型的6大假设，这一点十分重要。（1）线性性。即要求模型关于参数是线性的，关于扰动项是可加的。（2）满秩。说明解释变量之间是线性无关的，这一假设很重要，在后面会经常受到。（3）回归性。x与不相关。（4）x的DGP是外生的。x相对于y是外生的，是非随机的。（5）球形扰动。同方差性和非自相关性。（6）正态假设。2、多元回归方程及偏回归系数的含义称为多元回归方程（函数）。多元回归分析（multipleregressionanalysis）中，诸i称为偏回归系数（partialregressioncoefficients）。在经典回归模型的诸假设下，对（1）式两边求条件期望得E（Y|X1,X2,…Xk)=x11+x22+…+xkk偏回归系数的含义如下：1度量着在X2,X3,…,Xk保持不变的情况下，X1每变化1个单位时，Y的均值E(Y)的变化，或者说1给出X1的单位变化对Y均值的“直接”或“净”（不含其他变量）影响。其他参数的含义与之相同。需要说明的是，如果令x1≡1，则1便是常数项。习惯上把常数项看成为一个虚变量的系数，在参数估计过程中该虚变量的样本观测值始终取1。常数项的作用在于中心化误差。§3.2参数的OLS估计•参数的OLS估计附录：极大似然估计和矩估计投影和投影矩阵分块回归和偏回归偏相关系数我们的模型是：iKKi1iiiiXb....XbYYYe1ˆ残差为：一、参数的OLS估计普通最小二乘估计原理：使样本残差平方和最小Y=x11+x22+…+xkk+关键问题是选择的估计量b，使得残差平方和最小。要使残差平方和22iKKi11iiXb...XbYeQ0...,,01KbQbQ于是得到关于待估参数估计值的K个方程（即正规方程组）：为最小，则应有：按矩阵形式，上述方程组可表示为：iik2iKKi1ik1ii2iKi2Ki1i21ii1iKi1K2i11YXXb......XXb........................YXXXb......XXbYXXXb......Xb)'(XXb'XY即YXbXX')'(nnKKKnnk212iKi1iKiKi12i1YYYXXXXXXXXXb...bbXXXXXX................................................21212221212111＝YYeeene...21上述结果，亦可从矩阵表示的模型出发，完全用矩阵代数推导出来。uXYbXY其中：残差可用矩阵表示为：残差平方和)()(YYYY)()(bXYbXY))('(bXYXbYbXXbbXYYXbYY''nnieeeeeeeeeQ......21212注意到上式中所有项都是标量，且bXYYXb)'(XbXbYXbYYQ''20)(beeYXbXXYXXXb1)(与采用标量式推导所得结果相同。因为x是满秩的（假设2），所以（X‘X）-1存在。所以，得到的估计为用向量展开或矩阵微分法（前导不变、后导转置），我们可得到关于待估参数估计值的正规方程组：令故注：这只是得到了求极值的必要条件。到目前为止，仍不能确定这一极值是极大还是极小。接下来考察求极值充分条件。注意到上述条件只是极小化问题的必要条件，为了判断充分性，我们需要求出目标函数的Hessian矩阵：如果这个Hessian矩阵是正定的，则可以判断所得到的解是唯一的最小二乘解。显然，根据正定矩阵的定义或者正定矩阵的判断准则，可知当矩阵的满秩条件满足时，矩阵是正定的，因此最小二乘解的充分性成立。从而，OLS估计量为：XX2')ˆ(2bbQYXXXb1)(样本回归线的数值性质对于线性模型和相应的最小二乘估计，则有：(1)最小二乘残差的和为零。即01niie(2)回归超平面通过数据的均值点，即bxy(3)从回归方程中获得的拟合值的均值等于样本观测值的均值，即yyˆ需要注意的是，上述命题成立的前提是线性模型中包含常数项，也就是第一个解释变量是“哑变量”形式。这样一个思考题目就是，当线性模型中不包含常数项时，结论是什么样的？证明：(1)根据正规方程，可知：0)(eXXbyXyXXbX这说明对于矩阵X的每一列kx，都有0exk，由于矩阵X的第1列中都是1，所以得到(因此这条性质成立的前提条件是回归模型中包含常数项)：0),,,)(1,,1,1(121niineeee(2)正规方程0yXXbX表示为矩阵形式为：nTnKnKKKnKnKKTnKnKKyyyxxxxxxbbbxxxxxxxxxxxx2122221122122221122222112111111111将上述矩阵方程的第一个方程表示出来，则有：niiKniiKniiniiybbbxxx12111211根据数据的样本均值定义，则有：niiKniiniixnxnxn112111,,1,1x也即：bxy（3）的证明方法1因为Σei=0，所以对两边求和即可。eyy方法2根据拟合值的定义bXyˆ，有yXXbXYX)XX(XXYˆX1则有：nTnKnKKnTnKnKKyyyxxxxxxyyyxxxxxx212222112212222112111ˆˆˆ111上述矩阵方程的第一个方程可以表示为：niiniiyy11ˆ则有：yyˆ极大似然估计Y的随机抽取的n组样本观测值的联合概率)()(21))((212122222211022)2(1)2(1),,,(),(bbnxbxbxbbynneeyyyPbLnkikiiinXYXY对数似然函数为参数的极大似然估计结果与参数的普通最小二乘估计相同)()'(21)2()(2*bbnLnLLnLXYXYYXXX1)(b矩估计(MomentMethod,MM)矩估计是基于实际参数满足一些矩条件而形成的一种参数估计方法。随机变量的均值和方差如何得到？例：总体：E（Y-μ）=0样本矩（用样本矩估计总体矩）：满足相应的矩条件：ˆT1tt0)ˆ(YT1同理，方差的估计量是样本的二阶中心矩。现在，考虑一元线性回归模型中的假设条件：0)E(x0)(Ettt其所对应的样本矩条件分别为：T1tT1tt10tt0)xb-b-(yT1ˆT1T1tT1tt10tttt0)xbby(xT1ˆxT1可见，与OLS估计量的正规方程组是相同的。多元线性回归模型矩估计的矩条件通常是这样构造的：对于多元线性回归模型Y=Xβ+ε两边分别左乘，即得到XεXXβXYX)XβXE(Y)XE(上式称为总体回归方程的一组矩条件。现在，我们随机抽取样本，用样本矩代替总体矩，得到：XbXn1YXn1解此正规方程组即得参数的估计量，这种估计方法称为矩估计。其参数估计结果与OLS一致。样本形式：用每个解释变量分别乘以模型的两边，并对所有样本点求和，即得到：kiikikiikiiiikikiiiiikikiiixxxxxyxxxxxy)xxx(y)()(22112221122211YX)XX(b对每个方程的两边求期望，有：))(()())(()()(()(22112221122211kiikikiikiiiikikiiiiikikiiixxxxExyExxxxExyE)xxxEyE得到一组矩条件求解这组矩条件，即得到参数估计量与OLS、ML估计量等价kikikiikiiikikiiiikikiiixxbxbxbxyxxbxbxbxy)xbxbx(by)()(22112221122211矩方法是工具变量方法(InstrumentalVariables,IV)和广义矩估计方法(GeneralizedMomentMethod,GMM)的基础在矩方法中关键是利用了如果某个解释变量与随机项相关，只要能找到1个工具变量，仍然可以构成一组矩条件。这就是IV。如果存在＞k+1个变量与随机项不相关，可以构成一组方程数＞k+1的矩条件。这就是GMM。kjxEjii,,2,1,0)(广义矩估计中，矩条件的个数大于参数个数，会出现什么问题呢？过度识别则必须想办法调和出现在过度识别系统中相互冲突的估计。那如何解决呢？广义矩估计的思想是使得样本矩与总体矩的加权距离（即马氏距离）最小。主要是考虑到不同的矩所起的作用可能不同。设样本矩/)R()1()X,...,X(X，总体矩/)R()1()M,...,M(M，其中kR则马氏距离为：)MX()MX()(Q1/参数