04第四章多元线性回归模型.

2020/1/151计量经济学第四章多元线性回归模型2020/1/152在本章将把一元线性回归模型推广到多元线性回归模型，即在模型中将包含二个以上的解释变量。多元线性回归模型是实践中广泛应用的模型。我们从简单的双解释变量多元线性回归模型入手，然后再将其推广到三个及三个以上解释变量的多元线性回归模型。3预测大学足球比赛的获胜得分差额为检验一场大学足球比赛中“争球码数”、“传球码数”、“回传次数”、“控球时间”以及“主场优势”等变量对比赛最后得分的影响，分析人员建立了一个多元回归模型。该模型的因变量是“比赛获胜得分的差值”，它等于胜方的最后得分减去负方的最后得分从高校体育协会前20名球队的比赛中随机抽取了90场，收集到自变量和因变量的数据，并进行多元回归分析，得到的回归结果如表预测变量系数t值截距3.222.06争球码数差0.1112.50传球码数差0.0910.19回传次数差-2.80-5.75控球时间差-0.01-3.94主场优势变量3.041.68因变量：获胜得分差修正的R2=0.722020/1/154主要内容第一节多元回归模型的定义第二节最小二乘估计第三节多元线性回归模型的检验第四节回归模型的其他函数形式第五节多元回归模型的设定偏误第六节多重共线性2020/1/155第一节多元回归模型的定义一、多元回归模型的意义在一元线性回归模型中，我们假定影响被解释变量的因素只有一个，即解释变量X，这种情形在经济计量分析中往往是不适宜的。因为在经济系统中，影响被解释变量的重要变量往往不只一个。2020/1/156例如在收入—消费模型中，除了收入影响消费外，还有其它因素明显地影响消费，很明显财富就是影响消费的重要变量。在劳动力市场上，影响工资的变量不仅仅是工作年限，受教育程度也是影响工资的一个重要变量。因此，在回归分析模型中，就需要引进更多的解释变量。2020/1/157多元回归分析与一元回归分析相比有如下优点1．多元回归分析可以研究多个影响因素对被解释变量的影响。2．在回归模型中增加一些有助于解释Y的因素，Ｙ的变动就能更好地予以解释。因此，多元回归分析有助于更好地预测Y。2020/1/1583．多元回归模型更具有一般性。一元回归模型中，只能有一个解释变量，其函数形式不一定恰当。而多元回归模型具有较大的灵活性，有利于对总体回归模型做出正确的判断。多元回归模型是经济学和其它社会科学进行计量分析时使用最为广泛的一个工具。2020/1/159含有两个解释变量的多元回归模型是最简单的多元回归模型。模型形式为二、含有两个解释变量的多元回归模型iiiiuXXY33221（4.1）其中，Yi是被解释变量，X2i和X3i是解释变量，ui是随机干扰项，i指第i项观测。2020/1/15102020/1/1511系数和为偏回归系数，表示在保持X3不变的条件下，X2每变化一个单位时，Y的均值的变化。类似地，表示在保持X2不变的条件下，X3每变化一个单位时，Y的均值的变化。32322020/1/1512例如在汽车需求分析中，可设定模型为ttttuIPY321（4.2）其中，Yt＝汽车需求量，Pt＝汽车价格，It＝居民收入。t代表第t次观测。式(4.2)中，汽车需求量主要受到价格和收入这两个变量的影响。2020/1/1513又如在劳动力市场中，工资水平模型为iiiiuEPEW321（4.3）其中，Wi＝工资，Ei＝受教育水平，EPi＝工作经验。式（4.3）表示工资水平主要受受教育水平和工作经验两个变量的影响。2020/1/1514在含有两个解释变量的多元回归模型中，经典线性回归模型的假定条件如下。假定1：ui零均值假定E(ui|X2i,X3i)＝0对每个i（4.4）2020/1/1515假定3：ui无序列相关假定Cov(ui,uj)＝0i≠j（4.6）假定2：ui同方差假定2)(iuVar（4.5）2020/1/1516假定4：ui与每一个解释变量无关0),(),(32iiiiXuCovXuCov（4.7）假定5：无设定偏误2020/1/15172020/1/1518三、含有多个解释变量的模型多个解释变量的多元回归模型是一元回归模型和二元回归模型的推广。含被解释变量Y和k-1个解释变量X2，X3，…，Xk的多元总体回归模型表示如下：2020/1/15192020/1/1520式（4.9）的均值表达式为kikiiiXXXYE33221)(i＝1,2,…,n（4.10）2020/1/1521把式（4.10）表示为增量形式则为kikiiiXXXYE3322)(（4.11）X2的系数的意义为：在所有其它变量X3i，X4i，…，Xki保持不变的条件下，X2改变一个单位而导致Yi的均值的变化量。22020/1/1522即在保持X3，X4，…，Xk不变的条件下，有：iiXYE22)(（4.12）其它斜率系数的意义与此类似。2020/1/1523例如，在汽车需求分析中，要研究竞争性市场中某一品牌汽车的需求。据需求理论，影响汽车需求的因素除了价格和收入外，还有与之竞争的其它品牌汽车的价格。因此，该品牌汽车的需求模型为tttttuPIPY'4321（4.13）2020/1/1524式（4.13）中，Yt＝某品牌汽车需求量，Pt＝该品牌汽车价格，It＝居民收入，＝竞争性品牌汽车的价格。代表当居民收入It与竞争性品牌汽车价格不变时，该品牌汽车价格降低1元，需求量增加的数量。2'tP2020/1/1525四、多元线性回归模型的矩阵表示个解释变量的多元线性回归模型的次观测数据，可表示为1122133111...kkYXXXu2122233222...kkYXXXu12233...nnnkknnYXXXunk2020/1/15261n用矩阵表示1n1knk1211112222222111kknnknknYXXβuYXXβuYXXβuXYuβ2020/1/15272020/1/1528第二节最小二乘估计2020/1/1529根据最小二乘准则，应选择使残差平方和最小的。在给定Y，X1和X2的n个观测值时，同时选择使下式取最小值。321ˆ,ˆ,ˆ321ˆ,ˆ,ˆ233221112)ˆˆˆ(iininiiiXXYe（4.15）2020/1/1530在含有多个解释变量的一般情形中，我们得到样本回归函数kikiiiXXXYˆˆˆˆˆ33221（4.16）我们的目的就是得到式（4.16）中的估计值，使残差平方和最小。kˆ,,ˆ,ˆ212020/1/15312020/1/15321221212211221ˆˆˆ()0ˆˆˆ()0ˆˆˆ()0niikkiiniiikkiinkiiikkiiYXXXYXXXYXX（4.18）2020/1/15332020/1/1534用矩阵表示因为样本回归函数为两边左乘有：因为，则正规方程为：XXe=021222221110001in2iik1kknnkiieeXXXeXe===...XXXeXeXeˆXXβ=XYˆXY=XXβ+XeˆY=Xβ+eXe(),ˆkk若是满秩矩阵其逆存在则-1β=(X)XXXXY2020/1/1535如果使用普通最小二乘法而得到了式（4.16）的样本回归函数，我们就称其为：将Y对X2,X3,…,Xk进行了回归。2020/1/1536【例4.1】工资回归模型利用横截面数据估计参数得到如下包含三个解释变量的模型。Ln(Y)=0.284+0.092X2+0.0041X3+0.022X4（4.19）式中，Y＝工资，X2＝受教育年限，X3＝工龄，X4＝现任职务的任期。2020/1/1537在式（4.19）中，系数0.092表示在保持X3和X4固定不变的情况下，劳动者多受一年教育，Ln(Y)增加0.092，即工资增长9.2%。也就是说，如果有两个劳动者具有同样的工龄和现职任期，在受教育水平相差一年时，X2的系数表示了预计工资的差别。2020/1/1538二、判定系数R2及调整的判定系数2R（一）判定系数R2在一元回归模型中，判定系数R2是回归方程拟合优度的一个度量；它给出了在被解释变量Y的总变差中由（一个）解释变量X解释了的比例或百分比。2020/1/1539将其推广到多元回归模型中，判定系数依然为解释平方和ESS与总平方和TSS的比值，即：TSSRSSTSSESSR12（4.20）2020/1/1540判定系数R2的一个重要性质是：在回归模型中增加一个解释变量后，它不会减少，而且通常会增大。即R2是回归模型中解释变量个数的非减函数。（二）调整的判定系数2R2020/1/15412020/1/1542为了消除解释变量个数对判定系数R2的影响，需使用调整后的判定系数：)1/()()/(1222nYYkneRii（4.21）式中，k为包括截距项在内的模型中的参数个数。在二元回归模型中k＝3，在一元回归模型中k＝2。2020/1/1543所谓调整，就是指的计算式中的和都用它们的自由度（n－k）和(n－1)去除。2)(YYi2ie2R2020/1/15442020/1/1545在回归分析中，我们的目的并不是为了得到一个高的，而是要得到真实总体回归系数的可靠估计并做出有关的统计推断。在实证分析中，经常碰到有着较高的，但某些回归系数在统计上不显著的回归模型，这样的模型是没有应用价值的。（三）回归分析中的应用2R2R2R2020/1/1546所以，我们应更加关心解释变量对被解释变量的理论关系和统计显著性。如果在其它条件相同的条件下，得到一个较高，当然很好；如果偏低，也不能说明模型不好。在经典线性回归模型中，并不要求一定是较高的。2R2R2R2020/1/1547【例4.2】大学平均成绩的决定因素根据某大学141名学生的样本，以大学平均成绩Y为被解释变量，高中平均成绩X1和大学能力测验分数X2为解释变量，用普通最小二乘法得到样本回归模型为210094.0453.029.1ˆXXY式（4.23）中，R2＝0.176，n＝141。（4.23）2020/1/1548截距项1.29没有实际意义。因为，没有人在高中时的成绩为0、测验成绩也为0时进入大学。R2＝0.176意味着，高中平均成绩X1和大学能力测验分数X2一起解释这个学生样本中大学平均成绩Y的方差的17.6%。这个比例虽然不高，但不能判定模型不好。因为影响一个学生大学表现的因素还有很多，包括家庭背景、个性、高中教育的质量和对大学专业的喜恶等。2020/1/1549三、最小二乘估计量的期望值和方差（一）偏回归系数的期望值在多元回归模型满足经典假定的条件下，普通最小二乘估计量是总体参数的无偏估计。即：jˆjjE)ˆ(j＝1,2,…,k（4.24）2020/1/1550对这一结果有直接影响的假定为E(ui)＝0，随机扰动项的期望值为0和Cov(Xi,ui)＝0，X非随机并与扰动项u不相关。2020/1/1551在多元回归分析中，如果回归模型的函数形式设定有误或遗漏了与包含在模型中的变量相关的重要解释变量，都会导致经典假定E(ui)＝0不成立，即E(ui)≠0。如此，则使得最小二乘估计量不是总体参数的无偏估计，即。jˆjjE)ˆ(2020/1/1552虽然在多元回归分析中，模型的函数形式更多，包含的变量数也较多，相对于一元回归分析，出现函数形式设定偏误和遗漏重要解释变量的可能性较小。但是，在一项应用研究中，由于理