第3章 多元回归分析估计

湖北大学商学院chenqianli1第三章多元回归分析：估计简单回归分析缺陷：关键假设SLR.3通常不现实多元回归分析的优点：可以明确地控制其他影响因变量的因素，更适合于其他条件不变情况下的分析。可以用以添加相当一般化的函数关系。多元回归模型是经济学和其他社会科学进行经验分析时使用得最广泛的一个工具。湖北大学商学院chenqianli23.1多元回归的动因两自变量的模型：以例子说明多元回归的优点多元回归分析能更好刻画变量之间的因果关系考虑以下两个模型的区别：多元回归模型可以将影响因变量的其他因素中的可观测部分以自变量的形式包括在回归模型中，从而控制这些因素的影响。01****012expwageeducuwageeduceru湖北大学商学院chenqianli33.1多元回归的动因多元回归分析对推广变量之间的函数关系有帮助例：参数的解释与上例是不同的：边际消费倾向为两个模型的关键假设：2012consincincu122consincinc2,exp0,0EueducerEuincincEuinc湖北大学商学院chenqianli43.1多元回归的动因K个自变量的模型多元回归分析允许影响Y的多个可观测的因素以自变量形式进入模型，以对其进行控制。多元线性回归模型的术语：截距、斜率、扰动项如何解释模型参数：弹性、百分数线性性含义：指模型是参数的线性函数（不是自变量）关键假设：01122kkyxxxu20123loglogsalarysalesceotenceotenu12,,0kEuxxx例：双对数模型湖北大学商学院chenqianli5湖北大学商学院chenqianli63.2OLS的机理和解释OLS估计量获得：残差平方和达到最小的准则：OLS回归方程的解释：偏效应（partialeffect)或其他情况不变效应的解释：在控制了的影响下，x1对y的影响为:例3.13.2012,,011ˆˆminkniikikiyxx1122ˆˆˆˆkkyxxx2,kxx1ˆ湖北大学商学院chenqianli73.2OLS的机理和解释多元回归中“保持其他因素不变”的含义：多元回归分析的功能在于：尽管不能在其他条件不变的情况下收集数据，但它提供的系数仍可作为其他条件不变的解释，它使我们有效地模拟了在不限制自变量的取值下此种情形。多元回归分析使我们能在非实验环境中去做自然科学家在受控实验中所做的事情：保持其他因素不变。OLS的拟合值和残差：011ˆˆˆˆˆˆiikikiiiyxxuyy例：收入与教育湖北大学商学院chenqianli8例：收入与教育（续）湖北大学商学院chenqianli9湖北大学商学院chenqianli103.2OLS的机理和解释性质：“排除（partiallingout)”的解释：以k=2的多元回归模型为例OLS的估计量可表示为：度量的是在排除了x2,…xk等变量影响之后，x1对y的影响。11011ˆˆ0,0(1,2,)ˆˆˆnniiijiikkuuxjkyxx01122ˆˆˆˆyxx111121111012ˆˆˆ,yˆˆrniiiniiryrxr可看成对r简单回归后的系数估计而是x=回归后的残差。湖北大学商学院chenqianli113.2OLS的机理和解释简单回归与多元回归估计的比较：什么情况下以下两个回归的斜率估计值是相同的？1.样本中x2对y的偏效应为0。2.样本中x1与x2不相关。拟合优度：SST=SSE+SSR01101122ˆˆˆˆˆ,yxyxx22122ˆ,22111ˆˆniiiyynniiiiSSESSRRSSTSSTyyyyRryyyy湖北大学商学院chenqianli123.2OLS的机理和解释R2的一个重要性质是，在回归中多增加一个自变量，其值不会减小，通常会增加。使用R2作为决定在模型中增加一个或几个变量的手段很不适当，决定一个解释变量是否应放入模型取决于在总体中对y的偏效应是否为0。过原点的回归：对过原点回归，采用最小化残差平方和的OLS估计值往往不具有以前推断的性质，通常定义的R2可能为负，尽管有人提出用实际值与拟合值的相关系数的平方作为R2，但目前没有大家认可的指标。实证一般尽量少用过原点回归。比较模型：湖北大学商学院chenqianli13比较模型（续）湖北大学商学院chenqianli14湖北大学商学院chenqianli153.3OLS估计量的期望为了研究OLS估计量的性质，需对多元线性回归模型建立一系列的假设。假定MLR.1（对参数的线性性）总体模型为：假定MLR.2（随机抽样）n此观测值来自以上方程模型描述的总体的一个样本假定MLR.3(零条件均值）：011kkyxxu12,,,:1,2,,iiikixxxyin12,,0kEuxxx例：扰动项条件均值不为零湖北大学商学院chenqianli16湖北大学商学院chenqianli173.3OLS估计量的期望违背MLR.3的可能情形：1.函数关系被错误设定。2.重要变量被遗漏。3.解释变量的测量误差。4.一个或多个解释变量与y同时决定内生解释变量与外生解释变量假定MLR.4(不存在完全共线性）：样本中，没有一个变量是常数，且自变量之间也不存在严格的线性关系。假定MLR.4允许自变量之间存在相关关系，但不能完全相关，如果不允许自变量之间存在任何相关关系，回归分析对计量经济分析就没有多大用处。同一变量不同的非线性函数可以出现在回归中。同一变量以不同计量单位进入同一模型；一个自变量表示成其他自变量的一个线性函数；样本容量相对于被估计的参数个数而言太小。－－－违背假定MLR.4湖北大学商学院chenqianli183.3OLS估计量的期望定理（无偏性）：在假定MLR.1-MLR.4下，总体参数的OLS估计量是无偏估计。无关变量的包括：讨论两种模型设定问题对无偏性的影响。第一个问题是模型包含一个无关变量或过度设定模型，下例说明。我们将模型设定为假定真实情况是30，即一旦控制了x1,x2，x3对y没有影响。当回归模型中包含无关变量时，不会影响OLS估计量的无偏性，但对OLS估计量的方差具有不利的影响。0112233yxxxu1231201122,,,EuxxxEuxxxx湖北大学商学院chenqianli193.3OLS估计量的期望遗漏变量的偏误：第二问题是相关变量未包括或模型设定不足，此问题一般会导致OLS估计量产生偏误。下面以简单情形说明。假定真实模型是：由于疏忽或数据不足，我们没有包括x2，只将y对x1进行简单回归：可以证明：遗漏变量偏误：方向见表3.2向上偏误、向下偏误与向零偏误在含有多个回归元的模型中，推导遗漏变量偏误是非常困难的。01122yxxu011yx11212011,Exx湖北大学商学院chenqianli203.4OLS估计量的方差假定MLR.5（同方差性）：定理（OLS斜率估计量的方差）在假定MLR.1-MLR.5下，式中，SSTj为xj的总样本变差，R2j为xj对所有其余自变量进行回归所得到的决定系数。OLS方差的成分：多重共线性OLS估计量的方差取决于三个因素：误差项的方差：给定因变量y,增加更多解释变量可减少误差项的方差，但同时可能引起多重共线性。xj的总样本变差SSTj：扩大样本容量可增大此项。212var,,kuxxx22ˆvar,1,2,,1jjjjkSSTR湖北大学商学院chenqianli213.4OLS估计量的方差自变量之间的线性关系R2j：两个或多个自变量之间高度相关（但不完全相关）被称为多重共线性（multicollinearity）。对于一个给定的数据集，可以试着从模型中去掉一些其他自变量来消除多重共线性，但同时会出现遗漏变量偏误的问题。需要在两方面进行权衡。误设模型的方差：是否包括一个变量，可对偏误和方差进行分析后进行权衡。真实模型为估计1：估计2：2ˆ1,varjjwhenR01122yxxu01122ˆˆˆˆyxx011ˆyx湖北大学商学院chenqianli223.4OLS估计量的方差比较两种估计的方差：如果20，两种估计均是无偏的。第一种估计方法下方差大，说明无关变量的包括的代价是估计量的方差变大。如果2不为0，传统上，计量经济学家曾建议，比较偏误和方差来决定是否应该包括x2。作者倾向于第一种估计，有两个原因，一是样本容量的上升可降低方差，但对偏误无影响；一是第二种估计的方差公式可能低估了实际方差（用2不正确）。22112111ˆvar,var1SSTSSTR湖北大学商学院chenqianli233.4OLS估计量的方差估计2：为了进行区间估计和假设检验，需要给出系数估计量方差的估计，由此先要估计扰动项的方差定理（扰动项方差的无偏估计）：在假设MLR.1-MLR.5下，221221ˆ11ˆˆ111niiniiuSSREEnknkuSSRnknkdfnk22ˆE湖北大学商学院chenqianli243.4OLS估计量的方差回归的标准误（SER）：系数估计量的标准差为：系数估计量的标准误为：以上公式均是在同方差假设MLR.5下才成立。2ˆˆ2ˆ1jjjsdSSTR2ˆˆ1jjjseSSTR湖北大学商学院chenqianli253.5OLS的有效性：高斯－马尔科夫定理定理：在假定MLR.1-MLR.5下，回归系数的OLS估计量是最佳线性无偏估计量（BLUE）以上定理说明了估计多元回归模型时使用OLS的合理性。以上五个假设又称高斯－马尔科夫假设，只要又一个不成立，OLS估计量不具备BLUE性质湖北大学商学院chenqianli26TheOverreactionHypothesisandtheUKStockMarket•MotivationTwostudiesbyDeBondtandThaler(1985,1987)showedthatstockswhichexperienceapoorperformanceovera3to5yearperiodtendtooutperformstockswhichhadpreviouslyperformedrelativelywell.•HowCanThisbeExplained?2suggestions1.AmanifestationofthesizeeffectDeBondt&Thalerdidnotbelievethisasufficientexplanation,butZarowin(1990)foundthatallowingforfirmsizedidreducethesubsequentreturnonthelosers.2.ReversalsreflectchangesinequilibriumrequiredreturnsBall&Kothari(1989)findtheCAPMbetaofloserstobeconsiderablyhigherthanthatofwinners.湖北大学商学院chenqianli27TheOverreactionHypothesisandtheUKStockMarket(cont’d)•Anotherinterestinganomaly:theJan