计量经济学讲义-4--第二章 单变量回归

第三部线性分析第二章单变量回归第二章单变量回归所谓回归分析(regressionanalysis)，就是弄清楚两个或两个以上变量之间的因果关系的统计手法，是计量经济学中经常应用的方法。我们也可以认为计量经济学的目的就是为了改进回归分析。本章的对象：单变量的回归模型第三部线性分析第二章单变量回归主要内容：古典正规线性回归模型的假定；最小二乘回归模型(Ordinaryleast-squaresregressionmodel,OLS)的重要结果；1.古典正规线性回归模型1-1回归分析(1)现在把两个变量Y和X之间的关系，用一次函数的形式表示。具体，第三部线性分析第二章单变量回归,1,2,,tttYXutn，这样的模型称为单变量回归模型。其中，X是代表原因(cause)的变量，我们称之为说明变量(explanatoryvariable),或者称之为独立变量(independentvariable);Y是代表结果(result)的变量，我们称之为被说明变量(explainedvariable)，或从属变量第三部线性分析第二章单变量回归(dependentvariable);u是误差项(errorterm),或叫作搅乱项(disturbanceterm)，代表不能用X的变化来反应出的Y的变化的那个部分。也就是现实的Y与理论的Y之间的差异。为什么需要加入误差项呢？因为精确的数学模型能解释的现象很少；现在能第三部线性分析第二章单变量回归解释经济现象的手法大家更喜欢用随机变量来表示经济变量的不确性；(2)回归分析的目的主要目的是估计参数ˆ和ˆ以及2以及对估计值进行显著性检验。最常用的方法是最小2乘法(OrdinaryLeastSquaremethod,OLS)1-25个基本假定A.古典正规线性回归第三部线性分析第二章单变量回归模型有以下五个假设：(1)误差项tu的平均为0,即ntt=11u0n；(2)误差项12,,,nuuu之间不相关，即,0ijEuu，或cov,0ijuu；(3)误差项具有相同的方差2，其中2是未知；(4)说明变量12,,,nXXX是可以指定的，也就是说12,,,nXXX不是确率变量；(5)误差项服从正规分布。第三部线性分析第二章单变量回归B.下面我们详细说明上述的五个假定。B-1假定(1)误差项u代表说明变量X以外其他的对被说明变量Y产生影响因素的总和。其中的任何一个构成因素都不可能对被说明变量产生连续的影响，而它们总体有时候对被说明变量产生正的影响，有时候产生负的影响，但是第三部线性分析第二章单变量回归就平均程度而言是0。这种假定意味着被说明变量tY的平均是由tX的大小决定，而误差项不会对被解释变量产生一种系统的影响，也就是与误差项无关。把说明变量tY分成两个部分：tX和tu。其中，tX是可以人为指定的，称为系统部分；误差项tu是个确率变量，称为非系统部第三部线性分析第二章单变量回归分；就是不可预知部分，它决定被说明变量tY也是个随机变量。被说明变量和误差项具同样的分布。如果这种假设不成立，也就是说，有一个系统因素tZ，本应该出现在系统部分里，却人为地把它放在非系统部分中，那样会带来什么样的后果呢？第三部线性分析第二章单变量回归先看看原来的误差项tu。如前面所述的那样，依旧假设tu是一个平均为0的随机变量。现在，犯了定义上的错误，把应该放在系统说明部分中的说明变量tZ，归类到误差项tu中，即01tttuZ，其中t是一个均值为0的随机变量。这时，tu就不再是一个均值为0的随机变量。被说明变量tY的平均也不第三部线性分析第二章单变量回归再只由tX的大小决定，还要受到tu中tZ的大小的影响。这种错误是在建模阶段发生的错误。不能简单地从检验假说(1)的成立与否来判断这类错误的有无。原因是无论模型的建立是否正确，最小二乘残差te的总和永远为0，即10ntte，所以从作为误差项tu的估计第三部线性分析第二章单变量回归值的te的平均，是不能判断假说(1)的正确与否。B-2.假设(2)----各期的误差项12,,,nuuu之间不相关，即cov,0ijuu,ijiijjijCovuuEuEuuEuEuu先介绍一下什么是自己相关。假如t代表任何时点，相应的误差项1,ttuu。如果1tu是正的时候，tu更倾向于得到正的值，这种情第三部线性分析第二章单变量回归况，称1,ttuu之间存在正的相关；反之，当1tu为正的时候，tu倾向于小于0的情况，称为负相关。假设(4)阐述那样，说明变量tX不是随机变量，所以误差项tu是一个随机变量，被说明变量tY因此也成为一个随机变量。如果tu是一个自己相关的随机变量的话，相应的tY也成为一个自己相关第三部线性分析第二章单变量回归的随机变量。虽然自己不相关这一假说是一个非常强的假设，在现实中很难得到满足，但是在理论研究上具有很好的性质，比如使用方便等，同时也可以把结果发展到自己相关的状况下，所以这个假设还是很重要的。对于自己相关的处理方法，将在自己相关那第三部线性分析第二章单变量回归一章中作具体介绍。B-3.假设(3)----误差项具有相同的方差2，其中2是未知。首先介绍一下均一方差。对于所有的误差项,1,2,,tutn来说，它们都具有相同的方差的时候，服从均一方差分布；当各时点误差项的方差不相同的时候，服从异方差分布。被说明变量tY与误差第三部线性分析第二章单变量回归项tu具有相同的随机性质，所以当tu服从于均一方差分布的时候，被说明变量tY也服从于均一方差分布；反之，当tu不服从于均一方差分布的时候，被说明变量tY也服从于异方差分布。关于这一假设部成立的情况，会在异方差中详细说明。B-4假设(4)----说明第三部线性分析第二章单变量回归变量12,,,nXXX是可以指定的，也就是说12,,,nXXX不是随机变量。所谓指定变量，就是意味着可以人为地给定一个X的水平，可以观察相应的Y的水平。虽然说明变量X是可以控制的，但是其他不可以控制的影响被说明变量的因素是随机变动的，所以被说明变量是确率变量。这里反复强调说明变量X是指定变量，第三部线性分析第二章单变量回归宗旨无非是想表明说明变量X不是确率变量，也就是说不是随机变动的，X的决定机制和误差项的决定机制是完全不同的，它们是独立的，这就是这条假设的目的。在自然科学领域，说明变量的水平是可以控制的，例如，肥料的投入量与收成关系的研究中，肥料的投入量是可以人为控制第三部线性分析第二章单变量回归的。但是在经济学领域里，这种人为的控制是不可能的。例如给出不同的收入水平，也不可能策划出家庭消费，因为从被调查家庭这个母集团中，随机抽取家庭样本时，导致家庭的收入水平这一说明变量就变得不可以控制。还可以把假设（4）放松到说明变量X是确率变第三部线性分析第二章单变量回归量，但是X要与误差项独立。这种情况下，在本章中所展开的讨论仍然是有效的，只是可以把确率说明变量X理解为一种条件观察值。B-5假设(5)误差项服从正规分布。这里定义误差项u是影响被说明变量Y的系统因素X以外非系统因素12,,,k的总和。即第三部线性分析第二章单变量回归12ku，当k是一个比较大的数字，,,00,ijijkij，相互独立，而且每一个i对误差项的影响是非常微小的。这种情况下，根据中心极限定理可以假定误差项服从正规分布。误差项服从正规分布与否，和假说（1）同样，是在建立理论模型的时候需要慎重考虑的。第三部线性分析第二章单变量回归2。最小二乘法的几个重要结果2.1最小二乘回归有以下四个重要结果：(1).10ntte(2).ntt=11ˆe0,0nttttXoreY(3).222111ˆnnnttttttyye(4).211ˆˆnntttttyxy2.2结果的意义结果(1).10ntte这个结果说明最小二乘残差的总和一定是0。这个结第三部线性分析第二章单变量回归果同理论模型的好与坏，前面提及的假说（1）正确与否都无关，永远成立。对每一个残差项te而言，一般来说它不一定是0，我们由ˆˆttteYY（因为残差项te使不可观察的，这里我们为了强调特意写成ˆte代表残差项te的推导过程），当ˆtY过大地估计tY的时候，残差项te就是负的；当ˆtY过小地估计tY的时候，残差项te就大于0。但是总和永远为第三部线性分析第二章单变量回归0。10ntte表明被说明变量的观察值的总和与估计值的总和永远是相等的，即11ˆnnttttYY，也就是说它们的样本平均值也是一致的，ˆYY。有时候会出现10ntte，那更多的是因为计算中的误差所至，而不是否认10ntte这一结果。结果(2).ntt=11ˆe0,0nttttXoreY由结果10ntte，很容易地得到10nttXe，从而得到111nnnttttttttteXeXXex，第三部线性分析第二章单变量回归很显然，当10nttteX的时候，就有10ntttex。而残差项e与说明变量X的样本相关系数12211ntttuXnnttttexex当10ntttex，意味着e与X之间是线性无关，即,0CoveX。同样的道理，可以有1ˆ0nttteY得出e与Y之间是线性无关，即,0CoveY。结果(3).222111ˆnnnttttttyye2211nnttttyYY，称为全变动，反映第三部线性分析第二章单变量回归被说明变量在样本平均周围的变化程度，2211ˆˆnnttttyYY，称为回归模型可以说明的变动，反映被说明变量的估计值在样本平均周围的变化程度，21ntte，称为回归模型不能说明的变化部分。结果(4).211ˆˆnntttttyxy我们利用这个结果，可以简单地求出21ˆntty。2.3结果的证明第三部线性分析第二章单变量回归证明(1).10ntte证明(2).ntt=11ˆe0,0nttttXoreY证明(3).222111ˆnnnttttttyye证明(4).211ˆˆnntttttyxy最小二乘估计量的性质一．ˆˆ,的均值是无偏估计2222ˆtttttttttttxYYxyxYYxxxxx，0tttxXXXnX；222ˆtttttttttttttxYxXuxxXxuxxx2tttttxXxux2tttttxxXxux22tttttxXxxux2tttxux两边取均值，有第三部线性分析第二章单变量回归22ˆttttttxuxEuEEExx，这表明ˆ是的无偏估计量。对于ˆ，垐?ˆEEYXEXXXXE。二．ˆˆ,的方差做的五个假设中假设服从于正态分布，所以只要知道ˆˆ,，的均值，方差和协方差，就完全知道ˆˆ,的所有统计特性。根据方差的定义第三部线性分析第二章单变量回归222垐垐?VarEEEE，把2ˆtttxux代入，得到2垐?VarEE22tttxuEx22tttxuEx2221ttttjjtjtExuxuxux22222211tttjtjttxEuxxEuuxx22221ttttxVaruEux