第1讲 线性回归模型

计量经济专题(Econometrics)郑循刚博士教授博导([e-mail])教材及参考书1.李子奈.计量经济学[M].高等教育出版社，2010.07.2.庞皓.计量经济学[M].科学出版社，2010.08.3.张晓峒.计量经济学基础[M].南开大学出版社，2009.4.张卫东.中级计量经济学[M].西南财经大学出版社，2010.5.高铁梅.计量经济分析方法与建模[M].清华大学出版社，2009.6.朱建平等.高级计量经济学导论[M].北京大学出版社，2009.7.DamodarN.Gujarrati(古扎拉蒂).BasicEconometrics[M].2008.8.JeffreyM.Wooldridge(伍德里奇).IntroductoryEconometrics:AModernApproach[M](ThirdEdition).TheMITPress,2008.9.重要期刊（A、B类期刊）相关文章.一、概念1、确定性关系（函数关系）若一个变量能够被一个或若干个其它变量的数值按某一规律唯一地确定。2、非确定性关系（相关关系或回归关系）若一个变量不能根据其它有关变量的数值精确地求出其数值，但可以通过大量的统计资料得出它们之间的数量变化规律。3、相关分析主要研究变量之间的相互关联程度，用相关系数表示。包括简单相关和多重相关（复相关）。第1讲线性回归模型Ⅰ.一元线性回归模型4、回归分析（RegressionAnalysis）研究一个变量（因变量）对于一个或多个其他变量（解释变量）的数量依存关系的计算方法和理论。其目的在于根据已知的解释变量的数值来估计和（或）预测因变量的（总体）平均值。这里：前一个变量被称为被解释变量（ExplainedVariable）或应变量（DependentVariable），后一个（些）变量被称为解释变量（ExplanatoryVariable）或自变量（IndependentVariable）。回归分析是计量经济学的方法论基础，主要包括：（1）根据样本观察值对经济计量模型参数进行估计，求得回归方程；（2）对回归方程、参数估计值进行显著性检验；（3）利用回归方程进行分析、评价及预测。二、回归模型样本回归模型(直线)：iiiuXY10iiiiieXeYY10ˆˆˆ总体回归模型(直线)：YX140020003200800样本回归模型2600总体回归模型1.总体回归函数PRF(PopularRegressionFunction)将个别的Yi围绕其期望值的离差(Deviation)表述如下：ui=Yi-E(Y|Xi)或Yi=E(Y|Xi)+ui其中ui为随机误差项（Stochasticerror）或随机干扰项（Stochasticdisturbance）。线性总体回归函数：PRF：Yi=0+1Xi+ui=E(Y|Xi)+ui随机误差项主要包括下列因素的影响：1）在解释变量中被忽略的因素的影响；2）变量观测值的观测误差的影响；3）模型关系的设定误差的影响；4）其它随机因素的影响。产生并设计随机误差项的主要原因：1）理论的含糊性；理论不能完全说明影响因变量的所有影响因素。2）数据的欠缺；无法获得有关数据。3）简化原则。尽可能使回归式简单。2.随机扰动项的意义3.样本回归函数(SRF,SampleRegressionFunction)由于在大多数情况下，我们不可能得到X、Y的所有可能的数值，只能用抽样的方法，取得X、Y的样本观测值，用样本回归方程SRF去拟合总体回归方程PRF。X(收入)800110014001700200023002600290032003500Y(支出)59463811221155140815951969207825852530样本1样本201ˆˆiiiYXe样本回归函数SRF：在回归分析中，我们用SRF估计PRF。ii0011ˆ,YE(Y|X),ˆˆ,其中为的估计量为的估计量为的估计量X(收入)800110014001700200023002600290032003500Y(支出)62781411221298156217162013229925852860（一）基本假定1、零均值。随机扰动项ui的均值为零。即，E(ui|Xi)=02、同方差。随机扰动项ui的方差相等。即Var(ui|Xi)=E[(ui-E(ui))|Xi]2=E(ui2|Xi]2=23、无自相关。各个扰动项无自相关。即：三、参数的最小二乘估计（LeastSquaresEstimation，LSE）iiiuXY10考虑回归模型：其中ui是除了X以外的其它若干因素。ji0]}][{[）（），（jijjiijiuuEEuuEuuEuuCov4、随机扰动项ui解释变量Xi不相关。即Cov（ui，Xi）=E[ui-Eui][Xi-EXi]=0i=1,2,…,n5、ui服从正态分布，即ui~N（0，δ2），i=1,2,…,n（二）普通最小二乘估计（OrdinaryLeastSquares，OLS）基本思路：用样本回归函数估计总体回归函数。以01ˆˆˆ:iiiiiSRFYYeXeiiiuXYPRF10:估计iiiiieYeXYˆˆˆ10)ˆˆ(ˆ10iiiiiXYYYe残差估计出的参数10ˆˆ和使残差的平方和最小。210221010)ˆˆ()ˆ()ˆ,ˆ(:,ˆˆiiiiiXYYYeMinQ要求和即寻找真实值求解这一最小化问题，根据最大化的一阶条件：201002011101201122220()ˆˆ2()(1)0ˆˆ()ˆˆ2()()0ˆˆˆˆˆˆ()()ˆ()ˆiiiiiiiiiiiiiiiiiiiiiieQYXeQYXXnXYXXXYXYnXYXXYYxyXnXXXx整理得：（）（）（）解得：1iiˆ11,Y,yniiiiYXXXYxXXYYn其中例1，已知某商品的需求量Y（万吨）随价格X（元）变化的统计资料如下，求需求量Y随价格X变化的回归方程。年份1991199219931994199519961997199819992000需求量10075807050659010011065价格57668754390122222i1201605769610101805Y10075806580.51010X5769390(1005757659)4545454510680.5ˆ9.5390106ˆ80.5(9.5)6137.iiiiiYXuXXY解：设定模型（）（）（）5ˆ:137.59.5,9.5.iiYX所求的回归模型为表明价格每增加一元需求量将平均下降万吨几个常用结果：0111101111(1)ˆˆˆˆˆˆˆˆ(2)Yˆˆˆˆˆ()ˆ()nˆiiiiiiiiiXYYXYXXYYXXXYYYXYXXYXXY样本回归直线经过点（，）。亦即：（）故样本回归直线经过点（，）的均值等于实测的的均值：两边求和，并同除，得Y001i01001(3)ˆˆˆ20ˆˆe0(4)ˆˆˆ2(-)0iiiiiiiiiieYXYXeXYXX残差的均值为零。由求的第一式：（）（）与不相关。由求的第二式：（）01iˆˆe0iiiiYXXX（）（三）最小二乘估计OLS的性质（高斯-马尔柯夫定理）在所有线性无偏估计量中，OLS估计量有最小方差，即OLS是BLUE（BestLinearUnbiasedEstimator）。（1）线性性：10ˆˆ和为Yi的线性函数122222222222201()ˆ()11,0,111ˆˆ11()iiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiixyxYYxYkYxxxxkkxkxxxxxkxxxYYXYXkYXkYnXkYwYwXknn其中且.其中，（2）无偏性：最小二乘估计10ˆˆ和的数学期望值分别等于总体回10,归系数的值1100ˆˆEE，即，1010111110110110ˆ()ˆ()()ˆˆ11ˆˆ()(())1ˆEiiiiiiiiiiiiiiiiiiikYkXukkXkukuEkEuYXYXXuXnnn0110()iinXX（3）最小方差性：最小。和)ˆ()ˆ(10VarVar在所有线性无偏估计量中，具有最小方差。即10ˆˆ和10101100ˆˆVariiiicYdYVarVarVar设分别是和的任一线性无偏估计则：（）（），（）（）0122212222222222202222222ˆˆˆ11ˆ121[]iiiiiiiiiiiiiiiiVarVarkYkVarYkxkxxVarVarwYwXknXXkXknnnx先计算，的方差（）（）（）（）（）（）（）（）2222222iiiiXXnXXnxnx（）OLS估计量01222222222ˆˆ1[][]iijjiiiiiiiiiiiiiiiiCovCovkYwYkwCovYYxkwXknxxXxxXnxxxx（，）（，）（，）（）2221222222222[2][22iiiiiiiiiiiiiiiiiiiiVarVarcYcVarYcckkckkckkckkckk证：（）（）（）（）（）（）（）2222211][]ˆˆ[]iiiiickkckVarVar（）（）（）（）2101011i22201ciiiiiiiiiiiiiiiiiiiiiiiiickkEEcYEcXuccXccXcXXcXXcxkcxxx下证：因为（）（（））因而有：（）22001ˆVarVariikx同理可证：（）（）（四）最小二乘估计的方差2221100221ˆˆ~~iiiXNNxnx（，）（，）]1[N~Yˆ]1[22ˆˆ2ˆˆˆVarˆˆˆEˆˆYˆ222102222222222222222221021010102110））（，（即：）（）（），（）（）（）（）（）（）（）（且的线性组合，，，，也是）（，对固定的iiiiiiiiiinxXXnXxXXnxXXxXxnXxxXXxXxnXXCovXVarVarYYEXXEEYYYYXXX222222ˆˆ22iiieYYSEnn一般是未知的，的无偏估计量为：（）010111111111,()ˆˆˆ()ˆ()()ˆ()()iiiiiiiiiiiiiiiiiYXuYXuuunYYXXuueYYYYXXXXuuXXuuXX证明：与其中，两式相减有：2211221122222222221111ˆ()2()()()ˆ()()(1)()(2)21()21(-1)ˆ