第二章回归分析基本方法.

第二章回归分析的基本方法回归分析概述线性回归模型及假定线性回归模型的参数估计§2.1回归分析概述一、变量间的关系及回归分析的基本概念二、一元总体回归函数三、随机扰动项四、一元样本回归函数（SRF）§2.1回归分析概述（1）确定性关系或函数关系：研究的是确定现象非随机变量间的关系。（2）统计依赖或相关关系：研究的是非确定现象随机变量间的关系。一、变量间的关系及回归分析的基本概念1、变量间的关系经济变量之间的关系，大体可分为两类：对变量间统计依赖关系的考察主要是通过相关分析(correlationanalysis)或回归分析(regressionanalysis)来完成的：2,半径半径圆面积f施肥量阳光降雨量气温农作物产量,,,f正相关线性相关不相关相关系数：统计依赖关系负相关11XY有因果关系回归分析正相关无因果关系相关分析非线性相关不相关负相关例如：函数关系：统计依赖关系/统计相关关系：①不线性相关并不意味着不相关；②有相关关系并不意味着一定有因果关系；③回归分析/相关分析研究一个变量对另一个（些）变量的统计依赖关系，但它们并不意味着一定有因果关系。④相关分析对称地对待任何（两个）变量，两个变量都被看作是随机的。回归分析对变量的处理方法存在不对称性，即区分应变量（被解释变量）和自变量（解释变量）：前者是随机变量，后者不是。▲注意：回归分析(regressionanalysis)是研究一个变量关于另一个（些）变量的具体依赖关系的计算方法和理论。其用意：在于通过后者的已知或设定值，去估计和（或）预测前者的（总体）均值。这里：前一个变量被称为被解释变量（ExplainedVariable）或应变量（DependentVariable），后一个（些）变量被称为解释变量（ExplanatoryVariable）或自变量（IndependentVariable）。2、回归分析的基本概念回归分析构成计量经济学的方法论基础，其主要内容包括：（1）根据样本观察值对经济计量模型参数进行估计，求得回归方程；（2）对回归方程、参数估计值进行显著性检验；（3）利用回归方程进行分析、评价及预测。回归分析关心的是根据解释变量的已知或给定值，考察被解释变量的总体均值，即当解释变量取某个确定值时，与之统计相关的被解释变量所有可能出现的对应值的平均值。二、一元总体回归函数•概念：在给定解释变量Xi条件下被解释变量Yi的期望轨迹称为一元总体回归线（populationregressionline），或更一般地称为一元总体回归曲线（populationregressioncurve）。)()|(iiXfXYE称为（双变量）一元总体回归函数（populationregressionfunction,PRF）。相应的函数：回归函数（PRF）说明被解释变量Y的平均状态（总体条件期望）随解释变量X变化的规律。•含义：•函数形式：可以是线性或非线性的。iiXXYE10)|(为一线性函数。其中，0，1是未知参数，称为回归系数（regressioncoefficients）。。三、随机扰动项)|(iiiXYEY称i为观察值Yi围绕它的期望值E(Y|Xi)的离差（deviation），是一个不可观测的随机变量，又称为随机干扰项（stochasticdisturbance）或随机误差项（stochasticerror）。记（*）式称为一元总体回归函数（方程）PRF的随机设定形式。表明被解释变量除了受解释变量的系统性影响外，还受其他因素的随机性影响。(*)由于方程中引入了随机项，成为计量经济学模型，因此也称为一元总体回归模型。随机误差项主要包括下列因素的影响：1）在解释变量中被忽略的因素的影响；2）变量观测值的观测误差的影响；3）模型关系的设定误差的影响；4）其它随机因素的影响。产生并设计随机误差项的主要原因：1）理论的含糊性；2）数据的欠缺；3）节省原则。四、一元样本回归函数（SRF）问题：能从一次抽样中获得总体的近似的信息吗？如果可以，如何从抽样中获得总体的近似信息？总体的信息往往无法掌握，现实的情况只能是在一次观测中得到总体的一个样本。该样本的散点图（scatterdiagram)：样本散点图近似于一条直线，画一条直线以尽好地拟合该散点图，由于样本取自总体，可以该线近似地代表总体回归线。该线称为一元样本回归线（sampleregressionlines）。记样本回归线的函数形式为：iiiXXfY10ˆˆ)(ˆ称为一元样本回归函数（sampleregressionfunction，SRF）。这里将样本回归线看成总体回归线的近似替代则注意：样本回归函数的随机形式/样本回归模型：同样地，样本回归函数也有如下的随机形式：iiiiieXYY10ˆˆˆˆ式中，ie称为（样本）残差（或剩余）项（residual），代表了其他影响iY的随机因素的集合，可看成是i的估计量iˆ。由于方程中引入了随机项，成为计量经济模型，因此也称为一元样本回归模型（sampleregressionmodel）。▼回归分析的主要目的：根据样本回归函数SRF，估计总体回归函数PRF。注意：这里PRF可能永远无法知道。即，根据iiiiieXeYY10ˆˆˆ估计iiiiiXXYEY10)|(§2.2线性回归模型一、多元线性回归模型二、多元线性回归模型的基本假定一、多元线性回归模型多元线性回归模型:表现在线性回归模型中的解释变量有多个。一般表现形式：ikikiiiXXXY22110i=1,2…,n其中:k为解释变量的数目，j称为回归参数（regressioncoefficient）。习惯上：把常数项看成为一虚变量的系数，该虚变量的样本观测值始终取1。这样：模型中解释变量的数目为（k+1）ikikiiiXXXY22110也被称为总体回归函数的随机表达形式。它的非随机表达式为:kikiikiiiiXXXXXXYE2211021),,|(方程表示：各变量X值固定时Y的平均响应。j也被称为偏回归系数，表示在其他解释变量保持不变的情况下，Xj每变化1个单位时，Y的均值E(Y)的变化;或者说j给出了Xj的单位变化对Y均值的“直接”或“净”（不含其他变量）影响。总体回归模型n个随机方程的矩阵表达式为μXβY其中)1(212221212111111knknnnkkXXXXXXXXXX1)1(210kkβ121nnμ样本回归函数：用来估计总体回归函数kikiiiiXXXYˆˆˆˆˆ22110其随机表示式:ikikiiiieXXXYˆˆˆˆ22110ei称为残差或剩余项(residuals)，可看成是总体回归函数中随机扰动项i的近似替代。样本回归函数的矩阵表达:βXYˆˆ或eβXYˆ其中：kˆˆˆˆ10βneee21e二、多元线性回归模型的基本假定假设1，解释变量是非随机的或固定的，且各X之间互不相关（无多重共线性）。假设2，随机误差项具有零均值、同方差及不序列相关性0)(iE22)()(iiEVar0)(),(jijiECovnjiji,,2,1,假设3，解释变量与随机项不相关0),(ijiXCov假设4，随机项满足正态分布),0(~2Nikj,2,1上述假设的矩阵符号表示式：假设1，n(k+1)矩阵X是非随机的，且X的秩=k+1，即X满秩。假设2，0)()()(11nnEEEEμnnEE11)(μμ21121nnnEI22211100)var(),cov(),cov()var(nnn假设3，E(X’)=0，即0)()()(11iKiiiiiKiiiiEXEXEXXE假设4，向量服从多维正态分布，即),(~2I0μN同一元回归一样，多元回归还具有如下两个重要假设：假设5，样本容量趋于无穷时，各解释变量的方差趋于有界常数，即n∞时，jjjijiQXXnxn22)(11或Qxxn1其中：Q为一非奇异固定矩阵，矩阵x是由各解释变量的离差为元素组成的nk阶矩阵knnkxxxx1111x假设6，回归模型的设定是正确的。§2.3线性回归模型的参数估计估计方法：OLS、ML一、普通最小二乘估计二、最大似然估计三、参数估计量的性质四、样本容量问题五、估计实例一、普通最小二乘估计对于随机抽取的n组观测值kjniXYjii,2,1,0,,,2,1),,(如果样本函数的参数估计值已经得到，则有：KikiiiiXXXYˆˆˆˆˆ22110i=1,2…n根据最小二乘原理，参数估计值应该是下列方程组的解0ˆ0ˆ0ˆ0ˆ210QQQQk其中2112)ˆ(niiiniiYYeQ2122110))ˆˆˆˆ((nikikiiiXXXY于是得到关于待估参数估计值的正规方程组：kiikikikiiiiikikiiiiiikikiiikikiiXYXXXXXYXXXXXYXXXXYXXX)ˆˆˆˆ()ˆˆˆˆ()ˆˆˆˆ()ˆˆˆˆ(221102222110112211022110解该（k+1）个方程组成的线性代数方程组，即可得到(k+1)个待估参数的估计值,,,,,jjk012。正规方程组的矩阵形式nknkknkkiikikikiiiikiiYYYXXXXXXXXXXXXXXXXn212111211102112111111ˆˆˆ即YXβX)X(ˆ由于X’X满秩，故有YXXXβ1)(ˆ将上述过程用矩阵表示如下：即求解方程组：0)ˆ()ˆ(ˆβXYβXYβ0)ˆˆˆˆ(ˆβXXββXYYXβYYβ0)ˆˆˆ2(ˆβXXββXYYYβ0ˆβXXYX得到：YXXXβ1)(ˆβXXYXˆ于是：⃟正规方程组的另一种写法对于正规方程组βXXYXˆβXXeXβXXˆˆ于是0eX或0ie0iijieX(*)或（**）是多元线性回归模型正规方程组的另一种写法(*)(**)⃟样本回归函数的离差形式ikikiiiexxxyˆˆˆ2211i=1,2…n其矩阵形式为eβxyˆ其中：nyyy21yknnnkkxxxxxxxxx212221212111xkˆˆˆˆ21β在离差形式下，参数的最小二乘估计结果为Yxxxβ1)(ˆkkXXYˆˆˆ110⃟随机误差项的方差的无偏估计可以证明，随机误差项的方差的无偏估计量为11ˆ22