第一章--一元线性回归模型-计量经济学(陶长琪)

第一章一元线性回归模型第一节一元线性回归的基本概念第二节一元线性回归模型的参数估计第三节一元线性回归模型的检验第四节一元线性回归模型的预测第五节案例分析计量经济学的主要问题之一就是要探寻各种经济变量之间的相互联系程度、联系方式及其运动规律。而经典计量经济学方法的核心是采用回归分析的方法解释变量之间的具体的依存关系。回归分析是建立计量经济学模型中一个十分重要的概念。在了解回归分析的概念之前，首先需要对相关关系与因果关系作简要的说明。相关关系：是指两个以上的变量的样本观测值序列之间表现出来的随机数学关系，用相关系数来衡量。因果关系：是指两个或两个以上变量在行为机制上的依赖性，作为结果的变量是由作为原因的变量所决定的，原因变量的变化引起结果变量的变化。因果关系有单向因果关系和互为因果关系之分。相关分析：是判断变量之间是否具有相关关系的数学方法。回归分析：是研究一个变量关于另一个（些）变量的具体依赖关系的计算方法和理论。其目的在于通过后者的已知或设定值，去估计和预测前者的均值。前一个变量称为被解释变量或因变量，后一个（些）变量被称为解释变量或自变量。回归分析的主要内容包括：（1）根据样本观测值对参数进行估计，求得回归方程；（2）对回归方程参数估计进行显著性检验；（3）利用回归方程进行分析、评价及预测。第一节一元线性回归的基本概念一、散点图线性关系的确定常常可以通过两类方法：一类是根据实际问题所对应的理论分析；另一种直观的方法是分别以被解释变量Y和解释变量X在二维平面上绘制的散点图来初步确认（如图2-1）散点图表示因变量随自变量而变化的大致趋势，据此可以选择合适的函数对数据点进行拟合。图1.1.1散点图示意图例一个假想的社区有70户家庭组成，要研究该社区每月家庭消费支出Y与每月家庭可支配收入X的关系。即如果知道了家庭的月收入，能否预测该社区家庭的平均月消费支出水平。为达到此目的，将该70户家庭划分为组内收入差不多的10组，以分析每一收入组的家庭消费支出。（1）由于不确定因素的影响，对同一收入水平X，不同家庭的消费支出不完全相同；（2）但由于调查的完备性，给定收入水平X的消费支出Y的分布是确定的，即以X的给定值为条件的Y的条件分布是已知的，如：P(Y=1308|X=2000）=···=P(Y=1308|X=2000=1/7因此，给定收入X的值Xi，可得消费支出Y的条件均值或条件期望：E(Y|X=Xi)该例中：E(Y|X=2000)=1515描出散点图发现：随着收入的增加，消费“平均地说”也在增加，且Y的条件均值均落在一根正斜率的直线上。这条直线的方程称为总体回归函数，这条直线称为总体回归线。二、总体回归曲线与总体回归函数在全部解释变量已知的条件下得到的全部被解释变量的一个期望称为总体回归曲线，可用下面的函数来表示这样一个函数，我们称之为总体回归函数。至于总体回归函数的具体函数形式，在实际应用过程中，是由总体特征来决定的。iiEYXfX只有一个解释变量的线性回归模型为一元线性回归函数。其具体形式可写为在回归分析中，我们的主要目的，是通过所取得的样本观测值去估计回归系数的值，以达到预测经济现象的目的。01iiEYXX三、随机干扰项一般由数据绘制的散点图上的点并不在一条直线上，而是在直线的周围。即与总体期望值是有一些差别的，称这个差别为离差，用函数表示为其中表示第i个被解释变量的具体观测值，是用于表示离差的一个随机变量，在计量经济学中，我们称之为随机干扰项。iYiEYXiiiuYEYXiY总体回归模型：（1）称为系统性部分或确定性部分；（2）随机干扰项则称为随机性部分或非系统性部分。01iiiYXu01iiEYXXiu随机干扰项主要包括下列因素的影响：（1）包含了被遗漏的影响因素。由于考察总体认识上不可能达到绝对的精确，有部分未知的因素是不可避免的无法归入模型。（2）包含了无法取得数据的影响因素。有一些影响因素也许对被解释变量有相当的影响力，但这些因素的数据很难获取,甚至无法获取。所以在建立模型时我们不得不将这一影响因素省略掉，归入随机干扰项中。（3）包含了模型设定上的误差。建立回归模型的时候，为了便于检验和预测，一般都力图让模型尽可能的简单明了，因此会刻意的在模型中减少一些影响因素。（4）包含数据测量误差。由于某些主客观原因，数据在测量或观测时出现了误差，使其偏于实际值，这种误差只能归入中。（5）包含变量内在的随机性。模型变量本身具有其内在的随机性，会对被解释变量产生随机性的影响。在现实问题的计量经济学研究中，总体的信息往往无法全部获得。这种情况下，总体回归函数是无法估计的。在实际应用中，往往是通过抽样，得到总体的样本，再通样本数据做回归分析来估计总体回归函数。四、样本回归函数假设表1-1中的数据是从一个总体中随机抽取的一个样本，根据表1-1的数据做散点图，如图1.1.2所示。我们的任务就是：能否从所抽取的样本去预测整个总体呢？表1-1总体中抽取一个随机样本图1.1.2总体中随机抽取的一个样本的散点图根据图1.1.2，该样本的散点图可通过一条直线尽可能的拟合。由于此样本是取自于总体。所以这条直线可以近似地代表总体回归线。这样一条直线，我们称之为样本回归线。样本回归线，它的函数形式可以用表示。这个函数称作样本回归函数。1ˆˆˆiioiYfXX样本回归函数也可以表示为如下的随机形式：由于残差的引入，样本回归函数从一个确定性的数学模型成为一个具有随机性的计量经济学模型，我们称之为样本回归模型。01ˆˆˆˆiiiiiYYuXe（2）这二个估计称为点估计,即给定一组样本,可得到相应的参数估计值,它们是对于总体参数的一个点估计,不同的样本,得到的估计可能不完全相同。但不同的样本所得到的估计均是对总体的一个点估计。01ˆˆ，01，样本回归模型具有的性质:（1）参数估计由样本信息所形成；回归分析的主要目的：根据样本回归函数SRF，估计总体回归函数PRF。图1.1.3样本和总体回归线的关系示意图第二节一元线性回归模型的参数估计一、最小二乘估计法的经典假定二、普通最小二法（OLS）三、最小二乘估计量的性质四、极大似然法(ML)一、最小二乘估计法的经典假定假定1：解释变量Xi是非随机的，即在重复抽样中，解释变量取固定值。假定2：随机干扰项ui与解释变量Xi之间不相关，即假定3：随机干扰项服从零均值，同方差，零协方差，即,0,1,2,,iiCovuXin20,Var,0.,,1,2,,iiijEuuEuuijijn假定4：随机干扰项服从零均值，同方差的正态分布，即ui~N(0,2)i=1,2,…,n假定5：正确设定了回归模型。正确设定有三个方面的要求:1.选择了正确的变量进入模型；2.对模型的形式进行正确的设定；3.对模型的解释变量、被解释变量以及随机干扰项做了正确的假定。二、普通最小二乘法（OLS）给定一组样本观测值（Xi,Yi）（i=1,2,…n）要求样本回归函数尽可能好地拟合这组值。普通最小二乘法（OLS）给出的判断标准是：二者之差的平方和最小。niiiniXYYYQ121021))ˆˆ(()ˆ(即在给定样本观测值之下，选择出能使与之差的平方和最小。01ˆˆ，iYˆiY求Q对的偏导数并令其等于零，得整理可得n是样本容量，该方程组被称作正规方程组。01ˆˆ,010ˆ0ˆQQ01201ˆˆˆˆiiiiiiYnXYXXX解得通过上面的方法得到的、的估计结果是从最小二乘原理得到的，因此称作普通最小二乘估计量。122()()ˆ()iiiiiiXXYYxyXXx20122ˆˆiiiiiiiXYXYXYXnXX例1-1根据凯恩斯的绝对收入假说，建立最简单的消费函数。下面利用我国1995-2010年城镇居民家庭人均消费性支出与城镇居民家庭人均可支配收入数据，使用普通最小二乘法建立一元线性回归模型。有关数据见表1-2。122()()224148072ˆ()3344460170.670207iiiiiiXXYYxyXXx01ˆˆ7139.7780.6702079525.036=756.03YX回归方程为ˆ756.030.670207iiYX三、最小二乘估计量的性质利用普通最小二乘法计算出的是样本观测值的函数，所以同一总体的不同样本就会计算出不同的。用样本回归直线去代表总体回归直线，其实用性和准确性是依靠这两个参数的。所以，必须了解估计量的性质。01ˆˆ，01ˆˆ，01ˆˆ，一个用于考察总体的估计量，可从如下几个方面考察其优劣性：（1）线性性即它是否是另一随机变量的线性函数；（2）无偏性即它的均值或期望值是否等于总体的真实值；（3）有效性即它是否在所有线性无偏估计量中具有最小方差。这三个准则也称作估计量的小样本性质。拥有这类性质的估计量称为最佳线性无偏估计量（BLUE）。（4）渐近无偏性即样本容量趋于无穷大时，是否它的均值序列趋于总体真值；（5）一致性即样本容量趋于无穷大时，它是否依概率收敛于总体的真值；（6）渐近有效性即样本容量趋于无穷大时，是否它在所有的一致估计量中具有最小的渐近方差。当不满足小样本性质时，需进一步考察估计量的大样本或渐近性质：（一）线性性是指一个变量是否是另一个变量的线性函数。OLS估计量均为随机观测值的线性函数。证明：01ˆˆ，iY12222()ˆiiiiiiiiiiixyxYYxYYxxxxx()0iiixXXXXnXnX12ˆiiiiixYkYx2iiixxk（二）无偏性是指估计量的均值或期望等于总体真实值。OLS估计量的均值等于总体参数值，即证明：11ˆ()E10101ˆ()iiiiiiiiiikYkXukkXku220iiiiixxkxx2222()1iiiiiiiiixxxkXXxXxxx11ˆiiku1111ˆiiiiEEkukEu0000)()()()ˆ(iiiiEwEwEE（三）有效性也称最小方差性，指估计量在所有线性无偏估计量中有最小方差。(1)先求0ˆ与1ˆ的方差)Var()Var()ˆVar(1021iiiiiuXkYk2222)()Var(iiiixxuk22ix)Var()Var()ˆVar(1020iiiiiuXwYw222222111()[()2]iiiXkXkXknnn222211[2()]iiixXkXnnx2222221()iiiXXnxnx(2)证明最小方差性假设*1ˆ是其他估计方法得到的关于1的线性无偏估计量：iiYc*1ˆ其中，ci=ki+di，di为不全为零的常数则容易证明)ˆvar()ˆvar(1*1同理，可证明0的最小二乘估计量0ˆ具有最的小方差四、极大似然法是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。基本原理：对于最大或然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。极大似然估计法一般可分为四个步骤：（1）写出似然函数；（2）对似然函数取对数并整理；（3）关于参数求偏导数；（4）求解似然方程。以正态分布的总体为例：假设一元线性回归模型满足经典假定，且是服从均值为，方差为的正态分布，所以01iiiYXuiY01iX220121()21()2iiYXiPYe1,2,,in因为Y