第3章 双变量模型：假设检验

第3章双变量模型：假设检验本章主要讲授如下内容：3.1经典线性回归模型3.2OLS估计量的方差与标准差3.3OLS估计量的性质3.4OLS估计量的抽样分布或概率分布3.5假设检验3.6拟合优度检验：判定系数r23.7预测3.1经典线性回归模型经典线性回归模型有如下假定：1．回归模型是参数线性的，但不一定是变量线性的。2．解释变量与扰动误差项不相关，即cov(Xi，ui)=0。3．给定Xi，扰动项的期望或均值为0，即E(u|Xi)=0。如图3-1所示。4．ui的方差为常数（或同方差），即var(ui)=σ2。如图3-2所示。5．无自相关假定，即cov(ui,uj)=0,i≠j。如图3-3所示。6．回归模型是正确设定的。3.2OLS估计量的方差与标准差222211)var(iibxnXb)var()(11bbse22222)var(ibxb)var()(22bbse2ˆ22nei3.3OLS估计量的性质1．高斯—马尔柯夫定理如果满足经典线性回归模型的基本假定，则在所有线性估计量中，OLS估计量具有最小方差性。即OLS估计量是最优线性无偏估计量（BLUE）。2．OLS估计量的性质（1）b1和b2是线性估计量，即它们是随机变量Y的线性函数。证明：iiiiiiiiiiiiiYkxxYxYxxYYxxyxb22222)(（这里，）0ix其中，。2iiixxk同样可得：iiiiiiiYwYkXnXYkYnXbYb)1(121其中，。iikXnw1（2）b1和b2是无偏估计量，即E(b1)=B1，E(b2)=B2。①对于b2，证明iiiiiiiiiiukXkBkBuXBBkYkb21212)(易知，，02iiixxk1iiXk所以iiukBb22故得2222)()()(BuEkBukBEbEiiii②对于b1，证明iiiiiiiiiiuwXwBwBuXBBwYwb21211)(易知，，。1iw0iiXw所以iiuwBb11故得1111)()()()(BuEwBEuwBEbEiiii（3）b1和b2是有效估计量，即在所有线性无偏估计量中最小二乘估计量b1和b2具有最小方差。①b1和b2方差求解2222222122)var()var()var()var(iiiiiiiiiixxxukuXBBkYkb222222222222222222222121121121)1()var()var()var(iiiiiiiiiiiiiiiixnXxnXnxxXnxxXkXnnkXkXnnkXnuXBBwYwb②证明：假设是用其他方法得到的关于B2的线性无偏估计量，，。iiYcb*2iikc2*2)(BbEiiiiiiiiiXcBcBXBBcYEcYcEbE2121*2)()()()(由无偏性，可得：2*2)(BbE221BXcBcBiii比较等式两边，得：0ic1iiXc而且有：011)(2222222iiiiiiiiiiiiiiiiixxkxcXcXkcxxkckkck故：)var()()](2)([)()var()var(222222222222222*2bxkkckkckkckkckcYcbiiiiiiiiiiiiiiiii同理，可证得：)var()var(1*1bb（4）误差方差的OLS估计量是无偏的，即。证明：前面已经提及，现在要证明：对于模型，其离差形式为：22)ˆ(E2ˆ22nei222neEiiiiuXBBY21)(2uuxByiii根据样本回归函数，其离差形式为：221ˆXbbYiiixby2ˆ所以)()(ˆ22uuxbByyeiiiii故有：222222222222222222222222222222222)()(22)()(])()[(2)()()]()[(2)()(])()()(2)[()]()[()ˆ(iiiiiiiikiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiixuxuxuuxbBukxuukuxuuxbBuxukuxukuuxbBuuxukuuxbBuuuuxbBxbBuuxbByye因为2222222222)var(])([iiiixxbxxbBE2222222222222222)1(1)(2)(1)(])2(1[]1[)(]2[])2([])([nnnnuuEuEnuEuuunuEunuEunuEuuunuEuuuuEuuEjijiiijjiiiiiiiiiiii222222))((2)(ijijijiiiiiixuuxxuxExuxE所以22222)2(2)1()(nneEi从而222neEi3.蒙特卡罗实验：实践中的OLS估计量的情况(1)假设给定下列信息:Yi=B1+B2Xi+ui=1.5+2.0Xi+ui这里,ui~N(0,4)(2)再假定给出Xi十个值:1,2,3,4,5,6,7,8,9,10.(3)使用任何一个统计软包，可以产生ui的遵从均值为0和方差为4的正态分布的10个随机值。(4)利用前面的方程，即Yi=B1+B2Xi+ui=1.5+2.0Xi+ui可以获得Y的10个值。(5)利用前面所产生的10个值，将Yi对X进行回归，并得到b1和b2的值。(6)重复上述过程21次，我们将得到如表3-2所示的结果（即Table3-2）。结论：假如反复利用最小二乘法求解参数的估计值，所估计出的参数的平均值将等于其真值。也就是说，OLS估计量是无偏的。例题例题1对一元线性回归模型iiiXBBY21试证明2221),(ixXbbCov证明：222222222222222211221121)()]([)]()][([)]())][(()[()]()][([)])([(),(ixXbVarXbEbEXbEbbEbEXbEbbEXYXbYEbEbbEbEBbBbEbbCov例题2假设有人做了如下的回归其中，yi，xi分别为Yi，Xi关于各自均值的离差。问b1和b2将分别取何值？iiiexbby21解：记，，则易知ixnx1iyny10yx于是222)())((iiiiiixyxxxyyxxb021xbyb可见，在离差形式下，没有截距项，只有斜率项。例题3令bYX和bXY分别为Y对X回归、X对Y的回归中的斜率，证明：bYXbXY=r2其中，r为X与Y之间的线性相关系数。证：容易知道，在上述两个回归中，斜率项分别为2iiiYXxyxb2iiiXYyyxb于是222222)(ryxyxyyxxyxbbiiiiiiiiiiXYYX例题4对于过原点的回归模型，，试证明：iiiXBY22)(iVar222)(iXbVar证明：模型的参数b2的OLS估计量为：iiiXBY2222222)(iiiiiiiiiiXXBXXBXXYXb可得222iiiXXBb故222222222222222)()()())((2)()()(iiiiijijjiiiiiiiXEXXXXXXEXXEBbEbVar3.4OLS估计量的抽样分布或概率分布1．随机误差项的分布在总体回归函数中，误差项服从均值为0，方差为的正态分布。即iiiXBBY21i2),0(~2Ni2．估计量b1和b2的分布),(~2111bBNb),(~2222bBNb3.5假设检验1．假设检验的含义首先假定解释变量X对被解释变量Y没有影响，即0:20BH0:21BH如果零假设为真，则没有必要把X纳入模型。2．置信区间检验为了确定估计的b2对真实的B2的“靠近”程度，可设法找出两个正数δ和α（其中0α1），以使得区间（b2-δ,b2+δ）包含真实B2的概率为1-α。用符号表示为1)(222bBbP这样的区间如果存在，就称为B2的置信区间。其中，1-α称为置信系数或置信概率，α称为显著性水平，b2-δ和b2+δ分别称为下置信限和上置信限。一般地，在服从正态分布的假定下，已知i)1,0(~222NBbZb但由于是未知的，只能用[或]来估计它。在这种情况下，上式右边服从自由度为n-2的t分布，即2b2ˆb)(2bse)2(~)(2/222ntbseBb对于给定的显著性水平α，查自由度为n-2的t分布表，得临界值，有)2(2/nt1)]2()2([2/2/nttntP即1)]2()()2([2/2222/ntbseBbntP=1)]()2()()2([22/2222/2bsentbBbsentbP因此，b2的置信区间为)]()2(),()2([22/222/2bsentbbsentb3．显著性检验（1）核心思想构造检验统计量，以及零假设下检验统计量的抽样分布，根据从样本数据求得的检验统计量的值，决定接受或拒绝零假设。（2）检验方法①构造统计量)2(~)(2/222ntbseBbt②作出检验假设*220:BBH通常假定。0*2B③根据样本数据，求得)(22bsebt④比较t和临界值，如果t值大于临界值，则检验结果显著，否则不显著。)2(2/nt)2(2/nt3.6拟合优度检验：判定系数1．判定系数（coefficientofdetermination）辨别估计的回归线拟合真实的Y值的优劣程度。2．总平方和的分解=总平方和（，totalsumofsquares）=解释平方和（，explainedsumofsquares）=残差平方和（，residualsumofsquares）22)(YYyii22)ˆ(ˆYYyii22)ˆ(iiiYYe3．判定系数公式RSSESSTSS=TSSRSSTSSESS1定义2221iiyeTSSESSr的两个性质：（1）非负性；（2）2r102r4．相关系数（samplecoefficientofcorrelation）2222)()())((iiiiiiiiyxyxYYXXYYXX2r3.7正态性检验1．残差直方图在水平轴上，将残差值划分成适当的区间，以每个区间中所含观察数的频率为直方图的高度。然后，用正态分布曲线图叠加在频率直方图上，以检验是否呈现正态分布。2．正态概率图利用标准的正态概率纸来画图进行检验。具体方法是，在水平轴上依次分别画出各个不同的残差的值，然后分别以前面的残差值的平均数【如e1，(e1+e2)/2，(e1+e2+e3)/3，…】作为纵轴上的值，这样就可以画出一条曲线。如果该曲线接近一条直线，则可以认为残差是正态分布的。3．雅克-贝拉检验雅克和贝拉构建了以下检验统计值：