第三章-多元回归

1第三章多元回归分析2第一节定义及假设前提•多元回归的定义•多元回归模型研究地是被解释变量y和一系列解释变量x1x2……xk之间的关系。一般模型写作•yi=β0+β1x1i+β2x2i+…+βkxki+μi3多元回归的假设前提•关于误差项的假设前提与简单回归相同。但是增加了一项即：假设所有的x之间不存在线性关系。如果解释变量中存在线性关系，估计的模型就会发生变化。•例如，y=β0+β1x1i+β2x2i+μi•如果x1、x2之间存在线性关系，假设：2x1+x2=4,即x2=4-2x1,带入上述模型，变成•Y=β0+β1x1i+β2(4-2x1)+μi4•这样我们的回归模型变成•Y=(β0+4β2)+(β1-2β2)x1i+μ•所以y对x1回归估计的是β0+4β2和β1-2β2•而不是初始模型中的参数了。5第二节多元回归模型的估计方法－最小二乘法•一，以双变量的模型为例•使用和简单回归模型中相同的参数估计方法－最小二乘法，即使残差平方和最小，然后利用求极值的方法求出所估计的参数。在二元回归模型中，要估计的参数有三个。常数项和两个解释变量前的系数。详细推导见板书。6•二，使用最小二乘法，但是将多元回归模型表示成矩阵的形式。下面我们来进行推导。假设模型为：yi=β1x1i+β2x2i+…+βkxki+μi为简单起见，先省略常数项。可以把上述模型写成矩阵形式：Y=Xβ+μ7其中，Y是n×1矩阵，X是n×k矩阵β是k×1矩阵μ是n×1矩阵假设：•μi服从于正态分布，期望是0，方差是σ2，x为非随机的，与干扰项不相关。•x之间不存在线性关系，x'x秩与x的秩相等，均为k,这表明x'x的逆矩阵存在。该假设事实上要求kn，相当于要求样本容量足够大。因为如果样本容量过小，，误差方差的估计值就会偏大，因为n-k-1(包括常数项）过小，β就不容易通过显著性检验，β的置信区间、总体y0和平均y0的置信区间过大，失去预测的意义。8残差平方和=μhat'μhat=(Y-Xβhat)'(Y–Xβhat)=Y'Y-Y'Xβhat-βhat'X'Y+βhat'X'Xβhat=Y'Y-2βhat'X'Y+βhat'X'Xβhat9•βhat=(x'x)-1x'y10最小二乘估计的结果:BLUE•βhat=(x'x)-1x'y=(x'x)-1x'(xβ+μ)=β+(x'x)-1x'μ高斯－马尔可夫定理的证明：1,线性，βhat既是y又是μ的线性组合2,无偏性，E(βhat）＝E(β+(x'x)-1x'μ)=β+(x'x)-1x'E(μ)=β113,有效性令β*=(x'x)-1x'y+cy=[(x'x)-1x'+c]yc为一常数矩阵,因为β*是β的无偏估计,所以E(β*)=β,由此推出cx=0β*=[(x'x)-1x'+c](xβ+μ)=β+cxβ+(x'x)-1x'μ+cμE(β*-β)(β*-β)'=E[(x'x)-1x'μ+cμ][(x'x)-1x'μ+cμ]'=σ2(x'x)-1+σ2cc'cc'主对角线上的值均大于等于零,所以，任意设定β的无偏估计量的方差不比最小二乘估计的方差小,有效性由此得证12•例题1，消费函数模型，数据如下：•消费收入•7080•65100•90120•95140•110160•115180•120200•140220•155240•15026013•101700•x'x=17003220001110x'y=20550014•0.97576-0.005152•(x'x)-1=•-0.0051520.000030315•0.97576-0.0051521110•βhat=•-0.0051520.0000303205500••24.4545•=•0.507916•残差平方和＝582.055，•方差的估计值为582.055/8＝72.7569•ESS=131517.95-123210=8307.945•TSS=132100-123210=8890•R2=8307.945/8890=0.93452717•例题21956－1970美国人均消费支出和可支配收入（1958年美元)•消费可支配收入时间•1956167318391(1956)•1957168818442•1958166618313•1959173518814•1960174918835•1961175619106•1962181519697•1963186720168•1964194821269•1965204822391018•续前表•19662128233611•19672165240412•19682257248713•19692316253514•1970232425951519计算结果如下：1531895120x'x=3189568922.51327214412027214412402029135x'y=6290582124793421•37.232491-0.02250821.336707(x'x)-1=-0.02250820.0000137-0.00083191.336707-0.00083190.05403422•300.28625•βhat=(x'x)-1x'y=0.74198•8.0435623残差平方和＝1976.85574方差的估计值为1976.85574/12=164.73797得到协方差－方差矩阵：6133.650-3.70794220.20634Var-cov(βhat)=-3.707940.00226-0.13705220.20634-0.137058.90155ESS=828144.47786TSS=830121.333R2=0.9976124第二节例题用矩阵方法估计参数•收入决定模型•52550•x'x=25141262•50262510•40.8254.375-6.25•(x'x)-1=4.3750.625-0.75•-6.25-0.75125•150•x'y=812y'y=4772•1552•-23.75•βhat=-0.25•5.526•残差平方和=4772-4770.5=1.5•方差的估计值为1.5/2=0.75•估计值的方差分别是30.62875,0.46875•及0.75.27第三节多元回归模型的统计推断：区间估计和假设检验一，几个结论：1，β0hat、β1hat、β2hat分别是β0、β1、β2的偏估计值。2，Var(β0hat)=σ2/n+x1bar2Var(β1hat)+2x1barx2barcov(β1hatβ2hat)+x2bar2var(β2hat)Var(β1hat)=σ2/S11(1-r122)Var(β2hat)=σ2/S22(1-r122)Cov(β1hat,β2hat)=-σ2r122/S11(1-r122)r122=S122/S11S22283,RSS/σ2---------服从于具有n-3个自由度的卡方分布4，σ2hat=RSS/n-35,β0hat-β0/SE(β0hat),β1hat-β1/SE(β1hat),β2hat-β2/SE(β2hat)服从于具有n-3个自由度的t分布。29例题•估计一个生产函数模型，已知•y=logoutput,x1=loglaborinput•x2=logcapitalinputn=23,x1bar=10,x2bar=5,ybar=12S11=12,S12=8,S22=12S1y=10,S2y=8,Syy=1030估计的结果如下：•β0hat＝4、β1hat＝0.7、β2hat＝0.2•R2=(0.7*10+0.2*8)/10=0.86•经过校正的R2=1-(1-0.86)*(23-1)/23-2-1=0.846RSS=Syy(1-R2)=10*(1-0.86)=1.4σ2hat=RSS/n-3=1.4/20=0.0731r122=S122/S11S22=82/12*12=64/144S11(1-r122)=12*5/9=20/3S22(1-r122)=12*5/9=20/3Var(β1hat)=σ2/S11(1-r122)=σ2/20/3=3/20σ2Var(β2hat)=σ2/S22(1-r122)=σ2/20/3=3/20σ2Var(β0hat)=8.7935σ2将σ2hat＝0.07代入上面，计算出SE(β1hat)＝SE(β2hat)＝0.102SE(β0hat)＝0.78y=4.0+0.7x1+0.2x2,,R2=0.86(0.78)(0.102)(0.102)经过校正的R2=0.84632有了上面的结果，我们就可以进行相应参数的区间估计和相关的假设检验了关于估计参数的区间估计，根据前面的论得出:β0hat+SE(β0hat)t,4.0+2.086*0.78(2.37,5.63)β1hat+SE(β1hat)t,0.7+2.086*0.102(0.49,0.91)β2hat+SE(β2hat)t,0.2+2.086*0.102(-0.01,0.41)分别是参数β0、β1、β2的置信区间33•关于参数的单个检验，多元回归与简单回归没有其差别，同样使用t检验就可以了。例如：•分别检验β1＝0、或β2＝0，只需要计算t值，即用参数估计值除以其标准差，然后与查表获得的临界值比较，如果t值大于临界值，拒绝零假设，反之不拒绝零假设。•检验β1＝1，计算0.7-1/0.102=-2.94.-2.94绝对值大于2.086，所以拒绝零假设，即认为β1＝不等于1。•在多元回归模型中，很多时候需要进行不止一个参数的检验，即联合检验。这时我们不能在使用t检验，而需要使用F检验。34第四节方差分析，多元回归总体显著型检验，联合检验一，简单回归的方差分析表变化来源平方和自由度均方和来自回归ESS1ESS/1来自参差RSSn-2RSS/n-2总体TSSn-1ESS/1F=————RSS/n-235二元回归的方差分析表：变化来源平方和自由度均方和来自回归ESS2ESS/2来自参差RSSn-3RSS/n-3总体TSSn-1ESS/2F=————RSS/n-3推及一般，具有k个解释变量时：ESS/kF=————RSS/n-k-136•二，关于参数的线性组合的检验：•例如关于生产函数模型中检验规模收益是否是不变的等等。•需要使用F检验，具体方法如下：•RRSS–URSS/r•F=_____________•URSS/n-k-1•其中，URSS（UnrestrictedRSS)为没有限制条件的RSS，RRSS(RestrictedRSS)为加了限制条件的RSS•r为加进限制条件的数量37关于生产函数模型规模收益不变的检验logY=α+βKlogK+βLlogL+μH0:βK+βL=1首先估计初始模型，计算出残差平方和，即为URSS。假设H0成立，则初始模型变为：logY=α+βKlogK+βLlogL+μ=α+βKlogK+（1-βK）logL+μlogY=α+βKlogK+βLlogL+μ38logY-logL=α+βK（logK-logL）+μ即logY-logL对logK–logL回归可以计算出新的残差平方和，即RRSS代入RRSS–URSS/1•F=_____________•URSS/n-3•将计算结果与查表所得的临界值比较就可以下结论了39第五节稳定性检验•当我们估计了一个多元回归模型后，使用该模型进行预测或估计时，通常假定所估计的参数在整个预测或估计期内是固定不变的。但是参数是否是固定的需要我们进行相关的检验，这一检验被称为稳定性或固定性检验。•具体检验的过程如下：40•假设有两组独立的数据，样本容量分别是n1、n2,•yi=β10+β11x1i+β12x2i+…+β1kxki+μ1i•yi=β20+β21x1i+β22x2i+…+β2kxki+μ2i41稳定性检验检验的是：H0:β10=β20,β11=β21…..β1k=β2k定义RSS1为第一组数据回归后的RSS，RSS2为第二组数据回归后的RSS，RSS1/σ2服从于具有n1-k-1个自由度的卡方分布RSS2/σ2