应用回归分析_第2章课后习题参考答案

2.1一元线性回归模型有哪些基本假定？答：1.解释变量1x,,2x,px是非随机变量，观测值,1ix,,2ixipx是常数。2.等方差及不相关的假定条件为jinjijiniEjii,0),,2,1,(,),cov(,,2,1,0)(2这个条件称为高斯-马尔柯夫(Gauss-Markov)条件，简称G-M条件。在此条件下，便可以得到关于回归系数的最小二乘估计及误差项方差2估计的一些重要性质，如回归系数的最小二乘估计是回归系数的最小方差线性无偏估计等。3.正态分布的假定条件为相互独立niniN,,,,,2,1),,0(~212在此条件下便可得到关于回归系数的最小二乘估计及2估计的进一步结果，如它们分别是回归系数的最及2的最小方差无偏估计等，并且可以作回归的显著性检验及区间估计。4.通常为了便于数学上的处理，还要求,pn及样本容量的个数要多于解释变量的个数。在整个回归分析中，线性回归的统计模型最为重要。一方面是因为线性回归的应用最广泛；另一方面是只有在回归模型为线性的假设下，才能的到比较深入和一般的结果；再就是有许多非线性的回归模型可以通过适当的转化变为线性回归问题进行处理。因此，线性回归模型的理论和应用是本书研究的重点。1.如何根据样本),,2,1)(;,,,(21niyxxxiipii求出p,,,,210及方差2的估计;2.对回归方程及回归系数的种种假设进行检验；3.如何根据回归方程进行预测和控制，以及如何进行实际问题的结构分析。2.2考虑过原点的线性回归模型nixyiii,,2,1,1误差n,,,21仍满足基本假定。求1的最小二乘估计。答：niniiiixyyEyQ1121121)())(()(nininiiiiiiixyxxxyQ111211122)(2令,01Q即niniiiixyx11210解得,ˆ1211niiniiixyx即1ˆ的最小二乘估计为.ˆ1211niiniiixyx2.3证明：Q(0，1)=∑(yi-0-1xi)2因为Q(0,1)=minQ(0,1)而Q(0,1)非负且在R2上可导,当Q取得最小值时，有即-2∑(yi-0-1xi)=0-2∑(yi-0-1xi)xi=0又∵ei=yi-(0+1xi)=yi-0-1xi∴∑ei=0，∑eixi=0（即残差的期望为0，残差以变量x的加权平均值为零）2.4解：参数β0，β1的最小二乘估计与最大似然估计在εi~N(0,2)i=1,2，……n的条件下等价。证明：因为niNi,.....2,1),,0(~2所以),(~2110110XXYNii其最大似然函数为已知使得Ln（L）最大的0ˆ，1ˆ就是0，1的最大似然估计值。即使得下式最小：niiiniXYYYQ121021))ˆˆ(()ˆ(①因为①恰好就是最小二乘估计的目标函数相同。所以，在niNi,.....2,1),,0(~2的条件下，参数β0，β1的最小二})],([21exp{)2()(),,(2010122/21210iininiiniXYYfL2010122210)],([21)2ln(2)},,({iiniXYnLLn0100ˆˆQQ乘估计与最大似然估计等价。2.5.证明0是0的无偏估计。证明：若要证明0是0的无偏估计，则只需证明E(0)=0。因为0，1的最小二乘估计为xyLLxxxy101/其中22222)(1)(1))((iiiixxiiiiiiiixyxnxxnxxxLyxnyxyxnyxyyxxLE(0ˆ)=E(xy1ˆ)=E(niixxiniiyLxxxyn111)=E[niixxiyLxxxn1)1(]=E[niiixxixLxxxn110))(1(]=E(nixxiLxxxn10)1()+E(niixxixLxxxn11)1()+E(niixxiLxxxn1)1()其中nixxiLxxxn10)1(=nixxiLxxxn10)1(=))(1(10niixxxxLxnn由于niixx1)(=0，所以nixxiLxxxn10)1(=0niixxixLxxxn11)1(=niixxiixLxxxnx11)(=))((11niiixxxxxLxx=)-)(((11niiixxxxxxLxx)=)(1xx=0又因为一元线性回归模型为),0(210Nxyiiii独立同分布，其分布为各所以E(i)=0所以E(nixxiLxxxn10)1()+E(niixxixLxxxn11)1()+E(niixxiLxxxn1)1(=)0()(0EEniixxiELxxxn1)()1(=0所以0是0的无偏估计。2.6解：因为niiyny11①，xy10②，yLxinixxix11③联立①②③式，得到yLxinixxixxn10)1(。])1([)(10yLxinixxixxnVarVar)(1])1[(2yLxxxniVarnixxi2122]2(1[)nixxinLxLxxxnxxxxi因为nixxxxLi12)(，0)(1niixx，所以212122120])(21[)()()(nLxLxxxnxxniininixxxxiVar22)(1Lxxxn2122)()(1nixxxin2.7证明平方和分解公式：SST=SSE+SSR证明：2.8验证三种检验的关系，即验证：niiiniiyiyyyyySST1212]ˆ()ˆ[niiiniiiiniiyyyyyyyy12112)ˆˆ)(ˆ2ˆSSESSRyyyyniiinii1212)ˆˆ（1）21)2(rrnt；（2）2221ˆˆ)2/(1/tLnSSESSRFxx证明：（1）因为2-n22SSESSRLxx和，所以SSTSSESSTSSRnSSESSRnnSSEtLLxxxx）（）（22222又因为SSTSSRr2，所以SSTSSESSTSSRSSTr21故21)2(rrnt得证。（2）22222011111111ˆˆˆˆˆˆ()()(())(())nnnniiiixxiiiiSSRyyxyyxxyxxL2212ˆ/1ˆ/(2)xxLSSRFtSSEn2.9验证（2.63）式：2xx2iLx-xei-n1-1var）（证明：），（）（）（）（）（yyyyyyeiiiiiiicov2-varvar-varvar))x-ycov2varvarxyxyi1ii10i（，（）（）（LxxLxxin)()(22xx22212in1xx2xx2x-xin11L其中：xycovxyi1i，x-covycovxyyi1ii，，n1iixxiiin1iiiyxyxyyx-covx-n1covL，，222n1Lxxxxi22n1Lxxxxi注：各个因变量yyyn......21，是独立的随机变量),cov()var()var()var(YXYXYX22.10用第9题证明2-nie22是2的无偏估计量证明：n1i22yyii2-n1EEn1i2ei2-n1Eniie12-n1var2n1ixx2Lx-xi-n1-12-n1222-n1n2注：)()()var(XEXEX222.11验证22nFFr证明：)2(*)2(nSSESSRnSSESSRF所以有FnSSRSSE)2(2)2(11112nFFFnSSRSSESSESSRSSRSSTSSRr以上表达式说明r²与F等价，但我们要分别引入这两个统计量，而不是只引入其中一个。理由如下：①r²与F，n都有关，且当n较小时，r较大，尤其当n趋向于2时，|r|趋向于1，说明x与y的相关程度很高；但当n趋向于2或等于2时，可能回归方程并不能通过F的显著性检验，即可能x与y都不存在显著的线性关系。所以，仅凭r较大并不能断定x与y之间有密切的相关关系，只有当样本量n较大时才可以用样本相关系数r判定两变量间的相关程度的强弱。②F检验检验是否存在显著的线性关系，相关系数的显著性检验是判断回归直线与回归模型拟合的优劣，只有二者结合起来，才可以更好的回归结果的好坏。2.12如果把自变量观测值都乘以2，回归参数的最小二乘法估计0ˆ和1ˆ会发生什么变化？如果把自变量观测值都加上2，回归参数的最小二乘估计0ˆ和1ˆ会发生什么变化？解:解法（一）：我们知道当01iiiyx，01()iEyx时，用最小二乘法估计的0ˆ和1ˆ分别为⑴当2iixx时有错误!未找到引用源。将②③带入①得到⑵当2iixx时错误!未找到引用源。有错误!未找到引用源。错误!未找到引用源。将②③带入①得到·解法（二）：当01iiiyx，01()iEyx时，有220101i11()=(())()nniiiiiQyEyyx，当2iixx时0112iiiiiyxyx01()2iiEyx2220110101i111()=(())(2)()nnniiiiiiiiiQyEyyxxyx，当2iixx，011122iiiiyxy，011()2iiEyx22201101101i111()=(())(22)()nnniiiiiiiiQyEyyxyx，由最小二乘法可知，离差平方和010101()=()()QQQ，，，时，其估计值应当有错误!未找到引用源。。即回归参数的最小二乘估计0ˆ和1ˆ在自变量观测值变化时不会变。2.13如果回归方程错误!未找到引用源。相应的相关系数r很大，则用它预测时，预测误差一定较小。这一结论能成立吗？对你的回答说明理由。解：这一结论不成立。因为相关系数r表示x与错误!未找到引用源。线性关系的密切程度，而它接近1的程度与数据组数有关。n越小，r越接近1。n=2时，|r|=1。因此仅凭相关系数说明x与ˆy有密切关系是不正确的。只有在样本量较大时，用相关系数r判定两变量之间的相关程度才可以信服，这样预测的误差才会较小。2.14解：（1）散