第3章多元线性回归.

1第三章多元线性回归3.1多元线性回归模型3.2回归参数的估计3.3参数估计量的性质3.4回归方程的显著性检验3.5中心化和标准化3.6相关阵与偏相关系数3.7本章小结与评注23.1多元线性回归模型一、多元线性回归模型的一般形式y=β0+β1x1+β2x2+…+βpxp+ε2)var(0)(E33.1多元线性回归模型一、多元线性回归模型的一般形式对n组观测数据(xi1,xi2,…,xip;yi),i=1,2,…,n,线性回归模型表示为:nnppnnnppppxxxyxxxyxxxy221102222221102111221110143.1多元线性回归模型一、多元线性回归模型的一般形式写成矩阵形式为:y=Xβ+ε,其中,nyyy21y)1(111pnnpn2n12p22211p1211xxxxxxxxxXp10βn21ε53.1多元线性回归模型二、多元线性回归模型的基本假定1.解释变量x1,x2,…,xp是确定性变量,不是随机变量,且要求rk(X)=p+1＜n。表明设计矩阵X中的自变量列之间不相关,X是一满秩矩阵。63.1多元线性回归模型二、多元线性回归模型的基本假定2.随机误差项具有0均值和等方差,即这个假定称为Gauss-Markov条件),2,1,()(,2,1,)(ni,jj0,ij,iσ,εεcovn0,iεE2jii73.1多元线性回归模型二、多元线性回归模型的基本假定3.正态分布的假定条件为:相互独立,,,,1,2,,),0(~212niniN用矩阵形式(3.5)式表示为:ε～N(0,2In)83.1多元线性回归模型二、多元线性回归模型的基本假定在正态假定下:y～N(Xβ,2In)E(y)=Xβvar(y)=2In93.1多元线性回归模型三、多元线性回归方程的解释y表示空调机的销售量,x1表示空调机的价格,x2表示消费者可用于支配的收入。y=β0+β1x1+β2x2+εE(y)=β0+β1x1+β2x2在x2保持不变时,有在x1保持不变时,有11)(xyE22)(xyE103.1多元线性回归模型三、多元线性回归方程的解释考虑国内生产总值GDP和三次产业增加值的关系，GDP=x1+x2+x3现在做GDP对第二产业增加值x2的一元线性回归，得回归方程24855.19.2895ˆxy113.1多元线性回归模型年份GDP第一产业增加值x1第二产业增加值x2第三产业增加值x3199018547.95017.07717.45813.5199121617.85288.69102.27227.0199226638.15800.011699.59138.6199334634.46882.116428.511323.8199446759.49457.222372.214930.0199558478.111993.028537.917947.2199667884.613844.233612.920427.5199774462.614211.237222.723028.7199878345.214552.438619.325173.5199982067.514472.040557.827037.7200089468.114628.244935.329904.6200197314.815411.848750.033153.02002105172.316117.352980.236074.82003117390.216928.161274.139188.02004136875.920768.172387.243720.6123.1多元线性回归模型三、多元线性回归方程的解释建立GDP对x1和x2的回归，得二元回归方程=2914.6+0.607x1+1.709x2yˆ你能够合理地解释两个回归系数吗？133.2回归参数的估计一、回归参数的普通最小二乘估计最小二乘估计要寻找使得，，，，,ˆˆˆˆ210pniippiiiniippiiipxxxyxxxyQp1222110,,,,1222110210)(min)ˆˆˆˆ()ˆ,,ˆ,ˆ,ˆ(210143.2回归参数的估计一、回归参数的普通最小二乘估计0)ˆˆˆˆ(2ˆ0)ˆˆˆˆ(2ˆ0)ˆˆˆˆ(2ˆ0)ˆˆˆˆ(2ˆ12211012221102221122110111122110000niipippiiipppniiippiiiniiippiiiniippiiixxxxyQxxxxyQxxxxyQxxxyQ153.2回归参数的估计一、回归参数的普通最小二乘估计经整理后得用矩阵形式表示的正规方程组0βXyX)ˆ(yXβXXˆ1XX当yXXXβ-1)(ˆ移项得存在时，即得回归参数的最小二乘估计为：/1//(1)()0()1()11npXXXXrankXXprankXPXnp163.2回归参数的估计二、回归值与残差ippiiixxxyˆˆˆˆˆ22110称为回归值yXXXXβXy-1)(ˆˆXXXXH-1)(称为帽子矩阵，其主对角线元素记为hii，则1)(1phHtrniii此式的证明只需根据迹的性质tr(AB)=tr(BA),因而1)1pptr(I)XXXXtr()XXXtr(Xtr(H)-1-1)()(173.2回归参数的估计二、回归值与残差cov(e,e)=cov(（I-H）Y,（I-H）Y)=（I-H）cov(Y,Y)（I-H）′=σ2（I-H）In（I-H）′=σ2（I-H）得D(ei)=(1-hii)σ2，i=1,2,…,nH)y-(IHyyyyeˆ183.2回归参数的估计二、回归值与残差niiepnpnSSEpn12211(1111ˆ)ee是σ2的无偏估计2112)1()()(pneDeEniinii得193.2回归参数的估计三、回归参数的最大似然估计y～N(Xβ,σ2In)似然函数为)))Xβ-yXβ-y((21exp()2(2222nnL))Xβ-yXβ-y((21)ln(2)2ln(2ln22nnL等价于使(y-Xβ)′(y-Xβ)达到最小,这又完全与OLSE一样203.2回归参数的估计例3.1现实生活中，影响一个地区居民消费的因素有很多，例如，一个地区的人均生产总值、收入水平、消费价格指数、生活必需品的花费等。本例选取9个解释变量研究城镇居民家庭平均每人全年的消费性支出y，解释变量为居民的食品花费，居民的服装花费，居民的居住花费，居民的医疗花费，居民的教育花费，地区的职工平均工资，地区的人均GDP，地区的消费价格指数，地区的失业率。本例选取2009年《中国统计年鉴》我国30个省、市、自治区（西藏地区失业率数据缺失，因此从样本中去除西藏）2008年的数据，以居民的消费性支出(元)为因变量，以如上9个变量为自变量作多元线性回归。213.2回归参数的估计223.2回归参数的估计233.3参数估计量的性质性质1是随机向量y的一个线性变换。βˆyXXXβ-1)(ˆ性质2βˆ是β的无偏估计。βXβXXXεXβXXXyXXXyXXX)β1-1-1--1)()E()()E()())(E((ˆE243.3参数估计量的性质性质3D（βˆ)=σ2(X′X)-1βyXXXβyXXXβββββEββEββββ11E)))(E(()))(E((),ˆˆˆˆˆˆˆˆcov()ˆ(D)))11β-εXXXββ-εXXXββεXβXXXβεXβXXX11(()((EE1111111XXXXXIXXXXX)XεεXXXXXXεεXXX2n2)E(E(E253.3参数估计量的性质当p=1时niiniiniixxxn1211XXxx22212xx2LnLxxxxniiLxLxxn)(1112221niiniiniixxxXXXX)ˆvar()ˆ,ˆcov()ˆ,ˆcov()ˆvar(ˆ(D110100)β即可得（2.41）、（2.42）、（2.45）式263.3参数估计量的性质性质4Gauss-Markov定理预测函数020210100ˆˆˆˆˆppxxxyβˆ是的线性函数Gauss-Markov定理在假定E(y)=Xβ,D(y)=σ2In时,β的任一线性函数的最小方差线性无偏估计(BestLnearUnbiasedEstimator简记为BLUE)为c′,其中c是任一p+1维向量,是β的最小二乘估计。Cβˆβˆ273.3参数估计量的性质第一，取常数向量c的第j（j=0,1,…,p）个分量为1，其余分量为0，这时G-M定理表明最小二乘估计是βj的最小方差线性无偏估计。第二，可能存在y1,y2,…,yn的非线性函数，作为的无偏估计，比最小二乘估计的方差更小。第三，可能存在的有偏估计量，在某种意义（例如均方误差最小）下比最小二乘估计更好。第四，在正态假定下，是的最小方差无偏估计。也就是说，既不可能存在y1,y2,…,yn的非线性函数，也不可能存在y1,y2,…,yn的其它线性函数，作为的无偏估计，比最小二乘估计方差更小。CˆCCˆCˆCCCˆCˆj283.3参数估计量的性质性质5cov（βˆ，e）=0此性质说明与e不相关,在正态假定下等价于与e独立,从而与独立。βˆeeSSE性质6在正态假设时),(~2nIXβyN12ˆ~(,())NββXX(1)(2))1(~/22pnSSE293.4回归方程的显著性检验一、F检验H0:β1=β2=…=βp=0niiiniiniiyyyyyy121212)ˆ()ˆ()(SST=SSR+SSE)1/(/pnSSEpSSRF当H0成立时服从)1,(pnpF303.4回归方程的显著性检验一、F检验)1/(/pnSSEpSSR方差来源自由度平方和均方F值P值回归残差总和pn-p-1n-1SSRSSESSTSSR/pSSE/(n-p-1)P(FF值)=P值313.4回归方程的显著性检验二、回归系数的显著性检验H0j:βj=0,j=1,2,…,p～Ｎ（β,σ２（Ｘ＇X）-1）βˆ记(Ｘ＇X)-1=（cij)i,j=0,1,2,…,p构造t统计量ˆˆjjjjct其中niiiniiyypnepn1212ˆ1111ˆ323.4回归方程的显著性检验二、回归系数的显著性检验333.4回归方程的显著性检验二、回归系数的显著性检验（剔除x4)343.4回归方程的显著性检验二、回归系数的显著性检验（剔除x8)353.4回归方程的显著性检验二、回归系数的显著性检验（最终)363.4回归方程的