第6.2节 多元线性回归分析

第6.2节多元线性回归分析一、多元线性回归模型二、参数的估计三、参数估计量的分布与性质四、回归系数与回归方程的显著性检验五、最优回归方程的选择六、稳健回归121,,,().mYxxxm实际问题中的随机变量通常与多个普通变量有关1212,,,,,,,,,.mmxxxYYxxx对于自变量的一组确定值具有一定的分布若的数学期望存在则它是的函数1212,,,(,,,)mmYxxxxxx的回归函数关于xY一、多元线性回归的数学模型1212(,,,),,,mmxxxxxx若是的线性函数,即20110,(,).mmYxxN～2011,,,,,,.mmxx是与无关的未知参数称其为多元线性回归模型12,,,mxxx01m其中称为回归变量，,,,称为回121212(,,,,)(,,,)(,,,,)iiimimxxxYinxxxYn归系数，是的个观测值，同时它们满足关系0112012,(,),,,,,iimimiiiYxxNin～相互独立.iiY由于相互独立，因而相互独立，且服从正态分布，即201112~(,),,,,iimimYNxxin011,mmEYxx因为则称011ˆmmYxx12,,,mYxxx为关于的线性回归方程为了表述方便，引入矩阵111212122212111,mmnnnmxxxxxxXxxx,21nyyyY01,mB01.m2011012,(,),,,,,iimimiiiYxxNin则～相互独立，此式可以用矩阵表示为YXEYX同时2cov(,)nYYI二、参数的估计221010ˆ()min()nmnmijijijijijijYxYx22ˆ||||min||||YXYXˆ,利用微分法求解即1.参数向量的最小二乘估计上式可以用矩阵表示为10001ˆ(),,,,nmijijikijYxxkm将上式可以改写为1100101ˆˆ(),,,,nnmmniikjijikijikjiijjiYxxxxxkm此式可以用矩阵改写为ˆ()TTXYXX1,TXmXX此方程称为正规方程。由于的秩为所以1(),TXX是正定矩阵，因而存在拟矩阵则1ˆ()TTXXXYˆ将代入回归方程，可得011ˆˆˆˆmmYxx.Y此方程也称为线性回归方程，此方程可以对预测23.未知参数的估计222112*ˆˆˆˆ[()]niiiYxn由6.1节可知，的估计为＝2221011*ˆˆˆ[]nmijijijYxnm类似的可以得到多元情形时，的估计为＝其矩阵形式为：211*ˆˆˆ()()TYXYXnm＝111(())TTTnYIXXXXYnm＝11ˆ[()]TTTYYXXnm＝例1(p201例6.5)某种水泥在凝固时放出的热量Y与水泥中下列4种化学成份有关：123221323():;():xCaOAlOxCaOSiO32323423442():;():xCaOAlOFeOxCaOSiO通过实验得到下列数据：序号1%x2%x3%x4%xiY172666078.52129155274.331156820104.34113184787.6575263395.661155922109.27371176102.78131224472.59254182293.1102147426115.911140233483.8121166912113.3131068812109.412,,,mYxxx试求关于的线性回归方程解1ˆ()TTXXXY由于，代入相关数据，得01462451550510100144ˆˆˆ(,,,)(.,.,.,.,.)Tˆ将代入回归方程，011ˆˆˆˆmmYxx可以得到回归方程为123462451550510100144ˆ.....Yxxxx3930iˆˆmax(||).,min(||)iiiiiYYYY三、估计量的分布及性质12ˆ,,,nYYY的每一个分量都是的线性组合，因而1ˆm由多元分布理论可知，随机向量服从维正态分布，其期望向量为由上一小节内容可知:11ˆ()()TTTTEXXXEYXXXXˆ因而,是的无偏估计11ˆˆcov(,)()cov(,)()TTTXXXYYXXX12121()()()()TTTnTXXXIXXXXX11ˆ(),TCXXm若令则服从维正态分布，其密度函数为111221122()()||exp{()()},.mTmfxCXCXxR其中性质11ˆYm是的线性函数，服从维正态分布，21,().TXX均值为协方差矩阵为性质2ˆ是的最小方差线性无偏估计..Y若估计量为的线性函数，则称其为线性估计证TT设是的任一线性无偏估计，则必可表为TAY().ETEAYAEYAX而且由的任意性，则1mAXI由于2cov(,)cov(,)()TTTTAYYAAA又考虑到11[()][()]TTTTTAXXXAXXX111()()()()TTTTTTAAXXXXXAAXXX111()()()()TTTTAAXXXXXX1()()TTAAXX1()()TTAAXXT则为非负定的，又由的任意性可知ˆ是的最小方差线性无偏估计.1ˆ,[()],TTnYYXYIXXXXY令则有称其为残差向量.性质3ˆY与互不相关证计算二者的协方差矩阵11ˆcov(,)[()]cov(,)[()]TTTTTnYIXXXXYYXXX2110[()][()]TTTTTnIXXXXXXXˆY因而与互不相关.性质40EY21cov(,)[()]TTnYYIXXXX证这是因为0ˆ()EYEYXXX11cov(,)[()]cov(,)[()]TTTTTnnYYIXXXXYYIXXXX211[()][()]TTTTTnnIXXXXIXXXX21[()]TTnIXXXX估计量的分布2||||,TQYYY设称其为残差平方和，则211nnTiiiiEQEYYEYDY21tr|cov(,)|tr[()]TTnYYIXXXX2211[tr][]mnInm1trAniiiannA其中表示矩阵的迹.2221**ˆˆEQEnm因此，由的定义可知：定理6.21212,(,,,)(,,,)iiimixxxYin若满足多元线性回归模型，则1ˆ()Y与相互独立，且服从正态分布；22*ˆˆ()与相互独立;222311*ˆ()()/~()nmnm证1ˆ()(,)Y由于为相互独立的且服从正态分布的12,,,nYYY的线性组合，因而由多元正态分布理论ˆˆ(,)YY可知，服从正态分布，由性质三可知，与不.相关，因而二者独立22221**ˆˆ()ˆTYYnm由于，结合性质可知，与相互独立.222111*ˆˆˆ()()()()()TnmnmYXYXnm(3)这是由于2ˆˆ()()TYXYX112(())(())TTTTTYXXXXYYXXXXY112(())(())TTTTTTnnYIXXXXIXXXXY12(())TTTnYIXXXXY1(),TTBXXXXBnn设=由于是非负定矩阵，秩为1,mnD则存在阶正交矩阵使得1m+100TDBD0121,,,,,TniDDIim其中211()[()]TTTTTTBBBXXXXXXXXB同时2TTDBDDBD因而2121i=1,,,,iiim即1000mTIDBD则12()(,,,),TnZDYXZZZD令其中为正交矩阵0()EZDEYEXcov(,)cov(,)TZZDYXYXD22cov(,)TTnnDDDIDI12,,,nZZZZ又因为为正态随机向量，上式可以表明20(,)N相互独立，同服从于分布.1ˆ()TTXXXXXXYX由11()()()TTTTTXXXXYXXXXXDZ11ˆˆ()()()()TTTTTTTXXXXZDXXXXXXXXDZ则1()TTTTTTTZDXXXXDZZDBDZTTTTTBB,BBB)BBB,.B由于则＝(因而对称1ˆˆ()()0=00TTTTmTTTXXXXZDBDZIZDBDZZZ则222121mZZZ因而12221*ˆ(())()TTTnYIXXXXYnm12()(())()TTTnYXIXXXXYX12(())TTTTnZDIXXXXDZ12(())TTTTnZDIXXXXDZ22221112()nmZZZZ2222mnZZ220112~(,),,,,,,iZNin同时，且相互独立，22211*ˆ()~()nmnm因而推论122221ˆ||||ˆ||||~()QXXXXm与相互独立，且四、回归系数及回归方程的显著性检验01001::(,,)jjHHjm假设检验11()TjjCCXXj设是矩阵的主对角线上第个元素ˆ,jjjC2则D因而1.回归系数的显著性检验构造检验统计量201ˆ~(,)jjjjNC又因为221ˆ~(),jQnmQ且与相互独立,在假设成立时，11ˆ~()/()jjjjTtnmCQnm对于给定的显著性水平，拒绝域为：21{|||()}jjWTTtnmjjT当属于拒绝域时，拒绝原假设，即系数显著不为0.2.回归方程的显著性检验假设检验2211ˆˆ()[()()]nnTiiiiiiQYYYYYY构造检验统计量01100::mjHH至少一个2211ˆˆ()()nniiiABiiYYYYQQ则222211ˆ/()/~()nAiiiQYYnm22221ˆ/()/~()nBiiQYYm22111/()~(,)/()BBAAQmnmQFFmnmQnmmQ对于给定的显著性水平，拒绝域为：1{|(,)}WFFFmnmjF当属于拒绝域时，拒绝原假设，即所有系数显著不为0.例2(续例1)(p207例6.6)005..当时，试检验线性回归方程的显著性解有给定的数据可以计算得到13212715763ˆ().TiiiQyy132147863ˆ().AiiQyy00581114795483844..(,).BAQFFQ因此拒绝原假设，认为线性回归方程是显著的.26679.BTAQQQ例3(续例1)(p207例6.7)00501...当以及时，试检验线性回归方程中回归系数是否显著为0解有给定的数据可以计算得到132147863ˆ().AiiQyy123415511051010101901441ˆˆˆˆ.,.,.,.4786324461341*.ˆ.因此=0.05时，4个系数均显著为0.121211112081707046**