3.2 多元线性回归模型

3.2多元线性回归模型回归项--X对Y影响f--确定函数关系随机误差项--随机因素影响自变量(回归变量)确定性变量),,,(pXXX21X)(XfY),,,(pXXXfY21—多元回归模型因变量Y-随机变量3.2多元线性回归模型1基本概念2Matlab回归分析命令1.回归模型/矩阵表示2.参数估计3.显著性检验4.预测及统计推断5.建模基本步骤1.多元回归建模命令2.多元回归辅助图形命令3多元线性回归实例3.2多元线性回归模型1基本概念1.回归模型/矩阵表示2.参数估计3.显著性检验4.预测及统计推断5.建模基本步骤1．回归模型/矩阵表示3.2.1基本概念ppXXXY22110p,,10----待定常数，回归系数),0(~2N多元线性回归模型观测n次，得样本),,(1ipiixxy，ni,,2,1则),0(~,222110Nxxxyiippiii）（（1111121111pnpnnppxxxx,,),,,,XXXX---设计矩阵εXβY多元线性回归模型的矩阵表示---不可观测随机误差向量121nnε---回归参数向量1110）（ppβiippiixxy110121nnyyyY---观测向量),,2,1(niεXβY说明:1）-不可观测n维随机向量，分量相互独立且n,,1),0(~2N，即),(~nNI0ε2；2）1)(prankX列满秩；3）多元回归主要指矩阵形式(3.2.3)2.参数估计最小)()()S(211112ijnipjiiniTTniixyXβYXβYεεβ使ˆ选β帽子矩阵TTXXXXH1）（，HYYβˆ21)ˆ,,ˆ,ˆ(ˆ代入TnyyypXXYp110ββββXˆˆˆˆˆ---经验回归方程YXXXβTTp110)ˆ,,ˆ,ˆ(ˆ）（---最小二乘估计β（1）回归参数向量的最小二乘估计注意：证明：0210ikniijpjjikxxy令S（其中nixi,,2,1,10）pkxxxxxyjpjikniijikniniijpjjiki,,1,0,)()(01110矩阵形式YXXβXTT------正规方程（1）：求211)()S(ijnipjiixyβ极值由1prankrankT)()(XXX，1)(XXT存在且为正定阵，得唯一解YXXXβTTp110）（)ˆ,,ˆ,ˆ(ˆ注意:XXββTppniikijppjkSxxSH）（）（）（）（111112)()ˆ()ˆ(--Hessian矩阵)ˆ(βSH正定时，)ˆ(βS最小值.证明YHIYY)()ˆ(HYβXYβˆˆˆ代入---回归方程TTXXXXH1）（---帽子矩阵（2）随机误差项方差的估计残差向量)ˆ,,ˆ,ˆ()ˆ,,ˆ,ˆ(ˆnnnyyyyyy221121εYHIYYHIHIYεε)()()(ˆˆˆ12TTTTniiESS的残差平方和nˆ,,ˆ,ˆ211)(1ˆ2pnpnESSDTYHIY无偏估计2]))([]))(([])([)(TTTTrETrEEESSEεεHIεHIεεHIε矩阵交换期望线性性一阶矩阵)))((()()]]()[122XXXXHIεεHITTTtrntrETr期望性质)(1-2pn单位矩阵εHIεXβHIYHIε0H)X(I)())(()(ˆ模型证明（了解即可）：TTTXXXXHH1）（残差平方和)()()(HIHIHITTTESS2)1(pnESSE1-)(1-ˆ2pnpnESSDTYHIY为无偏估计的证明（3）估计量的基本性质(不要求）*性质12,ˆβ的矩性质（1）ββˆE为β无偏估计，22ˆE为2无偏估计（2）12)(])ˆ)(ˆ[()ˆ(XXβββββTTECov性质22,ˆβ的分布性质：如),(~I0ε2N，则有（1）)),(~ˆ1T2X(XββN正态（2）)1(~ˆ12222pnpnESS卡方（3）βˆ与2ˆ（或ESS）相互独立性质3εˆ矩分布性质：如),(~2I0εN，则残差向量YHIε)(ˆ满足（1）),(~ˆ2H)(I0εN正态3.显著性检验样本及拟合值，nyyy,,,21，pipiiixxxy,2211ˆˆˆˆiiiniiyyynyˆ11残差样本均值（1）离差平方和分解RSSESSTSS总离差平方和残差平方和回归平方和),(iiyx),(iiyxyxy离差yyi残差iiiyy回归差yyi21)ˆ(yyRSSini21)(yyTSSniiniiiniiyyESS1221ˆ)ˆ(RSSESSyyyyxxyyxyyyyyiniiniiikijpjjniipkkijpjjniiiniinii0)ˆˆ(])ˆ([ˆ)ˆ)(ˆ()ˆˆ(21211011101012121（）（）证明(了解即可):RSSESSyyTSSnii21)()ˆˆ)(ˆ()ˆˆ()ˆ)(ˆ(2)ˆˆ()ˆˆ()(1101012121121212121yxxyyyyyyyyyyyyyyyyyyyTSSikpkkijpjjniiiniiniiiiniiiniiniiiiniinii（）（）=0=0正规方程正规方程第一个TSSESSTSSRSSR122R相关系数的绝对值与为ppXXYYˆˆˆˆ110.ˆ12线性关系越显著与YY,R（2）可决系数及相关性检验---可决系数（复相关系数平方）TSSESSTSSRSSR12TSS=y'*(eye(n)-1/n*ones(n,n))*y;%计算TSSH=x*inv((x'*x))*x';%计算对称幂等矩阵HESS=y'*(eye(n)-H)*y;%计算ESSRSS=y'*(H-1/n*ones(n,n))*y;%计算RSSMSR=RSS/p;%计算MSRMSE=ESS/(n-p-1);%计算MSE%求可决系数命令21)(yyTSSniiYHIYHYYHYY)()()()ˆ(21TTiniiyyESS21)ˆ(yyRSSinininnniiiyyynyyyynyyyTSS121211222}1111111111100110001){,,,()(TTXXXXH1）（2ˆ1pnESSMSE（3）回归方程的显著性检验0,i1:0:1210ippHH存在)1,(~)/()/(0pnpFMSEMSR1pnESSpRSSFH真p010FF如0H真,则0Y,Y与nXXX,,,21不相关给显著性水平，拒绝域：),(1-pnpFF检验p值：)(000FFPpHFFp00,拒绝0H,Y与121,,,pXXX线性关系显著构造统计量假设检验判断%回归方程显著性检验命令F0=(RSS/p)/(ESS/(n-p-1));%求F统计量观测值F0,n样本数,p自变量个数Fa=finv(0.95,p,n-p-1)%F统计量上0.05分位数p0=1-fcdf(F0,p,n-p-1)%求检验P值结果判断F0Fa=Fα(p,n-p-1),或者p0α,拒绝假设,回归关系显著.)1-,(0.05pnpF)(000FFPpH（4）回归系数的显著性检验),,2,1(0:0:10pkHHkkkk)1(~)ˆ(ˆˆˆ0H0pntsctkkkkkk真)1(||2/0pnttk|)|)1((2000kkHktpntPpp/221||0/2ktt检验假设统计量.否则接受显著;线性,拒绝时,kkkkHYXHp000关系与说明：YXXXβTTp110)ˆ,,ˆ,ˆ(ˆ）（)),(~1T2X(XβNkkkkkkkkkcscβNcˆ)ˆ(),,(~ˆ,)(2-1对角元为XX%回归系数显著性t检验命令S=MSE*inv(x‘*x);%计算回归参数样本协方差矩阵T0=db./sqrt(diag(S));%每个回归参数的T统计量Ta=tinv(0.975,n-p-1);%t分布的上0.05/2分位数pp=2-2*tcdf(abs(T0),n-p-1);%每个回归参数检验P值p0k1T1T1T2))1)ˆ)ˆ(SX(XX(XX(XβMSEpnESS)ˆ(ˆ0kkkst)1(2/pnt|)|)1((2000kkHktpntPp结果判断：|T2|Tα/2(n-p-1),或者pα,拒绝假设,回归关系显著.YXXXβTTp110)ˆ,,ˆ,ˆ(ˆ）（)),(~1T2X(XβN21求回归参数置信区间证明(可不要求）看梅长林《数据分析方法》),(~ˆ2kkkkcN代替用未知，ˆ,)1,0(~ˆNckkkk).1(~)ˆ(ˆˆˆpntsctkkkkkkkk)),(~ˆ1T2X(XββN)1(~ˆ12222pnpnESS相互独立与2ˆˆ.)1(|)ˆ(ˆ|||1)|(|22置信区间求出再由kkkkkkpntstttPkkc为1)(XXT对角线第k个元素YXXXβTTp110)ˆ,,ˆ,ˆ(ˆ）（224.预测及其统计推断TpppxxxxxxXXX),,,,1(,,,,,,,,002010,0020121x令观测给定βxˆˆˆˆˆˆ0,002201100Tppxxxy.])(1[1)1(ˆ01020xXXxTTpnESSpnty的置信区间的置信度为10y.--)ˆ()(ˆ,)ˆ()1(ˆk22置信区间-置信度1kkkks1pntspnt回归参数置信区间因变量预测值因变量置信区间的预测值0---y5.建模基本步骤(1)对问题直观分析，选择因变量与自变量，作因变量与各自变量散点图，初步设定多元线性回归模型参数个数；(2)输入因变量与自变量的观测数据(y,X)调用MATMAB命令[b,bint,r,rint,s]=regress(Y,X,alpha)计算参数的估计(3)调用残差图命令rcoplot(r,rint)分析数据异常点情况；(4)作显著性检验，若检验通过，则用模型作预测；(5)对模型进一步研究：如残差的正态性检验、残差异方差检验，残差自相关性检验等.3.2多元线性回归模型1基本概念2Matlab回归分析命令1.回归模型/矩阵表示2.参数估计3.显著性检验4.预测及统计推断5.建模基本步骤1.多元回归建模命令2.多元回归辅助图形命令