管道焊接与安装施工方案

第3章多元线性回归模型§3.1模型的建立及其假定条件•1.基本概念•多元总体线性回归模型：•Y=β0+β1X1+β2X2+…+βkXk+u•多元总体线性回归方程：•E(Y)=β0+β1X1+β2X2+…+βkXk1•样本数据结构形式的多元总体线性回归模型：•Yi=β0+β1X1i+β2X2i+…+βkXki+ui,i=1,2,…,n•它是由n个方程，k+1个未知参数组成的一个线性方程组，•即•这个模型相应的矩阵表达形式是•Y=Xβ+U2nknknnnkkkkuXXXYuXXXYuXXXY2211022222121021121211101•其中3121nnYYYY121nnuuuU1)1(210kk)1(212221212111111knknnnkkXXXXXXXXXX•多元样本线性回归方程：•估计的回归方程的矩阵表达形式是：•其中4niXXXYkikiii,,2,1,ˆˆˆˆˆ22110ˆˆXY121ˆˆˆˆnnYYYY1)1(210ˆˆˆˆˆkk•2.模型的假定•（1）E(ui)=0，i=1,2,…,n•（2）Var(ui)=E(ui2)=σ2,i=1,2,…,n•（3）Cov(ui,uj)=E(uiuj)=0，i≠j,i,j=1,2,…,n•（4）Cov(Xijuj)=0(i=1,2,…,k,j=1,2,…,n)且•Cov(XkXl)=0(k≠l)。•（5）rank(X)=k+1n•（6）ui～N(0,σ2)，i=1,2,…,n5引进向量、矩阵记法后，模型的基本假定1、2、3三条，可以综合为误差向量U的方差—协方差矩阵为对角矩阵：满足这种假定的误差项称为“球形扰动”。6nnnnnnnnnIuuuuuuuuuuuuuuuEuuuuuuEUUEUEUUEUEUVar222222122212121212121),,,()(])()][([)(§3.2最小二乘法•1.参数的最小二乘估计•对于含有k个解释变量的多元线性回归模型Yi=β0+β1X1i+β2X2i+…+βKXKi+ui,i=1,2,…,n•和相应的估计的样本回归方程•根据最小二乘准则，寻找使下式达到最小的参数估计值7kikiiiXXXYˆˆˆˆˆ221102221102210)ˆˆˆˆ()ˆ()ˆ,,ˆ,ˆ(kikiiiiiikXXXYYYeQ•当Q对的一阶偏导数都等于0，即下列方程组同时成立时，Q有最小值。•对上述方程组加以整理，可得到正规方程组，正规方程组有k+1个方程，未知数也是k+1个。只要系数矩阵非奇异(满足模型假设5，解释变量之间不存在严格线性关系即可)，就可以解出的唯一的一组解，就是β0,β1,…,βK的最小二乘估计值。8kˆ,,ˆ,ˆ100)()ˆˆˆˆ(2ˆ0)()ˆˆˆˆ(2ˆ0)1()ˆˆˆˆ(2ˆ221101221101221100kikikiiikikikiiikikiiiXXXXYQXXXXYQXXXYQkˆ,,ˆ,ˆ10•用向量和矩阵的表示方法和运算，多元线性回归最小二乘估计的推导会简洁得多。先引进参数估计量、解释变量回归值和回归残差的下列向量表示：91)1(210ˆˆˆˆˆkk121ˆˆˆˆnnYYYY121nneeee•写成等价的向量方程，则为•再利用向量、矩阵的运算法则，可以得到残差平方和为10ˆˆXYˆˆˆ2ˆˆˆˆ)ˆ()ˆ()ˆ()ˆ()ˆ(22XXYXYYXXXYYXYYXYXYYYYYeeYYeQiii•其中矩阵求导：11ABBBf)(ABBBf2)(ABBf)(ABBf)(0ˆ22)ˆˆˆ2(ˆˆXXYXXXYXYYQ•整理该向量方程，得到下列形式的正规方程组•当可逆，也就是X是满秩矩阵（满足假设5）时，在上述向量方程两端左乘的逆矩阵，得到•这就是多元线性回归模型最小二乘估计的矩阵一般公式。12XXXXYXXXˆYXXX1)(ˆ•补充：矩阵的运算•（1）矩阵乘法•按住鼠标左键拖放选定存放结果的单元格区域，输入计算公式=MMULT()按Ctrl+Shift+Enter复合键确认。•（2）矩阵转置•按住鼠标左键拖放选定存放结果的单元格区域，输入计算公式=TRANSPOSE()按Ctrl+Shift+Enter复合键确认。•（3）逆矩阵•按住鼠标左键拖放选定存放结果的单元格区域，输入计算公式=MINVERSE()按Ctrl+Shift+Enter复合键确认。13§3.3最小二乘估计量的特性•1.线性性•所谓线性性是指最小二乘估计量是被解释变量Y的观测值的线性函数。•多元线性回归模型参数的最小二乘估计向量为•令则•矩阵A是一个非随机的常数矩阵。线性性得证。14YXXX1)(ˆˆXXXA1)(AYˆ•2.无偏性15)]()[(])[()ˆ(11UXXXXEYXXXEE])([)]()[(11UXXXEUXXXXXE)()(1UEXXX•3.最小方差性（有效性）16)]()[(])[()ˆ(11UXXXXVarYXXXVarVar])[(])([11UXXXVarUXXXVar12111)()(]))[(()(XXIXXXXXXXUVarXXX21)(XX•证明思路：•如果模型参数向量的任意其他线性无偏估计量(b)的协方差矩阵Var(b)，与最小二乘估计的协方差矩阵Var()之间，都满足Var(b)-Var()是半正定矩阵(Var(b)-Var()≥0)，那么最小二乘估计的最小方差性得到证明。17ˆˆˆ具体证明：因为所设b是线性无偏估计向量，因此可以表示为b=BY又因为b是无偏估计，因此E(b)=E(BY)=E[B(Xβ+U)]=E(BXβ+BU)=BXβ+BE(U)=BXβ=β所以必然有BX=I计算b的方差，有Var(b)=Var[B(Xβ+U)]=Var(β+BU)=Var(BU)=BVar(U)B’=BB’σ21819根据矩阵代数知识，任意矩阵与自身转置的乘积都是半正定矩阵，因此这意味着为半正定矩阵。这样的协方差矩阵之差也是半正定矩阵。因此多元线性回归参数的最小二乘估计是最小方差的线性无偏估计。])(][)([11XXXBXXXB1111)()()()(XXXXXXXXBXBXXXBB0)(1XXBB1)(XXBB0])([)()ˆ()(21212XXBBXXBBVarbVar])(][)([11XXXBXXXB•高斯—马尔可夫定理：•如果基本假定(1)-(5)成立，则最小二乘估计量是β的最优线性无偏估计量(BestLinearUnbiasedEstimate，简记为BLUE)，也就是说在β的所有线性无偏估计量中，具有最小方差性。20ˆˆ§3.4可决系数•1.总离差平方和的分解公式•TSS=RSS+ESS•2.多元样本可决系数•不难发现可决系数只与被解释变量的观测值以及回归残差有关，而与解释变量无直接关系。因此可以将它直接推广到多元线性回归分析，作为评价多元线性回归拟合优度的指标。21TSSESSTSSRSSR12iiiiYYeR222)(1•但是需注意：多元线性回归模型解释变量的数目有多有少，而上述可决系数R2又可以证明是解释变量数目的增函数。这意味着不管增加的解释变量是否对改善模型、拟合程度有意义，解释变量个数越多，可决系数一定会越大。因此，以这种可决系数衡量多元回归模型的拟合优度是有问题的，而且会导致片面追求解释变量数量的错误倾向。正是由于存在这种缺陷，可决系数R2在多元线性回归分析拟合优度评价方面的作用受到很大的限制。22•克服可决系数R2上述缺陷的方法，是对可决系数进行适当的调整，采用如下调整的可决系数：•用这个调整的可决系数作为评价多元回归拟合优度的评价标准，可以基本消除由于解释变量数目的差异所造成的影响，更加合理和具有可比性。23)1/()()1/(1)1/()1/(1222nYYknenTSSknESSRiiii•与R2有如下关系：•当n较大和k较小时，两者差别不大，但当n不很大而k又较大时，两者的差别是比较明显的。•(1)若k≥1，则≤R2；•(2)可能出现负值。此情形下，取=0。2411)1(122knnRR2R2R2R2R§3.5显著性检验•1.回归方程的显著性检验（F检验）•回归方程的显著性检验，是指在一定的显著性水平下，从总体上对模型中被解释变量与解释变量之间的线性关系是否显著成立进行的一种统计检验。25•F检验的步骤：•第一步：提出假设：原假设H0：β1=β2=…=βk=0。•备择假设H1：至少有一个βj不等于零(j=1,2,…,k)。•第二步：构造F统计量：•第三步：给定显著水平α,查F分布临界值Fα(k,n-k-1)26)1,(~)1/(/knkFknESSkRSSF•第四步：做出统计决策：•若F≥Fα(k,n-k-1)时，拒绝H0，接受H1，则认为在显著性水平α下，被解释变量与解释变量之间的线性相关关系显著即回归方程显著；若FFα(k,n-k-1)时，接受H0，则认为被解释变量与解释变量之间的线性相关关系不显著，即回归方程不显著。27•因为，检验统计量还可以表示为28TSSESSTSSRSSR12)1/()1(/22knRkRF•2.解释变量的显著性检验（t检验）•解释变量的显著性检验，是指在一定的显著性水平下，检验模型的解释变量是否对被解释变量有显著影响的一种统计检验。29•t检验的步骤：•第一步：提出假设：原假设H0：βi=0，备择假设H1：βi≠0。其中i=1,2,…,k•第二步：构造t统计量：•第三步：给定显著性水平α，查t分布临界值tα/2(n-k-1)。30kikntXXtiiii,,2,1),1(~)(ˆ11,12•第四步：做出统计决策：当|ti|≥tα/2(n-k-1)时，拒绝原假设H0，接受备择假设H1，认为βi显著不为零，说明解释变量Xi对被解释变量Y的线性相关关系显著；当|ti|tα/2(n-k-1)时，接受原假设H0，拒绝备择假设H1，认为βi与零没有显著差异，说明解释变量Xi对被解释变量Y的线性相关关系不显著。31•补充：相关系数分析•复相关系数：•多重样本决定系数定义为R2,•我们可以把R定义为被解释变量Y关于X1,X2,…,Xk的复相关系数。•很显然，复相关系数R反映了被解释变量Y关于一组解释变量X1,X2,…,Xk之间的线性相关程度。•简单相关系数：•解释变量Xk与Xl之间的相关系数称为简单相关系数rkl。32TSSESSTSSRSSR12§3.6预测•1.