气象统计方法 第五章 多元线性回归分析

气象统计方法主讲：温娜南京信息工程大学大气科学学院2014年9月本课件主要参考南信大李丽平老师的课件第五章多元线性回归（huang36）本章主要内容概述回归模型回归系数的最小二乘估计方差分析回归方程显著性检验预报因子显著性检验复相关系数预报步骤一、概述1.意义在气象统计预报中，寻找与预报量线性关系很好的单个因子是不够的，实际上某个气象要素的变化可能和前期多个因子有关，因此大部分气象统计预报中的回归分析都是用多元回归技术进行。2.基本概念多元回归就是研究一个预报量和多个预报因子之间的关系。主要讨论较为简单的多元线性回归。其分析原理与一元线性回归分析完全相同。二、回归模型假定预报量y与p个预报因子关系是线性，为研究它们之间的联系作n次抽样，则可得到如下结构表达式：(1)nnppnnnppppexxxyexxxyexxxy2211022222211021112211101其中，为p+1个待估计参数，是p个一般变量，是随机误差（相互独立变量），服从正态分布。上述模型还可以写为：(2)ixiie),0(2NeXy其中，都是向量。X是因子矩阵，即nyyy21yp10β2neee1enpnppxxxxxx1221111111X我们得到的是一组实测p个变量的样本，利用这组样本（n次抽样）对上述回归模型进行估计，得到的估计方程为多元线性回归估计方程，记为：(3)其中，是的估计值，下面讨论如何确定它们。ppbbbbxxxy22110ˆibi三、回归系数最小二乘估计和一元线性回归类似，在样本容量为n的y预报量和因子变量x的实测值中，满足线性回归方程的要求的回归系数，应是使全部的预报量观测值与回归估计值的差值平方和达到最小。即满足最小。ippiiixbxbxbby22110ˆni~1niiiyyQ12)ˆ(基本条件对一组样本资料，预报值的估计可以看成为一个向量，记为满足（3）的回归方程，也可以写为矩阵形式，即，其中，X就是因子矩阵，b为回归系数，即nyyyˆˆˆˆ21ypbbb10bXbyˆ回归估计方程组的矩阵形式预报量的观测值与回归值之差的内积就是它们的分量的差值平方和，即根据微分学原理，有00010pbQbQbQˆˆ()()()()Qyyyyy-XbyXbyy-bXy-yXbbXXb可以写成向量的形式0bXbXbbXbybyXbbyyb)()()()(Q=0yXbXbybyXb)()(XbXbXbXb2)(补充用矢量和矩阵形式表示的函数的微分补充矩阵和向量形式表示的函数的微分设x为列向量，a为列向量，为的函数，则f对x的偏微分记为1n1nxaaxfix)(21nxfxfxffx1）如果x、a及f如上面定义，则有2）如果x如上面定义，令，则axfxxfxx2f第2/3项，x---bX’y----a3）如果A为对称阵，则对x的偏微分为nnAxxfAxxAxx2)(第四项特别注意当矩阵和向量的运算结果是一行一列的矩阵时，可以表示一个多元函数；多元函数的值域是一个数量，当它表达（x1,x2…,xm)有规则运算时，用向量和矩阵运算比较方便。当多元函数f(x1,x2…,xm)表示（x1,x2…,xm)有规则运算时，它对（x1,x2…,xm）的偏导也是有规则的，可用多元函数f(X)对向量X的导数一并表示。前面的式子是采用向量和矩阵的运算表示多元函数及多元函数对自变量的导数，不能说成“矩阵和向量的求导”，因为只有函数才能对它的自变量求导数。通过分析其向量形式可得到求回归系数的标准方程组矩阵形式，即(4)展开为yXXbXniiipniippniiipniipniiiniipipniiiniiniiiniipipniiniiniiniippniiyxxbxxbxbyxxxbxxbxbyxxxbxbxbyxbxbnb112111101212112112011111211110111110求解上述方程组的方法：1)用高斯或亚当—高斯消去法，解此正规方程组得回归系数估计值b0和bk(k=1-p)2)用矩阵运算求解(逆矩阵法)如A有逆(即|A|≠0),则b的解为:b=A-1B=(X’X)-1X’Y∵Ab=B→A-1Ab=A-1BΙb=A-1B∴b=A-1B=(X’X)-1X’Y四、线性回归模型的其他两种形式1、距平形式：从（4）式可以导出代入（3）式，得到ppxbxbxbyb22110)()()(ˆ222111pppxxbxxbxxbyy令上式变为（5）yyydˆˆ111xxxdppdpxxx….dppdddxbxbxby2211ˆ对一组样本容量为n的多个距平变量数据，可类似写成回归方程的矩阵形式其中，bXyddˆdnddyyˆˆˆ1ypbb1bdnpdndnpdddpdddxxxxxxxxx212222111211dX气象上，为消除季节变化的差别或者地点的差别，经常使用距平变量研究问题。所以形如（5）式的回归方程更为常用。1）从距平变量的观测值求回归系数，同样用最小二乘法导出求回归系数的标准方程组，其矩阵形式为(6)ddddbyXXX展开得到求系数标准方程组形式为nididipnidippnididipnididipnididinidipdipnidinididinididinidipdipdinidinidiyxxbxxbxxbyxxxbxbxxbyxxxbxxbxb1121121111212122211211111112212112）有时，为书写方便，（6）式两边乘上1/n，变成各变量的协方差形式，相应的方程组写为其中，pypppppyppyppssbsbsbssbsbsbssbsbsb22112222221111122111nidildikklxxns11nididikkyyxns11plk,,2,1,通常称为因子协方差矩阵。于是（6）式可以写为。其中上面的方程组和（6）式没有本质区别，有时直接从（6）式求解，但写成上面的形式。ddXXn1SxysSbpyyxyss1s2、如果把变量变成标准化变量，即对（5）式的距平变量多元线性回归方程两边除以预报量y的标准差，得到其中，为p个变量的标准差。ypppyyysxxbsxxbsxxbsyy222111ˆpppyppyysxxssbsxxssbsxxssb2222211111is若令则可以化为标准化回归方程ykkzkkkkzkyzssbbsxxxsyyyˆˆplk,,2,1,zpzpzzzzzxbxbxby2211ˆ对一组样本容量为n的多变量数据，可类似写成标准化变量回归方程矩阵形式(7)其中，为标准化因子矩阵，为标准化回归系数向量，其中第k个分量为。zzzbXyˆzXzbzkb可用最小二乘法求出标准化回归系数向量，标准化方程组的矩阵形式为或者(8)其中，zzzzyXbXXzxyzrRbzznXXR1zzpyyynrrryXrxy121R为p个因子的相关矩阵。（8）式展开为pyzpppzpzpyzppzzyzppzzrbrbrbrrbrbrbrrbrbrbr22112222212111212111回归方程几种形式概括原始变量回归方程：距平变量回归方程：标准化变量回归方程：01122ˆkkybbxbxbx1122ˆdddkdkybxbxbx1122ˆzzzzzzzkybxbxbx四、回归问题的方差分析和一元回归问题方差分析类似，预报量的方差可以表示成回归估计值的方差（回归方差）和误差方差（残差方差）之和。22ˆ2eyySSS有时候，两边同时乘以n变成各变量离差平方和的关系。QUSyyddniiyyUyyˆˆ)ˆ(12)ˆ()ˆ()]ˆ()[()ˆ(1122ddddniniiiiiyyyyyyQyyyyddniiyyyySyy12)(上式最后一项为0。U和Q分别称为回归平方和及残差平方和，称为总离差平方和。U反映了p个因子与预报量线性关系部分。Q反映了观测值偏离回归直线的程度。yyS)ˆ(ˆ2ˆˆ)ˆ()ˆ(dddddddddyyyyyyyyy]ˆ)ˆ[(]ˆ)ˆ[(ddddddyySyyyyyy向量形式：niiniiniiiyyyyyyyyR12121)ˆ()()ˆ)((yyddddddddddddSUR)ˆˆ)((ˆˆ)ˆˆ)((ˆyyyyyyyyyyyy五复相关系数意义：上式反映了回归平方和、总离差平方和与复相关系数的关系。可见，复相关系数实际是衡量p个因子对预报量的线性解释方差的百分率，其变化在0~1之间。yySQR121）衡量一个预报量和多个预报因子之间的线性关系程度的量；2）衡量了预报因子对预报量的线性解释方差的百分率；3）R的绝对值越大，表明回归效果越好。201R调整复相关系数残差方差的无偏估计量:预报量y的方差的无偏估计量：1ˆ2pnQe1ˆ2nSyyy调整复相关系数是对总体复相关系数的估计，也是对总体回归关系的解释方差的一种估计。111ˆˆ1222nSpnQRyyye)1)(11(12Rpnn六、回归方程的显著性检验假设预报因子与预报量之间无线性关系，则回归系数应该为0。检验假设：计算统计量0:210pH1pnQpUF遵从分子自由度为p,分母自由度为n-p-1的F分布，在显著性水平下，若，认为回归方程是显著的。11122pnRpRpnSQpSUFyyyyFF七、预报值的95%置信区间eyˆ96.1ˆ1ˆpnQe八、利用回归方程进行预报的步骤1.确定预报量并选择恰当的因子。2.根据数据计算回归系数标准方程组所包含的有关统计量（因子的交叉积、矩阵协方差阵或相关矩阵，以及因子与预报量交叉积向量等）；3.求解线性方程组，定出回归系数；4.建立回归方程并进行统计显著性检验；5.利用已经给出的因子带入回归方程做出预报量的估计，求出预报值的置信区间。例1，为预报长江中下游7月降水，选取x1为当年长江中下游五站平均的1月份降水量；x2是当年2月份平均气温，n=29,由资料计算得离差阵:及74468413715193814755055446921...)..(xxyG试建立二元回归方程解：增广系数矩阵)(0A1)、k=1101239081756350554469032409081756344569110