多元线性回归分析简介

一、多元线性回归的估计和检验在实际问题中，往往要考虑多个自变量与一个因变量之间的相关关系．例如，一个人的身高不仅受到父亲身高的影响，还受到母亲等其他直系长辈的影响．一般地，我们需要研究p个自变量1,,pxx与因变量Y之间相关关系的数量表示。假定自变量1,,pxx与因变量Y的均值EYy之间的函数关系为011ppyxx，其中01,,,p待定，称1,,p为这个p元线性回归函数的回归系数。类似于一个自变量的情形，可以把自变量1,,pxx与因变量Y之间的相关关系表示成011ppYxx，其中随机误差项2~0,N。于是，2011~,ppYNxx其中201,,,,p均未知，201,,,,0p。一、多元线性回归模型的一般形式011ppYxx当对Y与X进行n次独立观测后,可取得n组观测值1(,,),1,2,,iipixxyin多元线性回归方程为：011()ppEyxx于是有011iipipiYxx，1,in。回归分析的主要任务是通过n组样本观测值1,,;,iipixxyni,,2,1，对01,,p进行估计。一般用ˆj表示,0,1,,jjp的估计值。称011ˆˆˆppyxx为y关于x的多元线性经验回归方程（函数），它表示p+1维空间中的一个超平面（经验回归平面）。引进矩阵的形式：设nyyyy21，1112121111ppnnpxxxxXxx，n21，01,,p则多元线性回归模型可表示为：XyMG条件nIVarE2)(0)(其中nI为n阶单位阵。为了得到01ˆˆˆ,,,p更好的性质，我们对给出进一步的假设（强假设）设n,,,21相互独立，且),0(~2Ni，（ni,,1），由此可得：nyyy,,,21相互独立，且2011~(,)iipipyNxx，（ni,,1）20,,p1二、参数,,的估计2010111(,,,)()ˆnpiipipiQyxx普通最小二乘估计(OLSE)定义离差平方和采用最小二乘法估计01,,,p的准则是：寻找01ˆˆˆ,,,p，使010101,,,ˆˆˆ(,,)min(,,,)pppQQ定理4.1＇在p元回归分析问题中，的最小二乘估计量为1ˆXXXY。2011ˆˆˆˆ,,,1pQnnp当较小时2011ˆˆˆˆ,,,pQn误差方差的估计：称011ˆˆˆˆiipipyxx为iy的回归拟合值，iiiyyeˆ为iy的残差（ni,,2,1），2011ˆˆˆ(,,,)npiiQe从整体上刻化了n组样本观测值（1,,,iipixxy）（ni,,2,1）到回归平面011ˆˆˆppyxx的距离的大小。一元回归分析中的结论全部可以推广到多元的情形中来。定理4.2＇在p元回归分析问题中，（1）ˆ服从p+1维正态分布，它的均值向量为，协方差矩阵为12XX，（2）22201222ˆ1ˆ1ˆˆˆ,,,~1pnpnQnp（3）ˆ与2ˆ（或2ˆ）相互独立。定理4.3＇在p元回归分析问题中，最小二乘估计量ˆj是j的无偏估计，0,1,,jp；2ˆ是2的无偏估计。最小二乘估计量ˆ0,1,,jjp都是样本1,,nYY的线性函数，因此它们都是线性估计。高斯-马尔科夫证明了最小二乘估计具有下列优良性质。定理4.6在p元回归分析问题中，对任意的已知常数01,,,paaa，0ˆpjjja总是待估函数0pjjja的最优线性无偏估计量。由此可知：定理4.4＇在p元回归分析问题中，最小二乘估计量ˆj是j的最优线性无偏估计量，0,1,,jp。一些有用的计算公式，类似于一元回归分析问题。记1111,1,,;nnjijiiixxjpyynn1()(),,1,,njkijjikkilxxxxjkp1()(),1,,njyijjiilxxyyjp21()nyyiilyy记矩阵111111111ppppppppllllLLllll于是，01,,,p的最小二乘估计为01111ˆˆˆˆpjjjypypyxlLl，且011ˆˆˆˆ,,,ppyyjjyjQll三、回归方程的显著性检验---F检验在p元回归分析问题中，回归系数的显著性检验问题是要检验：01:0pHF-检验是根据平方和分解公式，直接从回归效果来检验回归方程的显著性。和一元情形类似定义：总（离差）平方和：SS=2)(yyi,反映了因变量y的波动情况回归平方和：SSR=2)ˆ(yyi,是SS中由自变量的波动引起的部分，即在SS中能用自变量解释的部分。残差平方和：SSE=22)ˆ(iiieyy，由自变量之外未加控制的因素引起的，是SS中不能由自变量解释的部分。有平方和分解公式SS=SSR+SSE定理4.5＇在p元回归分析问题中，SSR与SSE相互独立，且221~(1)ESSnp；在原假设0H成立时，有221~()RSSp。因此取检验统计量F=0//1HRESSpSSnp成立时F(p,n-p-1)给定显著性水平，当F1(,1)Fpnp时，拒绝0H。111RRRREeEEpFSSMSSSpMSpMSSSSSnpMSnpSSn元线性回归方差分析表方差来源平方和自由度均方和值回归系数残差总和二、预测问题（略）例4.5（212-214、217、220页）三、非线性回归的线性化（234页）在实际问题中，自变量和因变量之间未必总是有线性的相关关系。在某些情形下，可以通过对自变量作适当的变换把一个非线性的相关关系转化成线性的相关关系，然后用线性回归来分析处理。例：4.101．对自变量作变换的常用形式有以下六种（或它们的组合）：231xtxtxtxtlntxext2．因变量是一个随机变量，对其作变换可能会导致它的分布改变，故需要慎重对待。3．在实际工作中，也常常对回归函数yfx中的自变量和因变量同时作变换，以便使它成为一个线性函数。常用形式有以下六种：（1）双曲线：1bayx，作变换11,uvyx，得线性函数uabv。（2）幂函数：byax，作变换ln,ln,lnuyvxca，得线性函数ucbv。（3）指数函数：bxyae，作变换ln,lnuyca，得线性函数ucbx。（4）倒指数函数：bxyae，作变换1ln,,lnuyvcax得线性函数ucbv。（5）对数函数：lnyabx，作变换lnvx，得线性函数yabv。（6）s型曲线：1xyabe，作变换1,xuvey，得线性函数uabv。上述做法都是把一个非线性回归分析问题变换成一元线性回归分析问题，有时也可以把它变成多元线性回归分析问题。最常见的一种情形是多项式回归问题。四、多项式回归问题即回归函数yfx是一个多项式：01,2ppyxxp，自变量与因变量之间的相关关系为01ppYxx，其中2~0,N。对自变量作变换,1,2,,jjxxjp由此即得011ppYxx，这是一个p元线性回归分析问题。