贾俊平统计学第12章多元线性回归

12-1作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)第12章多元线性回归作者：中国人民大学统计学院贾俊平12-2作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)第12章多元线性回归12.1多元线性回归模型12.2回归方程的拟合优度12.3显著性检验12.4多重共线性12.5利用回归方程进行估计和预测12.6变量选择与逐步回归12-3作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)学习目标1.回归模型、回归方程、估计的回归方程2.回归方程的拟合优度3.回归方程的显著性检验4.多重共线性问题及其处理5.利用回归方程进行估计和预测6.变量选择与逐步回归7.用Excel进行回归分析12-4作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)12.1多元线性回归模型12.1.1多元回归模型与回归方程12.1.2估计的多元回归方程12.1.3参数的最小二乘估计12-5作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)多元回归模型与回归方程12-6作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)多元回归模型(multipleregressionmodel)1.一个因变量与两个及两个以上自变量的回归2.描述因变量y如何依赖于自变量x1，x2，…，xk和误差项的方程，称为多元回归模型3.涉及k个自变量的多元回归模型可表示为b0，b1，b2，，bk是参数是被称为误差项的随机变量y是x1,，x2，，xk的线性函数加上误差项包含在y里面但不能被k个自变量的线性关系所解释的变异性bbbbkkxxxy2211012-7作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)多元回归模型(基本假定)1.误差项ε是一个期望值为0的随机变量，即E()=02.对于自变量x1，x2，…，xk的所有值，的方差2都相同3.误差项ε是一个服从正态分布的随机变量，即ε~N(0,2)，且相互独立12-8作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)多元回归方程(multipleregressionequation)1.描述因变量y的平均值或期望值如何依赖于自变量x1，x2，…，xk的方程2.多元线性回归方程的形式为E(y)=b0+b1x1+b2x2+…+bkxkb1，b2，，bk称为偏回归系数bi表示假定其他变量不变，当xi每变动一个单位时，y的平均变动值12-9作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)二元回归方程的直观解释二元线性回归模型bbb22110xxy(观察到的y)22110)(xxyEbbb回归面b0ix1yx2(x1,x2)}12-10作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)估计的多元回归方程12-11作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)估计的多元回归的方程(estimatedmultipleregressionequation)是估计值是y的估计值kbbbbˆ,,ˆ,ˆ,ˆ210kbbbb,,,,210kkxxxybbbbˆˆˆˆˆ22110kbbbbˆ,,ˆ,ˆ,ˆ210kbbbb,,,,210yˆ1.用样本统计量估计回归方程中的参数时得到的方程2.由最小二乘法求得3.一般形式为12-12作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)参数的最小二乘估计12-13作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)参数的最小二乘法2.求解各回归参数的标准方程如下)21(00ˆˆ000kiQQiii，，，bbbbbb1.使因变量的观察值与估计值之间的离差平方和达到最小来求得。即kbbbbˆ,,ˆ,ˆ,ˆ21012-14作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)参数的最小二乘法(例题分析)【例】一家大型商业银行在多个地区设有分行，为弄清楚不良贷款形成的原因，抽取了该银行所属的25家分行2002年的有关业务数据。试建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资额x4的线性回归方程，并解释各回归系数的含义12-15作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)12.2回归方程的拟合优度12.2.1多重判定系数12.2.2估计标准误差12-16作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)多重判定系数12-17作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)多重判定系数(multiplecoefficientofdetermination)1.回归平方和占总平方和的比例2.计算公式为3.因变量取值的变差中，能被估计的多元回归方程所解释的比例12-18作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)修正多重判定系数(adjustedmultiplecoefficientofdetermination)1.用样本量n和自变量的个数k去修正R2得到2.计算公式为3.避免增加自变量而高估R24.意义与R2类似5.数值小于R212-19作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)估计标准误差Sy1.对误差项的标准差的一个估计值2.衡量多元回归方程的拟合优度3.计算公式为12-20作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)12.3显著性检验12.3.1线性关系检验12.3.2回归系数检验和推断12-21作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)线性关系检验12-22作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)线性关系检验1.检验因变量与所有自变量之间的线性关系是否显著2.也被称为总体的显著性检验3.检验方法是将回归均方(MSR)同残差均方(MSE)加以比较，应用F检验来分析二者之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系12-23作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)线性关系检验1.提出假设H0：b1b2bk=0线性关系不显著H1：b1，b2，bk至少有一个不等于02.计算检验统计量F3.确定显著性水平和分子自由度k、分母自由度n-k-1找出临界值F4.作出决策：若FF，拒绝H012-24作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)回归系数检验和推断12-25作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)回归系数的检验1.线性关系检验通过后，对各个回归系数有选择地进行一次或多次检验2.究竟要对哪几个回归系数进行检验，通常需要在建立模型之前作出决定3.对回归系数检验的个数进行限制，以避免犯过多的第Ⅰ类错误(弃真错误)4.对每一个自变量都要单独进行检验5.应用t检验统计量12-26作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)回归系数的检验(步骤)1.提出假设H0：bi=0(自变量xi与因变量y没有线性关系)H1：bi0(自变量xi与因变量y有线性关系)2.计算检验的统计量t3.确定显著性水平，并进行决策tt2，拒绝H0；tt2，不拒绝H012-27作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)回归系数的推断(置信区间)回归系数在(1-)%置信水平下的置信区间为iskntibbˆ2)1(ˆ回归系数的抽样标准差12-28作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)12.4多重共线性12.4.1多重共线性及其所产生的问题12.4.2多重共线性的判别12.4.3多重共线性问题的处理12-29作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)多重共线性及其产生的问题12-30作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)多重共线性(multicollinearity)1.回归模型中两个或两个以上的自变量彼此相关2.多重共线性带来的问题有可能会使回归的结果造成混乱，甚至会把分析引入歧途可能对参数估计值的正负号产生影响，特别是各回归系数的正负号有可能同预期的正负号相反12-31作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)多重共线性的识别12-32作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)多重共线性的识别1.检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系数进行显著性检验2.若有一个或多个相关系数显著，就表示模型中所用的自变量之间相关，存在着多重共线性12-33作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)多重共线性的识别如果出现下列情况，暗示存在多重共线性模型中各对自变量之间显著相关当模型的线性关系检验(F检验)显著时，几乎所有回归系数的t检验却不显著回归系数的正负号与预期的相反容忍度(tolerance)与方差扩大因子(varianceinflationfactor，VIF)。某个自变量的容忍度等于1减去该自变量为因变量而其他k-1个自变量为预测变量时所得到的线性回归模型的判定系数，即1-Ri2。容忍度越小，多重共线性越严重。通常认为容忍度小于0.1时，存在严重的多重共线性方差扩大因子等于容忍度的倒数，即。显然，VIF越大多重共线性就越严重。一般认为VIF大于10则认为存在严重的多重共线性。输出结果211VIFiR12-34作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)多重共线性(例题分析)【例】判别各自变量之间是否存在多重共线性贷款余额、应收贷款、贷款项目、固定资产投资额之间的相关矩阵12-35作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)多重共线性(例题分析)【例】判别各自变量之间是否存在多重共线性相关系数的检验统计量12-36作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)多重共线性(例题分析)1.t2(25-2)=2.069，所有统计量tt2(25-2)=2.069，所以均拒绝原假设，说明这4个自变量两两之间都有显著的相关关系2.由表Excel输出的结果可知，回归模型的线性关系显著(Significance-F＝1.03539E-06=0.05)。而回归系数检验时却有3个没有通过t检验(P-Value=0.074935，0.862853，0.067030=0.05)。这也暗示了模型中存在多重共线性3.固定资产投资额的回归系数为负号(-0.029193)，与预期的不一致12-37作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)多重共线性问题的处理12-38作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)多重共线性(问题的处理)1.将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关2.如果要在模型中保留所有的自变量，则应避免根据t统计量对单个参数进行检验对因变量值的推断(估计或预测)的限定在自变量样本值的范围内12-39作者：贾俊平，中国人民大学统计学院统计学STATISTICS(第五版)提示1.在建立多元线性回归模型时，不要试图引入更多的自变量，除非确实有必要2.在社会科学的研究中，由于所使用的大多数数据都是非试验性质的，因此，在某些情况下，得到的结果往往并不令人满意，但这不一定是选择的