简单线性回归ppt课件

简单线性回归本章内容第一节简单线性回归第二节线性回归的应用第三节残差分析第四节非线性回归双变量计量资料：每个个体有两个变量值总体：无限或有限对变量值样本：从总体随机抽取的n对变量值（X1,Y1）,（X2,Y2）,…,（Xn,Yn）目的：研究X和Y的数量关系方法：回归与相关简单、基本——直线回归、直线相关第一节简单线性回归英国人类学家F.Galton首次在《自然遗传》一书中，提出并阐明了“相关”和“相关系数”两个概念，为相关论奠定了基础。其后，他和英国统计学家KarlPearson对上千个家庭的身高、臂长、拃长（伸开大拇指与中指两端的最大长度）做了测量，发现：历史背景：儿子身高（Y，英寸）与父亲身高（X，英寸）存在线性关系：。也即高个子父代的子代在成年之后的身高平均来说不是更高，而是稍矮于其父代水平，而矮个子父代的子代的平均身高不是更矮，而是稍高于其父代水平。Galton将这种趋向于种族稳定的现象称之“回归”ˆ33.730.516YX“回归”已成为表示变量之间某种数量依存关系的统计学术语，相关并且衍生出“回归方程”“回归系数”等统计学概念。如研究糖尿病人血糖与其胰岛素水平的关系，研究儿童年龄与体重的关系等。为了直观地说明直线回归的概念，以15名健康人凝血酶浓度（X）与凝血时间(Y)数据（表12-1）进行回归分析，得到图12-1所示散点图（scatterplot）No.123456789101112131415X1.11.21.00.91.21.10.90.61.00.91.10.91.11.00.7Y141315151314161714161516141517在定量描述健康人凝血酶浓度（X）与凝血时间(Y)数据的数量上的依存关系时，将凝血酶浓度称为自变量(independentvariable)，用X表示；凝血时间称为因变量(dependentvariable)，用Y表示由图12-1可见，凝血时间随凝血酶浓度的增加而减低且呈直线趋势，但并非所有点子恰好全都在一直线上，此与两变量间严格的直线函数关系不同，称为直线回归（linearregression）,其方程叫直线回归方程，以区别严格意义的直线方程。回归是回归分析中最基本、最简单的一种，故又称简单回归。ˆ(121)YabX样本线回归方程ˆY为各X处Y的总体均数的估计。简单线性回归模型iiiXY1．a为回归直线在Y轴上的截距a0，表示直线与纵轴的交点在原点的上方a0，则交点在原点的下方a=0，则回归直线通过原点2.b为回归系数，即直线的斜率b0，直线从左下方走向右上方，Y随X增大而增大；b0，直线从左上方走向右下方，Y随X增大而减小；b=0，表示直线与X轴平行，X与Y无直线关系b的统计学意义是：X每增加(减)一个单位，Y平均改变b个单位回归模型的前提假设线性回归模型的前提条件是：线性(linear)独立(independent)正态(normal)等方差(equalvariance)公式（12-2）称为样本回归方程，它是对两变量总体间线性关系的一个估计。根据散点图我们可以假定，对于X各个取值，相应Y的总体均数|YX在一条直线上（图12-2），表示为|YXX残差(residual)或剩余值，即实测值Y与假定回归线上的估计值的纵向距离。求解a、b实际上就是“合理地”找到一条能最好地代表数据点分布趋势的直线。ˆYˆYY原则：最小二乘法(leastsumofsquares)，即可保证各实测点至直线的纵向距离的平方和最小回归参数的估计——最小二乘原则式中XYl为X与Y的离均差乘积和:()()()()XYlXXYYXYXYn2()()()XYXXXXYYlblXXaYbX回归参数的估计方法本例：n=15ΣX=14.7ΣX2=14.81ΣY=224ΣXY=216.7ΣY2=336898020.615)7.14(81.1415)224)(7.14(7.2162b77393.21157.14)98020.6(15224aXY9802.677393.21ˆ除了图中所示两变量呈直线关系外，一般还假定每个X对应Y的总体为正态分布，各个正态分布的总体方差相等且各次观测相互独立。这样，公式（12-2）中的ˆY实际上是X所对应Y的总体均数|YX的一个样本估计值，称为回归方程的预测值（predictedvalue）,而a、b分别为和的样本估计。1．由原始数据及散点图观察两变量间是否有直线趋势2．计算X、Y的均数X、Y，离均差平方和XXl、YYl与离均差积和XYl。解题步骤3、计算有关指标的值4、计算回归系数和截距5、列出回归方程此直线必然通过点(,)且与纵坐标轴相交于截距a。如果散点图没有从坐标系原点开始，可在自变量实测范围内远端取易于读数的值代入回归方程得到一个点的坐标，连接此点与点(,)也可绘出回归直线。X绘制回归直线XYY总体回归系数β的的统计推断样本回归系数b的标准误niixybXXss12.)(21.ˆ()2niiiyxYYsn.3.249170.249940.4999413yxs78655.0404.049994.0)(12.niixybXXss回归方程的假设检验建立样本直线回归方程，只是完成了统计分析中两变量关系的统计描述，研究者还须回答它所来自的总体的直线回归关系是否确实存在，即是否对总体有？0无论X如何取值，|YX总在一条水平线上，即0，总体直线回归方程并不成立，意即Y与X无直线关系，此时|YXY。然而在一次随机抽样中，如果所得样本为实心园点所示，则会得到一个并不等于0的样本回归系数b。b与0相差到多大可以认为具有统计学意义？可用方差分析或与其等价的t检验来回答这一问题。理解回归中方差分析的基本思想，需要对应变量Y的离均差平方和YYl作分解（如图所示）。1．方差分析Y的离均差，总变异残差回归的变异图中，任意一点P的纵坐标被回归直线Yˆ与均数Y截成三个线段，其中：)ˆ()ˆ(YYYYYY。由于P点是散点图中任取的一点，将全部数据点都按上法处理，并将等式两端平方后再求和则有数理统计可证明：222)ˆ()ˆ()(YYYYYYˆ()(YYY--åˆ)0Y=SSSSSS总回残上式用符号表示为式中总SS即2)(YY，为Y的离均差平方和，表示未考虑X与Y的回归关系时Y的总变异。回SS即2)ˆ(YY，为回归平方和。由于特定样本的均数Y是固定的，所以这部分变异由ˆiY的大小不同引起。当X被引入回归以后，正是由于iX的不同导致了ˆiiYabX不同，所以回SS反映了在Y的总变异中可以用X与Y的直线关系解释的那部分变异。b离0越远，X对Y的影响越大，回SS就越大，说明回归效果越好。YSS残即2)ˆ(YY，为残差平方和。它反应除了X对Y的线性影响之外的一切因素对Y的变异的作用，也就是在总平方和中无法用X解释的部分，表示考虑回归之后Y真正的随机误差。在散点图中，各实测点离回归直线越近，SS残也就越小，说明直线回归的估计误差越小，回归的作用越明显。上述三个平方和，各有其相应的自由度，并有如下的关系：总回残，1n总，1回，2n残以上分解可见，不考虑回归时，随机误差是Y的总变异总SS；而考虑回归以后，由于回归的贡献使原来的随机误差减小为SS残。如果两变量间总体回归关系确实存在，回归的贡献就要大于随机误差，大到何种程度时可以认为具有统计意义，可计算统计量F:MS回为回归均方MS残为残差均方。F服从自由度为回残、的F分布。式中22XYXYXXXXSSblllbl回SSMSFSSMS回回回残残残，12n回残，对0这一假设是否成立还可进行如下t检验0bbbtS，2nYXbXXSSl2YXSSSn残t检验（1）方差分析0H:0，即凝血酶浓度与凝血时间)之间无直线关系1H:0，即凝血酶浓度与凝血时间数据之间有直线关系0.05变异来源自由度SSMSFP总变异回归残差方差分析表11、26，查F界值表，得0.01P。按0.05水准拒绝0H，接受1H，可以认为尿肌酐含量与年龄之间有直线关系。（2）t检验13，查t界值表，得0.001P。按0.05水准，拒绝0H，接受1H。参数β的意义是：若自变量X增加一个单位，反因变量Y的平均值便增加βbbSbt87.878655.098020.6bt注意：Ft，即直线回归中对回归系数的t检验与F检验等价，类似于两样本均数比较可以作t检验亦可作方差分析。总体回归系数的可信区间利用上述对回归系数的t检验，可以得到β的1－α双侧可信区间为bnStb2,本例b=-6.9802,自由度=13，t0.05,13=2.16，Sb=0.78655,代入公式（12-7）得参数β的95%置信区间为=（-8.6791~-5.2813）78655.016.29802.6注意到此区间不包括0，可按0.05水准同样得到总体回归系数不为0的结论，即用区间估计回答相同时的假设检验问题。第二节线性回归的应用（估计和预测）1．总体均数|YX的可信区间（总体回归线的95%置信带）给定X的数值0X，由样本回归方程算出的0ˆY只是相应总体均数0|YX的一个点估计。0ˆY会因样本而异,存在抽样误差。给定0XX时，总体均数0|YX的(1)可信区间为0ˆ0/2,ˆYYtS2ˆ2()1()ppYXYiXXSSnXX反映其抽样误差大小的标准误为例12-1中，第一观测值X1=1.1，0.4994，0.404，代入（12.8）式获得第一观测点X1对应的的标准误为0.1599Y的总体均数的95%置信区间为14.0957±(2.16)(0.1599)＝（13.7502，14.4412）xyS.1512)(iiXX98.0X1ˆY404.0)98.01.1(15149994.02ˆ1yS实测值pX实测值pY预测Y的均值pYˆY的均值的标准误pySˆY的均值的95%置信区间pynpStYˆ2,ˆY值的95%预测区间pXYnpStY|2,ˆ残差ppYYˆ对象实测值X实测值Y预测值均值均值的标准误Y均值的95%CIY值的95%预测区间残差下限上限下限上限11.11414.09570.159913.750214.441212.961815.2297-0.095721.21313.39770.215912.931313.864112.221214.5741-0.397731.01514.79370.130014.512815.074713.677715.90970.206340.91515.49170.143615.181515.802014.368016.6155-0.491751.21313.39770.215912.931313.864112.221214.5741-0.397761.11414.09570.159913.750214.441212.961815.2297-0.095770.91615.49170.143615.181515.802014.368016.61550.508380.61717.58580.325616.882518.289216.296918.8747-0.585891.01414.79370.130014.512815.074713.677715.9097-0.7937100.91615.49170.143615.181515.802014.368016.61550.5083111.11514.09570.159913.750214.441212.961815.22970.9043120.91615.49170.143615.181515.802014.368016.61550.5083131.11