第6.1节 一元线性回归分析

第一节一元线性回归分析第二节多元线性回归分析第三节几类一元非线性回归第六章回归分析一、一元线性回归模型二、未知参数的估计三、参数估计量的分布第6.1节一元线性回归分析四、参数的显著性检验五、预测变量之间的关系确定性关系相关关系2πrS确定性关系身高和体重相关关系相关关系的特征是:变量之间的关系很难用一种精确的方法表示出来.0、回归分析的基本思想确定性关系和相关关系的联系由于存在测量误差等原因,确定性关系在实际问题中往往通过相关关系表示出来;另一方面,当对事物内部规律了解得更加深刻时,相关关系也有可能转化为确定性关系.回归分析——处理变量之间的相关关系的一种数学方法,它是最常用的数理统计方法.线性回归分析非线性回归分析回归分析一元线性回归分析多元线性回归分析()()Yx设随机变量因变量和普通变量自变量之间存在着相关关系xY1x2x1C2C)(2x.,)(的分布函数的所对应时确定的值取表示当YxxxyF.)(YEY的数学期望考察)()(xYExY的回归函数关于xY问题的分析一、一元线性回归的数学模型)()(xYExY2,(),[()].cEEc因为对随机变量当时达到最小2(),[(())].xxYEYx所以在一切的函数中以回归函数作为的近似均方误差为最小().x在实际问题中一般未知回归分析的任务——根据试验数据估计回归函数;讨论回归函数中参数的点估计、区间估计;对回归函数中的参数或者回归函数本身进行假设检验;利用回归函数进行预测与控制等等.回归问题的一般提法.,,,,,,,,,,212121果的独立观察结处对分别是在设的一组不完全相同的值对YxxxYYYxxxxnnn.),(,),,(),,(2211是一个样本称nnYxYxYx).,(,),,(),,(2211nnyxyxyx对应的样本值记为).(xxY的回归函数关于利用样本来估计求解步骤1.推测回归函数的形式方法一根据专业知识或者经验公式确定;方法二作散点图观察.例1为研究某一化学反应过程中,温度x(oC)对产品得率Y(%)的影响,测得数据如下.温度x(oC)得率Y(%)10011012013014015016017018019045515461667074788589用MATLAB画出散点图,().xx观察散点图具有线性函数的形式x=100:10:190;y=[45,51,54,61,66,70,74,78,85,89];plot(x,y,'.r')()xx一元线性回归问题22(,),,,.xYNxx假设对于的每一个值有～都是不依赖于的未知参数2.建立回归模型(),Yx记那么220,(,).,,.YxNx～是不依赖于的未知参数一元线性回归模型的线性函数x随机误差二、未知参数的估计2211,ˆˆ()min()nniiiiiiYxYx20,(,).YxN～1122(,),(,),,(,),nnxYxYxY对于样本它满足20,(,),.iiiiiYxN～各相互独立212(,),,,,.iiYNxin于是～1.(,)的最小二乘估计使得下式成立的(,)的估计称为其最小二乘估计.ˆˆ,求Q的最小值可以利用微分法21(,)(),niiiQYx设求偏导可得120(,)()niiiQYx111211120(,)()()()()niiiinniiiinnniiiiiiiQxYxnxYxxxY正规方程组,01211niiniiniixxxn121()()ˆ,()niiiniixxYYxxˆˆ,Yx1111,.nniiiixxYYnn其中由于则方程组的解为112211ˆˆ,()()()ˆ,()),(nniiiiiinniiiiYxxxYYxxYxxxx的最小二乘估计量为度函数为的独立性可得到联合密根据nYYY,,,212211122exp()πniiiLyx2211122()exp().πnniiiyx2.(,)的最大似然估计取最大值等价于L21(,)()niiiQyx.取最小值这又回到参数最小二乘估计的情形ˆˆˆYxYx称其为关于的线性回归方程ˆˆ,yx由于ˆˆ()yyxx).,(yx几何中心回归直线通过散点图的注参数的最小二乘估计和最大似然估计等价.得到参数的估计后，我们就可以得到回归方程23.未知参数的估计20,(,).YxN～2222{[()]}()()[()]EYxEDE2,().xxY显然越小用回归函数作为的近似导致的均方误差就越小2211ˆˆˆ(YY)(Y)nneiiiiiiQx记它称为残差平方和22211ˆˆˆ[()]niiiYxn则的估计为＝2211ˆ(YY)[()]nneiiiiiiQYYxx2221112ˆ(YY)()(YY)()nnniiiiiiixxxx121()()ˆ()niiiniixxYYxx由于的估计为，则22211ˆ()()nneiiiiQYYxx因而22221111ˆˆ()()nniiiiYYxxnn例2(p193例6.2)设父亲和他们长子的身高分别为1212(,)(,,,),iixyi其观测数据为x父亲身高y长子身高656367646862706668676971686668656966686571676870Yx求关于的线性回归方程解ˆˆˆYx回归方程为将观测值代入正规方程128008118005341854107ˆˆˆˆ求解得35820476ˆˆ..＝Yx则关于的线性回归方程为35820476ˆ..Yx112111ˆˆ()ˆˆ()()nniiiinnniiiiiiinxyxxxy这个例子表明：高个子的先代会有高个子的后代，但后代的增高并不与先代的增高等量。例如父亲身高超过祖父身高6in,则儿子的身高超过父亲的身高大约为3in称这种现象为向平常高度的回归，回归一词即来源于此.这种提法最早是由高登提出的，一直沿用至今.当时高登、皮尔逊、LEE研究了1078个家庭，得到的回归方程为：05163373ˆ..Yx三、参数估计的分布1ˆ.的分布1122111()()()ˆ()()nniiiniiiiinniiiiixxYYxxYaYxxxx为了对参数估计量进行检验，需要讨论它们的分布21(),()iiiniixxaYxx其中显然相互独立，而且2~(,)iiYNxˆ因而服从正态分布，其期望值为12111()ˆ()()niinniiiiiniiiixxxEaEYaxxx22221222111()ˆ{()}()niniiinniiiiixxDaDYxxxx221ˆ~(,/())niiNxx则2ˆ.的分布2111()ˆˆ()()niiniiixxxYxYnxxˆ因而服从正态分布，其期望值为11ˆˆ()niiEEYExxxn22111()ˆ()()niiniiixxxDDYnxx22211[]()niixnxx22212211()[](())niiniixxxnxx22211ˆ~(,[])()niixNnxx则0003ˆˆˆ.,=xxYx对回归方程的分布0100221111()()ˆˆˆ()()()niniiiinniiiiixxxxxxYxYYnxxxx02111()()=()()niiniiixxxxYnxx0ˆY因而服从正态分布，其期望值为000ˆˆ()EYExx2002111()()ˆ()=()()niiniiixxxxDYDYnxx220212211()()=()(())niiniixxxxnxx220211()=()()niixxnxx22000211()ˆ~(,())()niixxYNxnxx则2222112221122122221222212222111ˆˆ()(())[()]()[()][()][()][()](1)()(1)()ˆ4.nniiiinniiiiniiiniiniiniiYYxxnnEYYEYnEYDYEYnDYEYxnxnnxnxnxx由于的分布2222112212222112221ˆ[()]()()ˆ[[()]]()[]()()()nniiiiniininiiiniiExxxxEDExxxxxxxx222211ˆ[()()](2)nniiiiEYYxxn而有2221222111221122*ˆˆˆ()ˆ=()()niiinniiiiinYxnnYYxxnn设22*ˆE则222ˆnEn故定理6.1(,)iiYx假设满足线性回归模型的条件，则22222*()ˆ~()nn222**ˆˆˆˆ,.而且分别与独立，其中是的修正估计证明参见下一节多元回归理论四、参数的显著性检验12,,,.nYYY相互独立根据前三小节的理论，给定一组观测值，就可以得其相应的回归方程。但是二者是否具有此种相关关系，需要进行必要的检验.通常检验一元线性回归模型是否成立，需要检验：(1)给定x时，Y服从正态分布且方差相等；(2)对于给定的范围，Y是x的线性函数；(3)0.本节主要讨论第二类问题，也就等价于是否为20,(,).YxN设～0100::,:.HH检验假设*2222ˆ(2)(2).eQnn～ˆ,,eQ并且相互独立因此212*ˆ()().ˆniiTxxtn～20102*ˆ,()(),ˆniiHTxxtn当为真时此时～0H则的拒绝域为221ˆ~(,/());niiNxx2212*ˆ||{||()()}ˆniitxxtn00:,.H拒绝认为回归效果显著00:,.H接受认为回归效果不显著回归效果不显著的原因分析;,)1(不可忽略的因素及随机误差外还有其他除取值的影响xY;)()2(的关系不是线性的与xYE.)3(不存在关系与xY检验例2中的回归效果是否显著,取显著性水平为0.05.解005210.,,n对＝查表得0052002521022281..()().tnt查表得3128.t002510.()tt00:,.H拒绝认为回归效果显著例3(p197例6.3).00的观察结果处对是在设YxxY20000,(0,).YxN～000ˆˆˆˆ()Yxx0Y此式为的点估计（预测）又因为0000ˆˆˆYYYx00ˆYY且与相互独立均服从正态分布，因而00ˆYY亦服从正态分布，其期望值为0000000ˆˆˆ