浙大四版概率论与数理统计《一元线性回归》

一、回归分析的基本思想二、一元线性回归的数学模型三、可化为一元线性回归的问题四、小结第一节一元线性回归变量之间的关系确定性关系相关关系2πrS确定性关系身高和体重相关关系相关关系的特征是:变量之间的关系很难用一种精确的方法表示出来.一、回归分析的基本思想回归分析——处理变量之间的相关关系的一种数学方法,它是最常用的数理统计方法.线性回归分析非线性回归分析回归分析一元线性回归分析多元线性回归分析.)()(间存在着相关关系之自变量和普通变量因变量设随机变量xYxY1x2x1C2C)(2x.,)(的分布函数的所对应时确定的值取表示当YxxxyF.)(YEY的数学期望考察)()(xYExY的回归函数关于xY问题的分析二、一元线性回归的数学模型的概率密度曲线处分别是图中YxxCC2121,,)()(xYExY.])[(,)(,2达到最小时当因为对随机变量cEEc.]))([(,)(2为最小均方误差的近似作为的函数中以回归函数所以在一切xYEYxx.)(一般未知实际问题中的x回归分析的任务——根据试验数据估计回归函数;讨论回归函数中参数的点估计、区间估计;对回归函数中的参数或者回归函数本身进行假设检验;利用回归函数进行预测与控制等等.问题的一般提法.,,,,,,,,,,212121观察结果的独立处对分别是在设的一组不完全相同的值对YxxxYYYxxxxnnn.),(,),,(),,(2211是一个样本称nnYxYxYx).,(,),,(),,(2211nnyxyxyx对应的样本值记为.)(xxY的回归函数关于利用样本来估计求解步骤1.推测回归函数的形式方法一根据专业知识或者经验公式确定;方法二作散点图观察.温度x(oC)得率Y(%)10011012013014015016017018019045515461667074788589用MATLAB画出散点图例1为研究某一化学反应过程中,温度对产品得率Y(%)的影响,测得数据如下.)(oCx.)(,的形式具有线性函数观察散点图bxaxx=100:10:190;y=[45,51,54,61,66,70,74,78,85,89];plot(x,y,'.r')bxax)(一元线性回归问题.,,),,(22的未知参数都是不依赖于～的每一个值有假设对于xbabxaNYx2.建立回归模型那么记),(bxaY.,,).,0(,22的未知参数是不依赖于～xbaNbxaY一元线性回归模型的线性函数x随机误差3.未知参数a,b的估计).,0(,2NbxaY～),(,,),(,),(2211nnYxYxYx对于样本.),,0(,2相互独立各～iiiiiNbxaY.,,2,1,),(2nibxaNYii～于是度函数为的独立性可得到联合密根据nYYY,,,21221)(21expπ21iinibxayL.)(21exp)π21(122niiinbxay.,ba知参数用最大似然估计估计未函数为样本的似然对于任意一组观察值,,,,21nyyyniiinbxayL122)(21exp)π21(取最大值等价于LniiibxaybaQ12)(),(.取最小值niiiiniiixbxaybQbxayaQ110)(20)(2niiiniiniiniiniiyxbxaxybxna112111)()()(正规方程组,0)(121211niiniiniiniixxnxxxn,)())((ˆ121niiniiixxyyxxb,ˆˆxbya.1,111niiniiynyxnx其中bxax)(xbaxˆˆ)(ˆ的经验回归函数关于xYxbayˆˆˆ的经验回归方程关于xY简称回归方程，其图形称为回归直线,ˆˆxbya由于),(ˆˆxxbyy).,(yx几何中心回归直线通过散点图的,)(12niixxxxL记,)(12niiyyyyL,))((1niiixyyyxxL,ˆxxxyLLb.ˆˆ)1(1ˆ11bxybxnynaniinii例2例1中的随机变量Y符合一元线性回归模型所述的条件,求Y关于x的线性回归方程.温度x(oC)得率Y(%)10011012013014015016017018019045515461667074788589在MATLAB中求解x=100:10:190;y=[45,51,54,61,66,70,74,78,85,89];polytool(x,y,1,0.05)源程序程序运行结果.48303.073935.2ˆ73935.248303.01450101673101ˆ,48303.0ˆ,3985,8250xyaLLbLLxxxyxyxx回归直线的方程为从而的估计量。用最小二乘法求不服从正态分布，则采若ba,*.ˆ,ˆˆ,),(,)(),(,1212xxxyniiiniiiiiLLbxbyababaQbxaybaQbxaY为的估计值达到最小值的由最小二乘法，得到使令由所得结果相同。估计法最小二乘法和极大似然服从正态分布，则采用若*的估计未知参数2.4).,0(,2NbxaY～.)]([)()(})]({[2222EDEbxaYE.)(,2小似导致的均方误差就越的近作为用回归函数越小Ybxax,ˆˆˆˆixxixbayyiiiyyˆ处的残差ixniiiniiiexbayyyQ1212)ˆˆ()ˆ(残差平方和niiiniiiexxbyyyyQ1212)](ˆ[)ˆ(.ˆxyyyLbL,)())((ˆ121niiniiixxYYxxbxbYaˆˆ的估计量为ab,.1,111niiniiYnYxnx其中,)(12niiYYYYL记　.))((1niiixYYYxxL的相应的统计量为残差平方和eQ.ˆxYYYeLbLQ),2(22nQe～可以证明　　.)2(,2)(22nQEnQEee从而.ˆ212ˆ22xYYYeLbLnnQ的无偏估计量为例3求例2中方差的无偏估计.,2236.7)(1012iieresidualsQ.9030.082236.7ˆ25.线性假设的显著性检验).,0(,2NbxaY～.0:,0::10bHbH检验假设),,(ˆ2xxLbNb～).2(ˆ)2(2222nQne～因此相互独立并且,,ˆeQb).2(ˆˆntLbbxx～),2(ˆˆ,00ntLbtbHxx～此时为真时当的拒绝域为得并且0,0)ˆ(HbbE).2(ˆˆ2ntLbtxx.,0:0认为回归效果显著拒绝bH.,0:0认为回归效果不显著接受bH回归效果不显著的原因分析:;,)1(他不可忽略的因素及随机误差外还有其除取值的影响xY;)()2(的关系不是线性的与xYE.)3(不存在关系与xY。检验法和相关系数检验其它的检验法还有：F例4检验例2中的回归效果是否显著,取显著性水平为0.05.解已知,9030.0ˆ,8250,4830.0ˆ2xxLb.3060.2)8()2(025.0205.0tnt查表得,25.4682509030.04830.0t).8(025.0tt.,0:0认为回归效果显著拒绝bH6.系数b的置信区间.,作区间估计对系数当回归效果显著时b的置信区间为的置信水平为系数1b.ˆ)2(ˆ2xxLntb.95.01,的置信区间的置信水平为中求例例如b).50712.0,45894.0(82509030.03060.24830.0的置信区间b的置信区间a7.Y的观察值的点预测和预测区间.00的观察结果处对是在设YxxY).,0(,20000NbxaY～000ˆˆ)(ˆˆxbaxY的点预测0Y,1给定置信水平为xxLxxnntY2020)(11ˆ)2(ˆxxLxxnntxba2020)(11ˆ)2(ˆˆ或　　　的预测区间的置信水平为10YNO例5(续例2);95.0125,95.0)125(125)((1)0的预测区间的置信水平为新观察值的处求在的置信区间的置信水平为处的值在求回归函数YYxxx.95.0(2)00的预测区间为的置信水平的新观察值处求在YYxx解(1)已知.145,9030.0ˆ,8250,7394.2ˆ,4830.0ˆ2xSabxx.3060.2)8()2(025.0205.0tnt查表得计算,64.57ˆˆ1250xYY,84.0)(1ˆ)2(202xxLxxnnt.34.2)(11ˆ)2(202xxLxxnnt的置信区间为为的置信水平处的值在回归函数95.0)125(125)(xx预测区间为的的置信水平为的新观察值处在95.012500YYx).84.064.57().34.264.57((2)在MATLAB中求解的取值x测区间的观察值的点预测和预Y输出参数回归直线21LL和曲线方法——通过适当的变量变换,化成一元线性回归问题进行分析处理.).,0(ln,e.12NYx～两边取对数.lnlnlnxY).,0(','''2NbxaY～三、可化为一元线性回归的问题).,0(ln,.22NxY～两边取对数.lnlnlnlnxY).,0(','''2NbxaY～).,0(,)(.32NxhY～).,0(,'2NbxaY～曲线回归方程例6表9.18是1957年美国旧轿车价格的调查资料,今以x表示轿车的使用年数,Y表示相应的平均价格(以美元计),求Y关于x的回归方程.表9.18年数x价格Y123456789102651194314941087765538484290226204在MATLAB中求解首先作散点图x=1:1:10;y=[2651,1943,1494,1087,765,538,484,290,226,204];plot(x,y,'.r')12345678910050010001500200025003000选择模型).,0(ln,e2NYx～'.ln,',,ln,'lnxxbaYY令变量变换).,0(','''2NbxaY～数据变换xx=x;yy=log(y);求回归方程polytool(xx,yy,1).1646.8ˆ,2977.0ˆab.1646.82977.0'ˆxy线性假设的显著性检验.3060.2)8(3693.32ˆˆ205.0tLbtxx线性回归效果高度显著.代回原变量,得曲线回归方程)1646.82977.0exp()'ˆexp(ˆxyy.3.35142977.0xe四、小结1.回归分析的任务2.一元线性回归的步骤3.可化为一元线性回归的问题研究变量之间的相关关系(1)推测回归函数;(2)建立回归模型;(3)估计未知参数;(4)进行假设检验;(5)预测与控制.关键:选择适当的变量代换.