可用于判断回归方程的拟合优度

第9章相关与回归9.1简单线性相关分析9.2一元线性回归分析9.3多元线性回归与复相关分析9.4变量间非线性关系的回归9.1简单线性相关分析一、变量之间的关系确定性关系、非确定性关系1.确定性关系（函数关系）：变量之间依一定的函数形成的一一对应关系，若两个变量分别记做Y与X，则当Y与X之间存在函数关系时，X值一旦被指定，Y值就是唯一确定的。2.非确定性关系（相关关系）：两个变量之间存在某种关系，但变量Y并不是由变量X唯一确定的，它们之间没有严格的一一对应关系。两个变量之间若存在线性关系称为线性相关，存在非线性关系称为曲线相关，通常通过适当的变量变换，曲线相关可转换为线性相关。3、相关的种类（1）按相关的程度分为完全相关、不完全相关和不相关。两种依存关系的标志，其中一个标志的数量变化由另一个标志的数量变化所确定，则称完全相关，也称函数关系。两个标志彼此互不影响，其数量变化各自独立，称为不相关。两个现象之间的关系，介乎完全相关与不相关之间称不完全相关。（2）按相关的方向分为正相关和负相关正相关指相关关系表现为因素标志和结果标志的数量变动方向一致。负相关指相关关系表现为因素标志和结果标志的数量变动方向是相反的。（3）按相关的形式分为线性相关和非线性相关一种现象的一个数值和另一现象相应的数值在指教坐标系中确定为一个点，称为线性相关。（4）按影响因素的多少分为单相关和复相关。如果研究的是一个结果标志同某一因素标志相关，就称单相关。如果分析若干因素标志对结果标志的影响，称为复相关或多元相关。二、总体相关系数()()XYXYXYXXYYEXEXYEYCov(X,Y)＝在统计上衡量两个随机变量X、Y取值间相互联系的程度和方向的量是协方差Cov(X,Y)和相关系数，有1XY证明2()[()]DYXEYXEYX证:对于任意实数，有2[()][()]EYEYXEX222[()][()]2[()][()]EYEYEXEXEYEYXEX22YYXXXYXYXX令＝，则有()2XYXYXYYYXXXYXXXXXXDYX2（）22XYYYYYXX＝＝（1-）21YY由方差的性质知，（1-）0，所以三、样本相关系数2211()()11nniiiiXXYYXXYYSSnn＝；＝rYX变量和之间线性相关的程度可以用样本相关系数度量。rXYXXYYSSS公式为11()1nXYiiiSXXYYn＝（）为样本协方差r样本相关系数的另一个计算公式为：11122221111r()()nnniiiiiiinnnniiiiiiiinxyxynxxnyyr1r1相关系数的取值为：r1r1r0YXYXYXYX＝，变量和是完全正相关；＝，变量和是完全负相关；在这两种情况下，和之间的关系是函数关系。＝时，只能说明和之间不存在线性统计关系，但可能存在非线性关系xy正相关xy负相关xy曲线相关xy不相关使用年限x维修费用（元）yxy2540429160010803520927040015604640164096002560474016547600296056002536000030005800256400004000670036490000420067603657760045606900368100005400884064705600672091080811164009720合计5881203486268800457602x2y294581205811145760lxy42)58(111348l2xx274764)8120(1116268800l2yy870274764422945r•计算结果表明，机床使用年限与维修费用之间为高度正相关。四、相关系数的显著性检验01:0:0HH假设＝2r02tn21rntr实际应用中是对作变换，所以对总体系数＝的假设检验，可令（）r因为线性相关系数通常是根据样本数据计算出的，带有一定的随机性，因此要通过样本相关系数对总体相关系数作出推断。2ttr若，表明在统计上是显著的，r可作为X和Y之间是否存在线性关系的证据。2ttr若，表明在统计上是不显著的，r不能作为X和Y之间是否存在线性关系的证据。五、相关分析中应注意的问题相关系数不解释两个变量间的因果关系，它只是表明了两个变量间互相影响的程度和方向。有时两变量之间不存在相关关系，但却可能出现较高的相关系数，要警惕虚假相关导致的错误结论。第二节一元线性回归分析回归分析是通过一个或一些变量的变化来解释另一变量的变化。其内容和步骤：1.根据理论和对问题的分析判断，区分自变量和因变量。2.设法找出合适的回归模型来描述变量间的关系。3.对回归模型进行统计检验。4.利用回归模型，根据解释变量去估计、预测因变量。01,iYXu例如：分析家庭消费支出Y与可支配收入X两变量的关系二者之间有数学结构式：＝（9.3）019.3iu式中：、是总体回归参数；是随机项，表示除可支配收入以外其他影响家庭消费支出变化的因素。式（总体回）被称为归模型。一、一元线性回归的数学模型iu2是相互独立，具有相同方差的随机变量。随机干扰项的主要内容有：1.未具体列入模型但又共同影响变量的种种因素2.变量的观测误差3.随机误差4.模型的设定误差二、线性回归模型的含义1.就变量而言，线性是指Y的条件期望是X的线性函数。如：2.就参数而言，线性是指Y的条件期望是参数βi的线性函数。如：i01(|)iiEYXX是一元线性函数1201122(|,)iiiiiEYXXXX是二元线性函数1011201(|)......(|)iiniinniiiiEYXXXXEYXX，...是多元线性函数是非线性函数201(|)iiiEYXX是一元线性回归函数01(|)iiiEYXX而就不是线性函数三、样本回归模型事实上，总体Y是未知的，我们所能取得的只能是与给定X值相对应的Y的样本观测值，我们通过样本提供的信息来认识总体，找出总体回归模型的估计式。可支配收入与消费支出的简单随机样本x1x2x3x4x5x6x7x8x9x1080100120140160180200220240260样本170659095110115120140155120样本255889080118120145135145175对散点分别拟合直线，是总体回归线的估计线050100150200050100150200250300可支配收入家庭消费支出01iiiiiiYXeeY样本回归模型为：：称为残差，是样本观测值与估计值Y之间的误差。根据散点图，我们可以用样本回归直线方程对总体回归直线方程进行推断和估计。01iiX样本回归方程为：Y四、回归直线的拟合1.iiiiiXuuXu假定以给定的为条件，服从条件期望为零的正态分布，即E()=0;简记为：E()=02.(,)[()()]0()ijiijjCovuuEuEuuEuij假定各个随机干扰项之间互不相关，即假定它们之间无序列相关或自相关3.iiiiXuYuu2i假定对于每个给定的，的方差是一个常数，即各个总体具有相同方差,即D(|X)=D()=1.简单线性回归模型的统计假定4.()[()()]0iiiiiiiiuXCovuXEuEuXEX假定与不相关。即,满足以上4条假设的线性回归模型称为古典或普通线性回归模型，其参数估计所采用的最小平方法称作普通最小平方法2.简单线性回归模型的参数估计-----最小平方法0101iiiiiYXYXe设样本线性回归模型为：iiiYe由上两式得＝Y01iiiiiiiYYeYYYX就是的拟合值,＝＝为拟合误差201111nnniiiiiiiieYYYX22即＝（）＝（）＝minie要使拟合的直线“最佳”，就要使最小,2011niie分别对、的一阶偏导数等于零21011niiiiieYXXi＝-2()=021010niiiieYXi＝-2()=001201iiiiiiiiiiiYnXYXXX整理后为；+1012()()()iiiiXXYYYXXX最后得到:3.最小平方估计线和估计量的性质20101.000ˆˆ2()0ˆiiiiiiiiYXi＝性质剩余残参之和为零，即＝由公式：可得＝，即e2.iXY性质所拟合的直线通过均值点（，）,即通过样本散点图的重心，因而预测值Y的均值等于观测值的均值。010111ˆˆˆˆ()iiiiiYYXeXnn＝01111ˆˆˆˆˆiiiiXYXXYXXY＝＝（）+＝（-）111ˆiiiiYXXYYnnY＝（-）于是：2011ˆˆ2()0,0ˆiiiiiiieYXXeii由公式：＝可得X＝，3.iieX性质剩余项与解释变量不相关)0iiiXXeiiiii又由于e与解释变量的协方差为（e-e)(XX0011ˆˆ(),()EE01ˆˆ4.性质、分别是总体回归参数的无偏估计量。01222110022ˆˆ5.ˆˆ(,),(,)()()iiiiiiXNNXXXX性质、都是服从正态分布的随机变量,有:～～0101ˆˆˆˆiY在随机误差项为正态分布的假设下，由于、都是的线性组合，所以、的分布也表现为正态分布。2012222iieni在，的方差中都涉及到随机干扰项u的方差，令的估计量＝iiyYY证：令0101iiiYXuYXu对于回归模型得到：＝01011iiiiiyYYXXx1()iixuui两式相减，得到：yE22证明：（）＝iiiiieYYYYYY11()()iiiiyyuux21122112[()][(()2[()()])]iiiiiiiiiEeExuxuEEuu取其期望得：22221111()()2()()iiiiiiiiineuuxxuu对个样本观察值求剩余平方和，得：222[()]()()2()iiiiiiiEuuEuEuEuu等式右边第一项212()iiDx22222112()()iiiiiixExx于是等式右边第二项有：12201122()()()()iiiiiiiiiiiiiiiiiiiiiiiXXYYXYYxXXxxXuxuxx等式右边第三项：＝112iiiiixux21122222222211222()2[()()]2[()]2[]()22[()]2()2()iiiiiiiiiiiiiiiiiiiiiiiiiiiiiiixuxuExuuExuuxExxxuxEExxxx22222()(1)2(2)iiEenn分别代入得到：22()2iieEn于是：22所以：是总体真实方差的无偏估计量五.回归模型的检验1.拟合优度YXiYYiiYYiYY01iiYX222()ˆ()ˆ()iiiiiiiSSTYYSSRYYSSEYYSSTSSRSSE令为总离差平方和＝为回归离差平方和为剩余平方和则有：2222ˆˆ()[()()]ˆˆˆ2ˆ()()()()iiiiiiiiiiiiiiiS