数学建模优秀课件回归分析曲线拟合

第十讲回归分析、线性回归和曲线估计第一部分上一讲回顾第二部分回归分析第三部分线性回归第四部分曲线估计什么是回归分析？1、重点考察一个特定的变量(因变量)，而把其他变量(自变量)看作是影响这一变量的因素，并通过适当的数学模型将变量间的关系表达出来2、利用样本数据建立模型的估计方程3、对模型进行显著性检验4、进而通过一个或几个自变量的取值来估计或预测因变量的取值回归分析回归分析的模型一、分类按是否线性分：线性回归模型和非线性回归模型按自变量个数分：简单的一元回归和多元回归二、基本的步骤利用SPSS得到模型关系式，是否是我们所要的？要看回归方程的显著性检验（F检验）回归系数b的显著性检验(T检验)拟合程度R2(注：相关系数的平方，一元回归用RSquare，多元回归用AdjustedRSquare)回归分析的过程在回归过程中包括：Liner：线性回归CurveEstimation：曲线估计BinaryLogistic：二分变量逻辑回归MultinomialLogistic：多分变量逻辑回归；Ordinal序回归；Probit：概率单位回归；Nonlinear：非线性回归；WeightEstimation：加权估计；2-StageLeastsquares：二段最小平方法；OptimalScaling最优编码回归我们只讲前面2个简单的（一般教科书的讲法）第三部分线性回归线性回归分为一元线性回归和多元线性回归。一、一元线性回归：1、涉及一个自变量的回归2、因变量y与自变量x之间为线性关系被预测或被解释的变量称为因变量(dependentvariable)，用y表示用来预测或用来解释因变量的一个或多个变量称为自变量(independentvariable)，用x表示3、因变量与自变量之间的关系用一个线性方程来表示线性回归的过程一元线性回归模型确定过程一、做散点图(Graphs-Scatter-Simple)目的是为了以便进行简单地观测（如：Salary与Salbegin的关系)。二、建立方程若散点图的趋势大概呈线性关系，可以建立线性方程，若不呈线性分布，可建立其它方程模型，并比较R2(--1)来确定一种最佳方程式（曲线估计）。多元线性回归一般采用逐步回归方法-Stepwise。(一)一元线性回归模型(linearregressionmodel)1、描述因变量y如何依赖于自变量x和误差项的方程称为回归模型2、一元线性回归模型可表示为y=b0+b1x+注：线性部分反映了由于x的变化而引起的y的变化；误差项反映了除x和y之间的线性关系之外的随机因素对y的影响，它是不能由x和y之间的线性关系所解释的变异性。Y是x的线性函数(部分)加上误差项b0和b1称为模型的参数误差项是随机变量一元线性回归模型（基本假定）1、因变量x与自变量y之间具有线性关系2、在重复抽样中，自变量x的取值是固定的，即假定x是非随机的3、误差项满足条件误差项满足条件正态性。是一个服从正态分布的随机变量，且期望值为0，即~N(0,2)。对于一个给定的x值，y的期望值为E(y)=b0+b1x方差齐性。对于所有的x值，的方差一个特定的值，的方差也都等于2都相同。同样，一个特定的x值，y的方差也都等于2独立性。独立性意味着对于一个特定的x值，它所对应的ε与其他x值所对应的ε不相关；对于一个特定的x值，它所对应的y值与其他x所对应的y值也不相关估计的回归方程(estimatedregressionequation)1.总体回归参数β0和β1是未知的，必须利用样本数据去估计2.用样本统计量和代替回归方程中的未知参数β0和β1，就得到了估计的回归方程3.一元线性回归中估计的回归方程为其中：是估计的回归直线在y轴上的截距，是直线的斜率，它表示对于一个给定的x的值，是y的估计值，也表示x每变动一个单位时，y的平均变动值xyˆˆ1b0ˆb+=0ˆbyˆˆ1bˆ1b0ˆbSPSS线性回归分析多元线性回归分析基本结构与一元线性回归相同。而他们在SPSS下的功能菜单是集成在一起的。下面通过SPSS操作步骤解释线性回归分析问题。SPSS过程步骤一：录入数据，选择分析菜单中的Regression==liner打开线性回归分析对话框；步骤二：选择被解释变量和解释变量。其中因变量列表框中为被解释变量，自变量为回归分析解释变量。注：要对不同的自变量采用不同引入方法时，选NEXT按钮把自变量归入不同自变量块中。第三步：选择个案标签。在变量列表中选择变量至个案标签中，而被选择的变量的标签用于在图形中标注点的值。第四步：选择加权二乘法（WLS）。在变量列表框中选择变量至WLS中。但是该选项仅在被选变量为权变量时选择。第五步：如果点击OK，可以执行线性回归分析操作。Method选项Enter：强迫引入法，默认选项。全部被选变量一次性进入回归模型。Stepwise：强迫剔除法。每一次引入变量时，概率F最小值的变量将引入回归方程，如果已引入回归方程的变量的F大于设定值，将被剔除回归方程。当无变量被引入或剔除，时终止回归方程Remove：剔除变量。不进入方程模型的被选变量剔除。Backward：向后消去Forward：向前引入Rule选项选择一个用于指定分析个案的选择规则的变量。选择规则包括：等于、不等于、大于、小于、大于或等于、小于或等于。Value中输入相应变量的设定规则的临界值。Statistics选项回归系数框估计值：显示回归系数的估计值β、回归系数的标准差、标准化回归系数、回归系数的β的t估计值和双尾显著性水平。置信区间协方差矩阵模型拟合：复相关系数、判定系数、调整R2、估计值的标准误及方差分析R2改变量：增加或删除一个自变量产生的改变量描述性统计量：变量的均数、标准差、相关系数矩阵、单尾检验部分及偏相关系数：显示零阶相关、偏相关、部分相关系数共线性诊断：显示变量容差、方差膨胀因子和共线性的诊断表残差统计量D-W检验统计量：显示残差相关的D-W检验和残差与预测值的综述统计。个案诊断：1、超过n倍标准差以上的个案为奇异值；2、显示所有变量的标准化残差、观测值和预测值、残差Plots选项该对话框可以分析资料的正态性、线性和方差齐性，还可以检测奇异值或异常值等。1、因变量2、标准化预测值3、标准化残差4、删除残差5、调整预测值6、Student残差7、Student删除残差Histogram：标准化残差的直方图，并给出正态曲线。Normalprobalityplot：标准化残差的正态概率图Produceallpartialplots：产生所有偏残差图，生成每个自变量残差与因变量残差的散点图。Save对话框预测值包括非标准化的预测值、标准化的预测值、调整预测值、预测值均数标准误距离包括自变量个案值与所有个案平均值距离、一个个案参与计算回归线系数时，所有个案残差变化的大小。杠杆值残差非标准化残差标准化残差Student残差删除残差Student删除残差影响统计量DFBeta值，删除一个个案后回归系数改变的大小。标准化DfBetaDfFit值，拟合值之差标准化DfFit协方差矩阵的比率预测区间平均预测区间个体预测区间Options选项逐步回归方法准则使用F显著水平值Entry：当候选变量中最大F值概率小于等于引入值时，引入相应变量。Removal:剔除相应变量实例分析例：某单位对8名女工进行体检，体检项目包括体重和肺活量，数据如下：利用回归分析描述其关系。体重4242464646505050肺活量2.552.22.752.42.82.813.413.1结果分析描述性统计量相关系数表中Pearson相关系数为0.613，单尾显著性检验的概率p值为0.000，小于0.05.所以体重和肺活量之间具有较强的相关性引入或剔除变量表表中显示回归分析的方法以及变量被剔除或引入的信息。Method项为Enter，表明显示回归方法用得是强迫引入法引入变量。这里自变量只有一个，所以此表意义不大。模型摘要两变量相关系数为0.613，判定系数为0.375，调整判定系数为0.352，估计值的标准误差为360.997方差分析表该表为回归分析的方差分析表。可以看出回归的均方为2115016.203，剩余的均方为130318.685，F检验统计量的观察值为16.230，p值为0.000小于0.05，可以认为体重和肺活量之间存在线性关系。回归系数下表给出了回归方程中的参数和常数项的估计值。其中常数项系数为405.819，回归系数为47.835，，线性回归参数的标准误差为11.874，标准化回归系数为0.613，回归系数t检验的t统计量观察值为4.029，t检验的p值为0.00，小于0.05可以认为回归系数有显著意义回归诊断下表对全部的观察单位进行回归诊断，结果表明，每一例的标准化残差、因变量观测值和预测值以及残差残差统计量表中显示了预测值、标准化预测值、残差、标准化残差等统计量的最小值、最大值、均数、标准差回归标准化残差的直方图在回归标准化残差的直方图中，正态曲线也被显示，用来判断标准化残差是否呈正态分布回归标准化的正态P-P图图中给出了观察值的残差分布与假设的正态分布比较，如果标准化残差呈正态分布，则标准化残差点应该分布在直线上或靠近直线因变量与回归标准化预测值的散点图其中横坐标变量为标准化预测值数据编辑窗口新增变量从表中可以看到非标准化预测值，非标准化残差，预测值均数的标准误差，均值的预测区间、个体预测区间。在十九世纪四、五十年代，苏格兰物理学家JamesD.Forbes，试图通过水的沸点来估计海拔高度。由于可以通过气压来估计海拔，他在阿尔卑斯山以及苏格兰收集了沸点及海拔的数据如表所示。现在通过线形回归拟合气压与沸点的关系。散点图执行【Analyze】/【Regression】/【Linear】命令,弹出【Linear】对话框程序结果解读模型拟合度检验方差分析表回归分析结果对残差统计量的分析数据中无离群值，且数据的标准差比较小，可以认为模型是健康的。残差统计量检验多元线性回归的例子某大型金融机构中做了一项关于雇员对其主管满意度的调查，其中一个问题设计为对主管的工作业绩的综合评价，另外若干个问题涉及主管与其雇员间相互关系的具体方面。该研究试图解释主管性格与雇员对其整体满意度之间的关系。雇员对其主管满意度的调查模型拟合度检验方差分析回归分析结果拟合结果为：Y=A*X1+B*X2+C**X3+D?结果解读剔除变量列表共线性检验指标共线性检验结果第四部分曲线估计基本原理两变量之间的关系并不总是以线性形式表现出来的，更多的时候呈现出非线性关系，利用图形可表示为曲线。对非线性关系无法直接通过建立线性回归模型解决。虽然如此。但仍然存在一些非线性关系可以通过变量变换化成线性关系，并最终形成变换后的线性模型。SPSS过程第一步：录入数据，选择分析菜单中的Regression==liner打开线性曲线估计对话框。第二步：选择被解释变量和解释变量第三步：选择曲线估计模型Linear：拟合直线方程，实际上与Linear过程的二元直线回归相同；Quadratic：拟合二次方程Y=b0+b1t+b2t2；Compound：拟合复合曲线模型Y=b0X（b1）t；Growth：拟合等比级数曲线模型Y=exp(b0+b1t)；Logarithmic：拟合对数方程Y=b0+b1lnt；Cubic：拟合三次方程Y=b0+b1t+b2t2+b3t3；S：拟合S形曲线Y=exp(b0+b1/t)；Exponential：拟合指数方程Y=b0exp(b1t)；Inverse：数据按Y=b0+b1/t进行变换；Power：拟合乘幂曲线模型Y=b0Xb1；Logistic：拟合Logistic曲线模型Y=1/（1/u+b0（b1）t），如选择该线型则要求输入上界。Save选项预测个案，用于设定值变量为时间序列时的预测值保存变量实例在不同温度下，对金属强度进行