6第六章相关与回归分析-78页PPT文档

第六章回归与相关分析主要内容第一节回归与相关分析的基本概念第二节一元线性回归分析第三节多元线性回归第四节相关分析统计应用•宝丽来公司，剑桥，马萨诸塞洲•1949年，宝丽来公司创始人EdwinLand博士宣布一分钟成像技术已研发成功，公司已开展大众摄影的业务。宝丽来第一台照相机和第一卷胶卷诞生于1949年。在那以后，宝丽来公司在化学、光学和电子学方面进行试验和开发，生产出更高质量、可靠性和更为便利的摄影系统。•宝丽来公司的另一项主要业务是专门的和工业的照相技术，主要致力于宝丽来即时显像技术。这项技术在当时可视通讯环境下，逐渐成为日益增长的成像系统的主要组成部分。为此，宝丽来公司生产出大量不同种类的一次成像摄影系统、照相机、部件和胶片，以供专业摄影、工业、科学和医药应用。公司还在磁学、太阳镜、工业偏振镜、化工传统涂料和全息摄影领域有业务。用于衡量摄影材料感光度的测光计，可以提供胶片特性的信息，比如他的曝光时间范围。在宝丽来感光试验室中，科学家将一次成像胶片至于适当的温度和湿度下，使之近似于消费者购买后的保存条件，然后再将其系统的抽样检验并进行分析。为了研究宝丽来彩色专业打印胶片感光速度和保存时间的关系，宝丽来中心感光实验室抽取保存时间从1–13个月（生产之后的时间）不等的胶片。数据表明胶片感光速度随着时间增加而递减，胶片感光速度和胶片保存时间的关系可以近似用一条直线或线形关系表示出。利用回归分析，宝丽来公司建立感光速度与保存时间之间的关系式胶卷的感光速度的变动x胶卷的保存时间xy6.78.19y第一节相关与回归分析的基本概念一、函数关系与相关关系二、相关关系的种类三、相关分析与回归分析四、相关图与相关表经济变量之间的关系，大体可分为两类：确定性关系或函数关系：研究的是确定现象非随机变量间的关系。统计依赖或相关关系：研究的是非确定现象随机变量间的关系。一、函数关系与相关关系变量间的关系（函数关系）1.是一一对应的确定关系2.设有两个变量x和y，变量y随变量x一起变化，并完全依赖于x，当变量x取某个数值时，y依确定的关系取相应的值，则称y是x的函数，记为y=f(x)，其中x称为自变量，y称为因变量3.各观测点落在一条线上xy变量间的关系（函数关系）函数关系的例子某种商品的销售额(y)与销售量(x)之间的关系可表示为y=px(p为单价)圆的面积(S)与半径之间的关系可表示为S=R2企业的原材料消耗额(y)与产量(x1)、单位产量消耗(x2)、原材料价格(x3)之间的关系可表示为y=x1x2x3变量间的关系（相关关系）1.变量间关系不能用函数关系精确表达2.一个变量的取值不能由另一个变量唯一确定3.当变量x取某个值时，变量y的取值可能有几个4.各观测点分布在直线周围xy变量间的关系(相关关系）相关关系的例子商品的消费量(y)与居民收入(x)之间的关系商品销售额(y)与广告费支出(x)之间的关系粮食亩产量(y)与施肥量(x1)、降雨量(x2)、温度(x3)之间的关系收入水平(y)与受教育程度(x)之间的关系父亲身高(y)与子女身高(x)之间的关系二、相关关系的种类（一）按相关程度划分为完全相关、不完全相关和不相关。（二）按相关方向划分为正相关和负相关（三）按相关形式划分为线性相关和非线性相关（四）按按变量的多少划分为单相关、复相关、偏相关（五）按相关性质划分为真实相关和虚假相关相关关系的图示不相关负线性相关正线性相关非线性相关完全负线性相关完全正线性相关相关分析：研究现象（变量）间相互依存关系的密切程度的方法论；回归分析：通过数学模型，研究一现象（变量）对其他现象（变量）依赖关系的具体形态的方法论。三、相关分析与回归分析在回归分析中，有两种变量：被预测变量称之被解释变量（ExplainedVariable）或因变量（DependentVariable）后一些变量被称为解释变量（ExplanatoryVariable）或自变量（IndependentVariable）。第一次用统计方法来研究两个个体之间的关系的是FrancisGalton（1822-1911）。Galton的同事，KarlPearson（1857-1936）利用该方法来研究1078对父亲和儿子身高之间的关系。在上述收入-消费例中，经济理论认为居民消费支出是可支配收入的函数，即可支配收入(X)的变化是消费支出(Y)变化的原因，因此，可得如下回归模型：Y=-0.208+0.718X从回归模型可知：居民每1元的可支配收入中，将有0.718元用于消费支出。因此，如果估计其中一位居民可支配收入提高到100元，则可预测其消费支出将上升到71.556元。注意•不线性相关并不意味着不相关；•有相关关系并不意味着一定有因果关系；•相关分析研究一个变量对另一个（些）变量的统计依赖关系，但它们并不意味着一定有因果关系。•回归分析对变量的处理方法存在不对称性，即区分因变量（被解释变量）和自变量（解释变量）：前者是随机变量，后者不是；相关分析则对称地对待任何（两个）变量，两个变量都被看作是随机的。著名统计学家卡尔·皮尔逊设计了统计指标——相关系数。（线性）相关系数：当两变量间存在线性相关关系时，其相关的密切程度可用（线性）相关系数定义：总体相关系数：样本相关系数：)()(),(YVarXVarYXCov22)()())((YYXXYYXXriiii四、相关图与相关表相关关系的判断常用方法：指标法、相关表、相关图。一个10户居民的可支配收入(百元)与消费(百元)的统计资料按升序排列入下表：消费支出15203040425360657078可支配收入18254560627588929998其样本相关系数为：9878.06.78311.41344.5620r相关表相关图消费与可支配收入的相关图010203040506070809018254560627588929998可支配收入消费支出第二节一元线性回归一、一元线性回归模型二、一元线性回归模型的估计三、一元线性回归模型的检验四、一元线性回归模型的预测（一）总体回归模型与总体回归函数回归分析同样是要考察现象总体的变化特征与规律，即变量总体间的具体依赖关系。它是通过总体回归模型来表示的：式中，Yt和Xt是第t次观测值；称为总体未知参数，也叫总体回归系数，ut称为随机误差项，或随机干扰项，代表了未列入模型中其他所有因素对Y的综合性影响。tttuXY21)2,1(ii一、一元线性回归模型对总体回归模型来说，可以期望：即，对所研究对象的总体来说，对给定的X，Y平均说来与X呈线性对应关系，即Y的期望值是X的线性函数，该式称为总体回归函数(PopulationRegressionFunction,PRF)。tttXXYE21)|(（二）样本回归函数与样本回归模型总体回归函数事实上是未知的，因此需要利用样本信息对其进行估计。利用样本资料，通过样本回归模型可估计出样本回归函数(SampleRegressionFunction,SRF)：et是Y的实际观测值与其样本函数相对应点的离差，称为残差。ttxy21ˆˆtttexy21ˆˆ因此，Y的实际观测值与其期望值之差，就是随机误差项：。ut)|(ttttXYEYutttXXYE21)|(teXtttxy21ˆˆtYX如果是的良好的估计，就可用样本函数代替总体函数而研究Y与X间的关系及变化规律。因此，回归分析的主要任务就是要采用适当的方法，充分利用样本信息，使估计的样本函数尽可能地接近于真实总体回归函数。iˆi（三）随机扰动项的标准假定随机误差项ut无法直接观测，为了进行回归分析，需对其作出如下假定：假定1：零均值：假定2：同方差：假定3：无序列相关：对任何，假定4：自变量是给定变量，与随机误差项线性无关；假定5：随机误差项服从正态分布0)(tuE22)()(ttuEuVarst0)()(ststuuEuuCov回归模型的估计要求找到一种方法，使估计的样本回归函数能够尽可能地接近总体回归函数，从而作为总体回归函数的代表来描述变量间的具体相关关系。方法有多种，最小二乘法（最小平方法）是其中最简单、适用性最广的一种估计方法。二、一元线性回归模型的估计最小二乘法的基本思想：让所寻找的样本回归函数（线）上的点尽可能地接近实际观测点，即样本回归线上的点与实际观测点的离差平方和最小。可以证明，在总体随机扰动项的上述假设下，最小二乘法找到的样本回归函数是最优的（样本函数的系数满足线性性、无偏性、最小方差性）。根据最小二乘法原理，需选择适当的系数(i=1,2)，以满足：=min关于求偏导得正规方程组或标准方程组：22122)ˆˆ()(tttttxyyyeQiˆiˆ0)ˆˆ(21ttxy0)ˆˆ(21tttxyx1、样本回归函数系数的估计解上述方程组得：在上述收入-消费支出例中，2222)())(()(ˆxxyyxxxxnyxyxntttttttttxyxxnyxyyxttttttt22221ˆ)(ˆ7177.06.78314.5620ˆ22089.02.667177.03.47ˆ12、总体方差的估计为了检验样本回归函数的精度，还需估计总体随机误差项的方差，它的一个无偏估计量为：的正平方根又叫做回归估计的标准误差。在上述收入-消费例中，)2(22neSt257.12)210/(58.1002S2S3、最小二乘估计量的性质可以证明，用上述最小二乘法估计的样本回归函数的系数（称为最小二乘估计量），具有如下良好的性质：（1）线性性：样本回归系数估计量可写成Yt的线性组合；（2）无偏性：(i=1,2)（3）有效性（最小方差性）：在所有的样本系数估计量中，最小二乘估计量方差最小。iiE)ˆ(iˆ222)()ˆ(xxVart))(1()ˆ(2221xxxnVart线性回归模型的检验分二大类统计检验计量经济检验从统计学的角度检验所估计的样本回归函数的有效性从基本假设是否成立这一角度检验最小二乘估计法的适用性及其改进三、一元线性回归模型的检验显著性检验拟合优度检验统计检验：1、拟合优度检验拟合优度检验主要用来检验样本回归函数与实际观测点的“接近”程度。拟合优度检验是通过对yt的样本点距其样本均值的离差平方和的分解来进行的。)()()()(yyeyyyyyytttttt误差的分解(图示)xyyxy10ˆˆˆyyyyˆyyˆ),(iiyx对全部样本点来说，可以证明：22222)()()()(yyeyyyyyytttttt总离差平方和SST回归平方和SSR残差平方和SSE回归线上的点与样本均值离差的平方和来自残差来自样本回归线在给定样本中，SST不变，如果实际观测点离样本回归线越近，则SSR在SST中占的比重越大，因此样本拟合优度可用下面的可决系数测度：可决系数（coefficientofdetermination)的取值范围：[0，1]，越接近1，说明实际观测点离样本线越近，拟合优度越高。在上述收入-消费支出例中，拟合优度为：r2=1-100.58/413.1=0.9757SSTSSESSTSSRr122、显著性检验显著性检验包括（1）样本回归系数的显著性检验对各回归系数的显著性检验主要是要考察样本回归系数与总体回归系数的“接近程度”。由于样本回归系数的值是一个点估计值，因此需考察点估计在一定可靠程度下的误差范围，还可以考察总体参数的置信区间。计量经计学中，主要是针对总体参数是否为某一值（一般设为零）来进行显著性检验的。对各回归