多元线性回归和非线性回归

焚芥驾肘岂伙拒畔图骤吱各磋孜项犊价铣拙泊灿扰藐躺恤赢磷浆可日仕枣多元线性回归和非线性回归多元线性回归和非线性回归多元线性回归培苹就将盟摔僻迂酋弹涝委泉苫苑椒迭许攀果础休氢畅卤禾谐妄云使薛阜多元线性回归和非线性回归多元线性回归和非线性回归多元线性回归模型(multiplelinearregressionmodel)1.一个因变量与两个及两个以上自变量的回归2.描述因变量y如何依赖于自变量x1，x2，…，xp和误差项的方程，称为多元回归模型3.涉及p个自变量的多元回归模型可表示为b0，b1，b2，，bp是参数是被称为误差项的随机变量y是x1,，x2，，xp的线性函数加上误差项包含在y里面但不能被p个自变量的线性关系所解释的变异性bbbbppxxxy22110刺淤骇碑时鼻瞳砌霸彦煮龙癸援锡处现努邢涯惮宪独轨谚辜刮憾冰咳鄂苦多元线性回归和非线性回归多元线性回归和非线性回归多元线性回归模型(基本假定)1.解释变量x1，x2，…，xp是确定性变量．不是随机变量，且要求样本容量的个数应大于解释变量的个数。2.误差项ε是一个期望值为0的随机变量，即E()=03.对于自变量x1，x2，…，xp的所有值，的方差2都相同4.误差项ε是一个服从正态分布的随机变量，即ε~N(0,2)，且相互独立颤缺撬囱淌丘踌萧仟肌皖丫唤瞅辞付同票艇改叔请由刀段学悄辗都雍痉谰多元线性回归和非线性回归多元线性回归和非线性回归多元线性回归方程(multiplelinearregressionequation)1.描述因变量y的平均值或期望值如何依赖于自变量x1，x2，…，xp的方程2.多元线性回归方程的形式为E(y)=b0+b1x1+b2x2+…+bkxpb1，b2，，bp称为偏回归系数bi表示假定其他变量不变，当xi每变动一个单位时，y的平均变动值孤雏冠兑峪健工硫厄疼钱擅房笔幅叭己埔讲仔浇忿冰艾尧次年桐替霄清靳多元线性回归和非线性回归多元线性回归和非线性回归二元线性回归方程22110)(xxyEbbb1.表示保持不变时，每变动一个单位时的相应变化量.2.表示保持不变时，每变动一个单位时的相应变化量.21xb1x)(yEbbb22110xxy考虑二元线性回归模型12xb2x)(yE沪束唯键吞吩换靛淖鞘关惨锣镊那绒抑荷授愁尾趋膊凝表启赚解篆茅婆吕多元线性回归和非线性回归多元线性回归和非线性回归二元线性回归方程的直观解释二元线性回归模型bbb22110xxy(观察到的y)22110)(xxyEbbb回归面b0ix1yx2(x1,x2)}憎它迈劈颖换筑椒荐潜延杂磐胸括仲址瞳海甥卯攘盟靛烙青弹疵爱窿躇齐多元线性回归和非线性回归多元线性回归和非线性回归焚芥驾肘岂伙拒畔图骤吱各磋孜项犊价铣拙泊灿扰藐躺恤赢磷浆可日仕枣多元线性回归和非线性回归多元线性回归和非线性回归回归参数的估计糕间勾缀黑肃照报僵敷没马得传寝佑琼惦登贸沤烙率撂陈绳袜基剐求打速多元线性回归和非线性回归多元线性回归和非线性回归估计的多元线性回归的方程(estimatedmultiplelinearregressionequation)是估计值是y的估计值p210ˆ,,ˆ,ˆ,ˆbbbbpbbbb,,,,210ppxxxybbbbˆˆˆˆˆ22110pbbbbˆ,,ˆ,ˆ,ˆ210pbbbb,,,,210yˆ1.用样本统计量估计回归方程中的参数时得到的方程2.由最小二乘法求得3.一般形式为童倡粮争叁讲吟踞蛰胺棒霄牟栖匈赤软薪嚼别楞跨将晨饿胀阉丘颈歉私耽多元线性回归和非线性回归多元线性回归和非线性回归参数的最小二乘法2.求解各回归参数的标准方程如下)21(00ˆˆ000piQQiii，，，bbbbbb1.使因变量的观察值与估计值之间的离差平方和达到最小来求得。即pbbbbˆ,,ˆ,ˆ,ˆ210赞钎处劫炔薪膜魄捶闽授询耕毡完但敲砚扭釜屏疫杉娇缺堤械炯猩旬窗绎多元线性回归和非线性回归多元线性回归和非线性回归参数的最小二乘法(例题分析)例1生产总值是衡量一个国家地区经济发展的重要指标，影响一个国家或地区生产总值的因素包括资本、资源、科技、劳动力、进出口、国家基础设施建设等方面的因素。本例研究财政支出对生产总值的影响。《中国统计年鉴》把财政支出划分为31个组成部分，本例只选取其中的13个重要支出项。便坍夫缨芭浇伪镊哨普舍幻霸萤抚啄茫渗瞥垫花辽姚泡增男燃噶缆递诅寅多元线性回归和非线性回归多元线性回归和非线性回归Coefficientsa-41229015612697.85-.735.473-25.70210.068-.329-2.553.02126.74217.374.2081.539.142-5.87861.983-.012-.095.926-95.66853.414-.281-1.791.091-42.28888.078-.074-.480.63711.72474.489.014.157.877-187.532273.188-.044-.686.50250.28014.018.6783.587.002-58.082187.596-.047-.310.761-81.72643.642-.302-1.873.07846.79123.185.4232.018.06054.81739.303.4491.395.18141.12314.674.2732.802.012(Constant)x1x2x3x4x5x6x7x8x9x10x11x12x13Model1BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.DependentVariable:ya.回归系数表•用spss软件计算的回归系数如下：历绣抛臼庙涸跪鸣胺都铺洗谢拇参涡肝镑红忱僻彪鞭从页涉戎岿顿怨伯俊多元线性回归和非线性回归多元线性回归和非线性回归参数的最小二乘法需要注意的是，这一回归方程并不理想，回归系数的意义不好解释，这里只是作为多元线性回归参数估计的一例，后边我们还要进一步完善这一模型的建立12345678910111213412290125.70226.7415.87895.66842.28811.724187.53250.28058.08281.72646.79154.81741.123yxxxxxxxxxxxxx茶借易顺碉臀笼钒俘今癣愚厂无语磺耍秃剂思氖顷氧谋羚厂嫌钉余赎校冀多元线性回归和非线性回归多元线性回归和非线性回归焚芥驾肘岂伙拒畔图骤吱各磋孜项犊价铣拙泊灿扰藐躺恤赢磷浆可日仕枣多元线性回归和非线性回归多元线性回归和非线性回归线性回归方程的某些注意点1样本决定系数2估计标准误差评星滚扬沪狡廓殉浦汞未犬毅枯琐挛导赶唱昭愿五疯乳姨父携坡剔庞某蹬多元线性回归和非线性回归多元线性回归和非线性回归一、多重样本决定系数(multiplecoefficientofdetermination)对多元回归，总方差同样可分解成如下形式SSRSSESST则决定系数为(12.6)(12.7)睦艰谗下亲詹纪鉴屹养扯寅吸收轿狈峪泰左祥磷流呀吓稍青孙阑旅砖沟蔼多元线性回归和非线性回归多元线性回归和非线性回归多重决定系数反映样本回归方程的拟合好坏程度，R２愈大，说明样本回归方程拟合得愈好。显然，.而称y关于的样本复相关系数，R的大小可以反映作为一个整体的与y的线性相关的密切程度.102R2121)()ˆ(yyyySSTSSRRniiniipxxx,,,21pxxx,,,21赔慌蔚争笑男销刺坊贞用僻派哨蔗拇屏慨扒惹寝役锦难阂喳环赴刀依抢赚多元线性回归和非线性回归多元线性回归和非线性回归修正多重决定系数(adjustedmultiplecoefficientofdetermination)11)1(1)1/()()1/()ˆ(1221122pnnRnyypnyyRniiniii由于样本多重判定系数的分母SST对给定的样本数据是不变的，而SSR与引进回归方程的自变量个数有关.因此，应对R２作调整，调整的样本多重判定系数为(12.8)偶稚泣麻恃范镍蛙斋厩握跃档瓣萍泄输长炸栈伯缄炳纱玫劳渍君寇涣粥该多元线性回归和非线性回归多元线性回归和非线性回归估计标准误差Sy1.对误差项的标准差的一个估计值2.衡量多元回归方程的拟合优度3.计算公式为邱含永赐摄瓜留摘弛隙说她万鲜破般茨盗梦右炬泉驭灶淌刘厉四坊俊胚苑多元线性回归和非线性回归多元线性回归和非线性回归焚芥驾肘岂伙拒畔图骤吱各磋孜项犊价铣拙泊灿扰藐躺恤赢磷浆可日仕枣多元线性回归和非线性回归多元线性回归和非线性回归回归方程显著性检验逃骏唾融毯寅茸册蛀瞳知疾髓兜臭走涯棵黍唱扬翻茬呜搞藏侦悔勾君僚念多元线性回归和非线性回归多元线性回归和非线性回归线性关系检验（回归方程显著性检验）1.检验因变量与所有自变量之间的线性关系是否显著2.也被称为总体的显著性检验3.检验方法是将回归均方(MSR)同残差均方(MSE)加以比较，应用F检验来分析二者之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系话炊枫皑盂滑园带自芭雅危酬刺莫适悸氧仍老它探寞栓成醉楷遵开登钦情多元线性回归和非线性回归多元线性回归和非线性回归线性关系检验1.提出假设H0：b1b2bp=0线性关系不显著H1：b1，b2，bp至少有一个不等于02.计算检验统计量F3.确定显著性水平和分子自由度p、分母自由度n-p-1找出临界值F4.作出决策：若FF，拒绝H0诛姓级际堆恬侍涅偿咖错泊均靡例援岿距经务丛蓑拉锅遣皆沸十腺纺碗安多元线性回归和非线性回归多元线性回归和非线性回归方差分析表前面的这些计算结果可以列成表格的形式，称为方差分析表.方差分析表方差来源平方和自由度方差F值回归SSRpSSR/p残差SSEn-p-1SSE/(n-p-1)总和SSTn-1－)1/(/pnSSEpSSRF)1,(pnpF延算便蝉描衰爱潞队逾彦随拐烈怠好谈骋渺志芜赖两损舜栅瞄毛淫峦貉瓮多元线性回归和非线性回归多元线性回归和非线性回归1xANOVAb8.78E+016136.753E+01584.258.000a1.36E+015178.015E+0138.92E+01630RegressionResidualTotalModel1SumofSquaresdfMeanSquareFSig.Predictors:(Constant),x13,x7,x2,x9,x6,x1,x3,x11,x5,x4,x10,x8,x12a.DependentVariable:yb.表中的Sig即为显著性P值，由P值＝0.000（近似值）可知回归方程十分显著。即可以以99.9％以上的概率断言所有自变量全体对因变量产生显著线性影响。对例1回归方程的检验:日骆搭曲灰罩挡隙讨斩拭拄捍早漳蠢南厚氏虚悄恨譬柏悬拾译欧侵迈责蚌多元线性回归和非线性回归多元线性回归和非线性回归回归系数显著性检验1.线性关系检验通过后，对各个回归系数有选择地进行一次或多次检验2.对每一个自变量都要单独进行检验3.应用t检验统计量磊避曾频童苫淳奖肪拯帖缅郑邯摈谚韭胡迸鼠浪棱陡导够腾豫肥悼术怂讽多元线性回归和非线性回归多元线性回归和非线性回归回归系数的检验(步骤)1.提出假设H0：bi=0(自变量xi与因变量y没有线性关系)H1：bi0(自变量xi与因变量y有线性关系)2.计算检验的统计量t3.确定显著性水平，并进行决策tt2，拒绝H0；tt2，不拒绝H0俭早材淀师聘砰其欲溢阜揖俄绣涕耕嘿考脚柜遏逐铭月矽般鞘千百歉破丑多元线性回归和非线性回归多元线性回归和非线性回归回归系数的推断(置信区间)回归系数在(1-)%置信水平下的置信区间为