多元回归分析-.ppt

一、多元线性回归的数学模型二、数学模型的分析与求解三、MATLAB中回归分析的实现四、小结多元线性回归.)1(,,,21有关通常与多个普通变量实际问题中的随机变量pxxxYp.,,,,,,,,,2121的函数则它是的数学期望存在若定的分布具有一的一组确定值对于自变量ppxxxYYxxx),,,(21,,,21pxxxYxxxp的回归函数关于xY一、多元线性回归的数学模型.,,,),,,(2121的线性函数是ppxxxxxx).,0(,2110NxbxbbYpp～.,,,,,,1210无关的未知参数是与ppxxbbb多元线性回归模型.),,,,(,),,,,,(21111211是一个样本设nnpnnpyxxxyxxx用最大似然估计法估计参数.,ˆ,,ˆ,ˆ,ˆ,,ˆ,ˆ110010时当取pppbbbbbbbbbniippiixbxbbyQ12110)(达到最小.二、数学模型的分析与求解,)(12110niippiixbxbbyQ.,,2,1,0)(2,0)(2111011100pjxxbxbbybQxbxbbybQniijippiijniippii化简可得.,,11212211110111112121211110111221110niiipniippniiipniiipniipniiiniipipniiiniiniiniiniippniiniiyxxbxxbxxbxbyxxxbxxbxbxbyxbxbxbnb正规方程组引入矩阵,111212222111211npnnppxxxxxxxxxX,21nyyyY.10pbbbB正规方程组的矩阵形式YXXBX''YXXXbbbBp')'(ˆˆˆˆ110最大似然估计值ppxbxbxbbyˆˆˆˆˆ22110的估计是pppxbxbbxxx11021),,,(P元经验线性回归方程多元线性回归1.确定回归系数的点估计值,用命令:b=regress(Y,X)2.求回归系数的点估计和区间估计,并检验回归模型,用命令:[b,bint,r,rint,stats]=regress(Y,X,alpha)3.画出残差及其置信区间,用命令:rcoplot(r,rint)三、MATLAB中回归分析的实现符号说明(1),111212222111211npnnppxxxxxxxxxX,21nyyyY.')'(ˆˆˆˆ110YXXXbbbBbp.1,p取一元线性回归(2)alpha为显著性水平,默认为0.05;(3)bint为回归系数的区间估计;(4)r与rint分别为残差及其置信区间;(5)stats是用于检验回归模型的统计量,有三个数值,第一个是相关系数r2,其值越接近于1,说明回归方程越显著;第二个是F值,FF1-alpha(p,n-p-1)时拒绝H0,F越大,说明回归方程越显著;第三个是与F对应的概率p,palpha时拒绝,回归模型成立.身高143145146147149150153154腿长8885889192939395身高155156157158159160162164腿长969897969899100102例1测得16组的身高和腿长如下(单位:cm):试研究这些数据之间的关系.输入数据x=[143,145,146,147,149,150,153,154,155,156,157,158,159,160,162,164]’;X=[ones(16,1),x];Y=[88,85,88,91,92,93,93,95,96,98,97,96,98,99,100,102]’;回归分析及检验[b,bint,r,rint,stats]=regress(Y,X);b,bint,stats.7194.0ˆ,0730.16ˆ10bb.)834.0,6047.0(ˆ.1.5612)33.7071,(ˆ10的置信区间的置信区间bb.0000.0,9531.180,9282.02pFr.7194.00730.16,05.0成立回归模型xyp一元多项式回归1.确定多项式系数,用命令:[p,S]=polyfit(x,y,m)).,,,(),,,,(2121nnyyyyxxxx,),,,(1121121mmmmmaxaxaxayaaap确定多项式.,用来估计预测误差是一个矩阵S也可使用命令:polytool(x,y,m)结果产生一个交互式的画面,画面中有拟合曲线和y的置信区间,左下方的Export可以输出参数.2.预测和预测误差估计用命令:求回归多项式在x处的预测值Y.[Y,DELTA]=polyconf(p,x,S,alpha)求回归多项式在x处的预测值Y以及预测值的显著性为1-alpha的置信区间Y±DELTA,alpha的默认值是0.05.一元多项式回归可化为多元线性回归求解.Y=polyval(p,x)例2下面给出了某种产品每件平均单价Y(元)与批量x(件)之间的关系的一组数据.x202530354050y1.811.701.651.551.481.40x606570758090y1.301.261.241.211.201.18试用一元二次多项式进行回归分析.输入数据x=[20,25,30,35,40,50,60,65,70,75,80,90];y=[1.81,1.70,1.65,1.55,1.48,1.40,1.30,1.26,1.24,1.21,1.20,1.18];作二次多项式回归[p,S]=polyfit(x,y,2)预测及作图Y=polyconf(p,x,y)plot(x,y,’b+’,x,Y,’r’)作二次多项式回归[p,S]=polyfit(x,y,2)p=polyfit(x,y,2)p=0.0001-0.02252.1983Y=polyval(p,x)Y=1.79781.71341.63521.56321.49751.38481.29721.26271.23451.21261.19691.1843预测及作图Y=polyconf(p,x,y)plot(x,y,’b+’,x,Y,’r’)Y=polyconf(p,x,y)Y=1.79781.71341.63521.56321.49751.38481.29721.26271.23451.21261.19691.1843预测及作图polytool(x,y,2)预测及作图polytool(x,y,2)[p,S]=polyfit(x,y,2)；[Y,DELTA]=polyconf(p,x,S,0.05)Y=1.79781.71341.63521.56321.49751.38481.29721.26271.23451.21261.19691.1843DELTA=0.03350.03110.02990.02960.02970.03020.03020.02990.02970.02970.03050.0354化为多元线性回归X=[ones(12,1)x’(x.^2)’];X=120400125625130900135122514016001502500160360016542251704900175562518064001908100化为多元线性回归X=[ones(12,1)x’(x.^2)’];[b,bint,r,rint,stats]=regress(y’,X);b,stats与前面的结果一致.多元二项式回归rstool(x,y,’model’,alpha)其中,输入数据x,y分别为n×m矩阵和n维列向量;alpha为显著性水平,默认为0.05;model为下列四种模型中的一种,输入相应的字符串,默认为线性模型.mmxxy110:)(线性linearticpurequadra:)(纯二次mjjjjmmxxxy12110ninteractio:)(交叉mmkjkjjkmmxxxxy1110quadratic:)(完全二次mmkjkjjkmmxxxxy,1110rstool的输出是一个交互式画面,画面中有m个图形,分别给出了一个独立变量xi与y的拟合曲线,以及y的置信区间,此时其余m-1个变量取固定值.可以输入不同的变量的不同值得到y的相应值.图的左下方有两个下拉式菜单,一个用于传送回归系数、剩余标准差、残差等数据;另一个用于选择四种回归模型中的一种,选择不同的回归模型,其中剩余标准差最接近于零的模型回归效果最好.例3设某商品的需求量与消费者的平均收入、商品价格的统计数据如下,建立回归模型,预测平均收入为1000,价格为6时的商品需求量.需求量10075807050收入10006001200500300价格57668需求量659010011060收入400130011001300300价格75439选择纯二次模型,即2222211122110xxxxy数据输入x1=[1000,600,1200,500,300,400,1300,1100,1300,300];x2=[5,7,6,6,8,7,5,4,3,9];y=[100,75,80,70,50,65,90,100,110,60]';x=[x1'x2'];回归、检验与预测rstool(x,y,'purequadratic')化为多元线性回归求解x1=[1000,600,1200,500,300,400,1300,1100,1300,300];x2=[5,7,6,6,8,7,5,4,3,9];y=[100,75,80,70,50,65,90,100,110,60]';X=[ones(10,1)x1'x2'(x1.^2)'(x2.^2)'];[b,bint,r,rint,stats]=regress(y,X)回归系数的点估计以及区间估计残差及其置信区间检验回归模型的统计量;1,,9702.02回归方程显著接近于相关系数r;,26.6)5,4(6656.4095.0回归方程显著FF.,05.00005.0回归模型成立P逐步回归分析在实际问题中,影响因变量的因素很多,而这些因素之间可能存在多重共线性.为得到可靠的回归模型,需要一种方法能有效地从众多因素中挑选出对因变量贡献大的因素.如果采用多元线性回归分析,回归方程稳定性差,每个自变量的区间误差积累将影响总体误差,预测的可靠性差、精度低;另外,如果采用了影响小的变量,遗漏了重要变量,可能导致估计量产生偏倚和不一致性.选择“最优”回归方程的方法1.从所有可能的变量组合的回归方程中选择最优者;2.从包含全部变量的回归方程中逐次剔除不显著因子;3.从一个变量开始,把变量逐个引入方程;4.“有进有出”的逐步回归分析.“最优”的回归方程应该包含所有有影响的变量而不包括影响不显著的变量.逐步回归分析法在筛选变量方面比较理想,是目前较常用的方法.它从一个自变量开始,根据自变量作用的显著程度,从大到小地依次逐个引入回归方程,但当引入的自变量由于后面变量的引入而变得不显著时,要将其剔除掉.引入一个自变量或从回归方程中剔除一个自变量,为逐步回归的一步,对于每一步,都进行检验,以确保每次引入新的显著性变量前回归方程中只包含作用显著的变量.反复进行上面的过程,直到没有不显著的变量从回归方程中剔除,也没有显著变量可引入到回归方程.函数:stepwise