逐步回归分析

回归分析MATLAB工具箱一、多元线性回归多元线性回归：ppxxy...1101、确定回归系数的点估计值：命令为：b=regress(Y,X)①b表示pbˆ...ˆˆ10②Y表示nYYYY...21③X表示npnnppxxxxxxxxxX...1..................1...12122221112112、求回归系数的点估计和区间估计、并检验回归模型：命令为：[b,bint,r,rint,stats]=regress(Y,X,alpha)①bint表示回归系数的区间估计.②r表示残差.③rint表示置信区间.④stats表示用于检验回归模型的统计量,有三个数值：相关系数r2、F值、与F对应的概率p.说明：相关系数2r越接近1,说明回归方程越显著；)1,(1knkFF时拒绝0H,F越大,说明回归方程越显著；与F对应的概率p时拒绝H0,回归模型成立.⑤alpha表示显著性水平(缺省时为0.05)3、画出残差及其置信区间.命令为：rcoplot(r,rint)例1.如下程序.解：(1)输入数据.x=[143145146147149150153154155156157158159160162164]';X=[ones(16,1)x];Y=[8885889192939395969897969899100102]';(2)回归分析及检验.[b,bint,r,rint,stats]=regress(Y,X)b,bint,stats得结果：b=bint=-16.0730-33.70711.56120.71940.60470.8340stats=0.9282180.95310.0000即7194.0ˆ,073.16ˆ10；0ˆ的置信区间为[-33.7017,1.5612],1ˆ的置信区间为[0.6047,0.834];r2=0.9282,F=180.9531,p=0.0000,我们知道p0.05就符合条件,可知回归模型y=-16.073+0.7194x成立.(3)残差分析,作残差图.rcoplot(r,rint)从残差图可以看出,除第二个数据外,其余数据的残差离零点均较近,且残差的置信区间均包含零点,这说明回归模型y=-16.073+0.7194x能较好的符合原始数据,而第二个数据可视为异常点.(4)预测及作图.z=b(1)+b(2)*xplot(x,Y,'k+',x,z,'r')二、多项式回归(一)一元多项式回归.1、一元多项式回归：1121...mmmmaxaxaxay(1)确定多项式系数的命令：[p,S]=polyfit(x,y,m)说明：x=(x1,x2,…,xn),y=(y1,y2,…,yn)；p=(a1,a2,…,am+1)是多项式y=a1xm+a2xm-1+…+amx+am+1的系数；S是一个矩阵,用来估计预测误差.(2)一元多项式回归命令：polytool(x,y,m)2、预测和预测误差估计.(1)Y=polyval(p,x)求polyfit所得的回归多项式在x处的预测值Y；(2)[Y,DELTA]=polyconf(p,x,S,alpha)求polyfit所得的回归多项式在x处的预测值Y及预测值的显著性为1-alpha的置信区间Y±DELTA；alpha缺省时为0.5.246810121416-5-4-3-2-101234ResidualCaseOrderPlotResidualsCaseNumber例1.观测物体降落的距离s与时间t的关系,得到数据如下表,求s.(关于t的回归方程2ˆctbtas)t(s)1/302/303/304/305/306/307/30s(cm)11.8615.6720.6026.6933.7141.9351.13t(s)8/309/3010/3011/3012/3013/3014/30s(cm)61.4972.9085.4499.08113.77129.54146.48解法一：直接作二次多项式回归.t=1/30:1/30:14/30;s=[11.8615.6720.6026.6933.7141.9351.1361.4972.9085.4499.08113.77129.54146.48];[p,S]=polyfit(t,s,2)得回归模型为：1329.98896.652946.489ˆ2tts解法二：化为多元线性回归.t=1/30:1/30:14/30;s=[11.8615.6720.6026.6933.7141.9351.1361.4972.9085.4499.08113.77129.54146.48];T=[ones(14,1)t'(t.^2)'];[b,bint,r,rint,stats]=regress(s',T);b,stats得回归模型为：22946.4898896.651329.9ˆtts预测及作图：Y=polyconf(p,t,S)plot(t,s,'k+',t,Y,'r')(二)多元二项式回归多元二项式回归命令：rstool(x,y,’model’,alpha)说明：x表示nm矩阵；Y表示n维列向量；alpha：显著性水平(缺省时为0.05)；model表示由下列4个模型中选择1个(用字符串输入,缺省时为线性模型)：linear(线性)：mmxxy110purequadratic(纯二次)：njjjjmmxxxy12110interaction(交叉)：mkjkjjkmmxxxxy1110quadratic(完全二次)：mkjkjjkmmxxxxy,1110例1.设某商品的需求量与消费者的平均收入、商品价格的统计数据如下,建立回归模型,预测平均收入为1000、价格为6时的商品需求量.需求量10075807050659010011060收入10006001200500300400130011001300300价格5766875439解法一：选择纯二次模型,即2222211122110xxxxy.直接用多元二项式回归：x1=[10006001200500300400130011001300300];x2=[5766875439];y=[10075807050659010011060]';x=[x1'x2'];rstool(x,y,'purequadratic')在左边图形下方的方框中输入1000,右边图形下方的方框中输入6，则画面左边的“PredictedY”下方的数据变为88.47981,即预测出平均收入为1000、价格为6时的商品需求量为88.4791.在画面左下方的下拉式菜单中选”all”,则beta、rmse和residuals都传送到Matlab工作区中.在Matlab工作区中输入命令：beta,rmse得结果：beta=110.53130.1464-26.5709-0.00011.8475rmse=4.5362故回归模型为：2221218475.10001.05709.261464.05313.110xxxxy剩余标准差为4.5362,说明此回归模型的显著性较好.解法二：将2222211122110xxxxy化为多元线性回归：X=[ones(10,1)x1'x2'(x1.^2)'(x2.^2)'];[b,bint,r,rint,stats]=regress(y,X);b,stats结果为:b=110.53130.1464-26.5709-0.00011.8475stats=0.970240.66560.0005三、非线性回归1、非线性回归：(1)确定回归系数的命令：[beta,r,J]=nlinfit(x,y,’model’,beta0)说明：beta表示估计出的回归系数；r表示残差；J表示Jacobian矩阵；x,y表示输入数据x、y分别为矩阵和n维列向量,对一元非线性回归,x为n维列向量；model表示是事先用m-文件定义的非线性函数；beta0表示回归系数的初值.(2)非线性回归命令：nlintool(x,y,’model’,beta0,alpha)2、预测和预测误差估计：[Y,DELTA]=nlpredci(’model’,x,beta,r,J)表示nlinfit或nlintool所得的回归函数在x处的预测值Y及预测值的显著性为1-alpha的置信区间Y±DELTA.例1.如下程序.解：(1)对将要拟合的非线性模型y=axbe/,建立m-文件volum.m如下：functionyhat=volum(beta,x)yhat=beta(1)*exp(beta(2)./x);(2)输入数据：x=2:16;y=[6.428.209.589.59.7109.939.9910.4910.5910.6010.8010.6010.9010.76];beta0=[82]';(3)求回归系数：[beta,r,J]=nlinfit(x',y','volum',beta0)；beta(4)运行结果：beta=11.6036-1.0641即得回归模型为：xey10641.16036.11(5)预测及作图：[YY,delta]=nlpredci('volum',x',beta,r,J)；plot(x,y,'k+',x,YY,'r')四、逐步回归1、逐步回归的命令：stepwise(x,y,inmodel,alpha)说明：x表示自变量数据,mn阶矩阵；y表示因变量数据,1n阶矩阵；inmodel表示矩阵的列数的指标,给出初始模型中包括的子集(缺省时设定为全部自变量)；alpha表示显著性水平(缺省时为0.5).2、运行stepwise命令时产生三个图形窗口：StepwisePlot,StepwiseTable,StepwiseHistory.在StepwisePlot窗口,显示出各项的回归系数及其置信区间.(1)StepwiseTable窗口中列出了一个统计表,包括回归系数及其置信区间,以及模型的统计量剩余标准差(RMSE)、相关系数(R-square)、F值、与F对应的概率P.例1.水泥凝固时放出的热量y与水泥中4种化学成分x1、x2、x3、x4有关,今测得一组数据如下,试用逐步回归法确定一个线性模型.12345678910111213序号x17111117113122111110x226295631525571315447406668x3615886917221842398x46052204733226442226341212y78.574.3104.387.695.9109.2102.772.593.1115.983.8113.3109.4解：(1)数据输入：x1=[7111117113122111110]';x2=[26295631525571315447406668]';x3=[615886917221842398]';x4=[6052204733226442226341212]';y=[78.574.3104.387.695.9109.2102.772.593.1115.983.8113.3109.4]';x=[x1x2x3x4];(2)逐步回归.①先在初始模型中取全部自变量：stepwise(x,y)得图StepwisePlot和表StepwiseTable.图StepwisePlot中四条直线都是虚线,说明模型的显著性不好.从表StepwiseTable中看出变量x3和x4的显著性最差.②在图StepwisePlot中点击直线3和直线4,移去变量x3和x4.移去变量x3和x4后模型具有显著性虽然剩余标准差(RMSE)没有太大的变化,但是统计量F的值明显增大,因此新的回归模型更好.(3)对变量y和x1、x2作线性回归.X=[ones(1