各种线性回归模型原理

一元线性回归一元线性回归模型的一般形式：xy10一元线性回归方程为：xyE10)(当对Y与X进行n次独立观测后,可取得n对观测值,,,2,1),,(niyxii则有iiixy10回归分析的主要任务是通过n组样本观测值,,,2,1),,(niyxii对10,进行估计。一般用10,分别表示10,的估计值。称xy10为y关于x的一元线性回归方程（简称为回归直线方程），0为截距，1为经验回归直线的斜率。引进矩阵的形式：设nyyyy21，nxxxX11121，n21，10则一元线性回归模型可表示为：XynIVEMG2)(ar0)({条件其中nI为n阶单位阵。为了得到10,更好的性质，我们对给出进一步的假设（强假设）设n,,,21相互独立，且),,2,1(),,0(~2niNi，由此可得：nyyy,,,21相互独立，且),,2,1(),,(~210nixNyi程序代码：x=[];y=[];plot(x,y,’b*’)多元线性回归实际问题中的随机变量Y通常与多个普通变量)1(,,21pxxxp有关。对于自变量pxxx,,21的一组确定值，Y具有一定的分布，若Y的数学期望值存在，则它是Y关于pxxx,,21的函数。1212,,,(,,,)ppYxxxxxx12(,,,)pxxx是pxxx,,21的线性函数。201,~(0,)ppYbbxbxN212,,,pbbb是与pxxx,,21无关的未知参数。逐步回归分析逐步回归分析的数学模型是指仅包含对因变量Y有显著影响自变量的多元线性回归方程。为了利于变换求算和上机计算，将对其变量进行重新编号并对原始数据进行标准化处理。一、变量重新编号1、新编号数学模型令kxy，自变量个数为1k，则其数学模型为：113322110...kkkxxxxx式中，1,2,3,,n（其中n为样本个数）2)(kkxxS2)ˆ(kkUxxS2)ˆ(kkUQxxSSSjx的偏回归平方和为：jjjUcbSkx：为kx的算术平均值jb：jx的偏回归系数jjc：为逆矩阵1L对角线对应元素2回归数学模型新编号的回归数学模型为：113322110...ˆkkkxbxbxbxbbx二、标准化数学模型标准化回归数学模型是指将原始数据进行标准化处理后而建立的回归数学模型，即实质上是每个原始数据减去平均值后再除以离差平方和的方根。1、标准化回归数学模型令jjjjSxxzj=1，2，3，…，k其中：njjxnx112)(jjjjjxxlS！为离差平方和的方根注意：jjjjjjSSll,,,2它们之间的区别，即离差平方和，离差平方和的方根，方差，标准差。则回归数学模型为：113322110...ˆkkkzzzzz2、标准化回归数学模型的正规方程组标准化回归数学模型正规方程组的一般形式为：kkkkkkkkkkkkkkkkkkkkzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzn112131321211101311332323213103211233222212102111133122112101113322110..............................................................................................................................................................因为，0)(jjjSxxz，jijijjiijirSSxxxxz))((所以上述正规方程组可变为：kkkkkkkkkkkkkkkkkrrrrrrrrrrrrrrrrrrrrn11113312211113113333232131211232322212111113132121110...0.................................................................0...0...000...000这样，数据标准化处理后的估计值0，并令，则可得数据标准化处理后的回归方程数学模型的正规方程组的一般形式为：kkkkkkkkkkkkkkkkkrrrrrrrrrrrrrrrrrrrr1111331221111311333323213121123232221211111313212111........................................................................这样，数据标准化后0的估计值应为0，并jjd令，则可得：kkkkkkkkkkkkkkkkkrdrdrdrdrrdrdrdrdrrdrdrdrdrrdrdrdrdr1111331221111311333323213121123232221211111313212111........................................................................其中112111122221111211.....................kkkkkkrrrrrrrrR称为相关系数矩阵。kkkkrrrB121解此方程组，即可求出1321,,,,kdddd，故可得标准化后的回归模型为：112211...ˆkkkzdzdzdz标准化的回归模型的矩阵形式：1112221111113223211311112222211211111221211111111kkknnnkkkkkkkkkSxxSxxSxxSxxSxxSxxSxxSxxSxxSxxSxxSxxXkknkkkkkkkkkkSxxSxxSxxSxxY32111121121222111121100000000kkkkkknrrrnrrrAXXRrrr三、标准化前后回归模型的关系1、标准化前后的回归模型1）标准化前后回归模型为：113322110...ˆkkkxbxbxbxbbx2）标准化后回归模型为：112211...ˆkkkzdzdzdz2、标准化前后的偏回归系数标准化前后偏回归系数的关系可从变化过程反演得知：令jjjjSxxz代入标准化前的回归模型可得：111122221111...ˆkkkkkkkSxxdSxxdSxxdSxx整理后得：112211112211121121ˆ()kkkkkkkkkkkkkkSSSSSSxxdxdxdxdxdxdxSSSSSS113322110...ˆkkkxbxbxbxbbx将上式与标准化前的回归模型作比较，由待定系数法可知标准化前后回归模型的偏回归系数的关系为：110kjjjkjjkjxbxbdSSbj=1,2,3,…k-1于是只要求出jd，即可求出jb，今后仅讨论标准化后的回归模型。3、标准化后的各种离差平方和QkQukukkSSSSSSSSS2221111MATLAB中多元回归分析的实现：1.确定回归系数的点估计值,用命令b=regress(Y,X)2.求回归系数的点估计和区间估计,并检验回归模型,用命令:[b,bint,r,rint,stats]=regress(Y,X,alpha)3.画出残差及其置信区间,用命令:rcoplot(r,rint)符号说明12,nyyyy011(')'pbbbBXXXYb(2)alpha为显著性水平,默认为0.05；11121212221211,1ppnnnpxxxxxxXxxx(3)bint为回归系数的区间估计；(4)r与rint分别为残差及其置信区间；(5)stats是用于检验回归模型的统计量，有三个数值,第一个是相关系数2r，其值越接近于1，说明回归方程越显著;第二个是F值，FF1-alpha(p,n-p-1)时拒绝0H，F越大,说明回归方程越显著；第三个是与F对应的概率p，palpha时拒绝,回归模型成立.MATLAB中各种回归分析的实现（1）多元线性回归b=regress(Y,X)(2)一元多项式回归[p,S]=polyfit(x,y,m)(3)多元二项式回归rstool(x,y,’model’,alpha)(4)逐步回归分析stepwise(x,y,inmodel,alpha)程序：x=[];X=[ones(n,1),x];Y=[];回归分析检验[b,bint,r,rint,stats]=regress(Y,X);b,bint,stats残差分析rcoplot(r,rint)预测及作图z=b(1)+b(2)*xplot(x,Y,’k+’,x,z,’r’)逐步回归分析:例:水泥凝固时放出的热量y与水泥中4种化学成分x1、x2、x3、x4有关,今测得一组数据如下,试用逐步回归法确定一个线性模型.(1)数据输入：x1=[7111117113122111110]';x2=[26295631525571315447406668]';x3=[615886917221842398]';x4=[6052204733226442226341212]';y=[78.574.3104.387.695.9109.2102.772.593.1115.983.8113.3109.4]';x=[x1x2x3x4];(2)①先在初始模型中取全部自变量：stepwise(x,y)得图StepwisePlot和表StepwiseTable.图StepwisePlot中四条直线都是虚线,说明模型的显著性不好.从表StepwiseTable中看出变量x3和x4的显著性最差.②在图StepwisePlot中点击直线3和直线4,移去变量x3和x4.移去变量x3和x4后模型具有显著性虽然剩余标准差(RMSE)没有太大的变化,但是统计量F的值明显增大,因此新的回归模型更