线性回归推导及实例

数据点基本落在一条直线附近。这告诉我们，变量X与Y的关系大致可看作是线性关系，即它们之间的相互关系可以用线性关系来描述。但是由于并非所有的数据点完全落在一条直线上，因此X与Y的关系并没有确切到可以唯一地由一个X值确定一个Y值的程度。其它因素，诸如其它微量元素的含量以及测试误差等都会影响Y的测试结果。如果我们要研究X与Y的关系，可以作线性拟合（2-1-1）我们称（2-1-1）式为回归方程，a与b是待定常数，称为回归系数。从理论上讲，（2-1-1）式有无穷多组解，回归分析的任务是求出其最佳的线性拟合。二、最小二乘法原理如果把用回归方程计算得到的i值(i=1,2,…n)称为回归值，那么实际测量值yi与回归值i之间存在着偏差，我们把这种偏差称为残差，记为ei(i=1,2,3,…,n)。这样，我们就可以用残差平方和来度量测量值与回归直线的接近或偏差程度。残差平方和定义为:(2-1-2)所谓最小二乘法，就是选择a和b使Q(a,b)最小，即用最小二乘法得到的回归直线是在所有直线中与测量值残差平方和Q最小的一条。由(2-1-2)式可知Q是关于a,b的二次函数，所以它的最小值总是存在的。下面讨论的a和b的求法。三、正规方程组根据微分中求极值的方法可知，Q(a,b)取得最小值应满足(2-1-3)由(2-1-2)式，并考虑上述条件，则(2-1-4)(2-1-4)式称为正规方程组。解这一方程组可得(2-1-5)其中(2-1-6)(2-1-7)式中，Lxy称为xy的协方差之和，Lxx称为x的平方差之和。如果改写(2-1-1)式，可得(2-1-8)或(2-1-9)由此可见，回归直线是通过点的，即通过由所有实验测量值的平均值组成的点。从力学观点看，即是N个散点的重心位置。现在我们来建立关于例1的回归关系式。将表2-1-1的结果代入(2-1-5)式至(2-1-7)式，得出a=1231.65b=-2236.63因此，在例1中灰铸铁初生奥氏体析出温度(y)与氮含量(x)的回归关系式为y=1231.65-2236.63x四、一元线性回归的统计学原理如果X和Y都是相关的随机变量，在确定x的条件下，对应的y值并不确定，而是形成一个分布。当X取确定的值时，Y的数学期望值也就确定了，因此Y的数学期望是x的函数，即E(Y|X=x)=f(x)(2-1-10)这里方程f(x)称为Y对X的回归方程。如果回归方程是线性的，则E(Y|X=x)=α+βx(2-1-11)或Y=α+βx+ε(2-1-12)其中ε―随机误差从样本中我们只能得到关于特征数的估计，并不能精确地求出特征数。因此只能用f(x)的估计式来取代（2-1-11）式，用参数a和b分别作为α和β的估计量。那么，这两个估计量是否能够满足要求呢？1.无偏性把(x,y)的n组观测值作为一个样本，由样本只能得到总体参数α和β的估计值。可以证明，当满足下列条件：(1)(xi,yi)是n个相互独立的观测值(2)εi是服从分布的随机变量则由最小二乘法得到的a与b分别是总体参数α和β的无偏估计，即E(a)=αE(b)=β由此可推知E()=E(y)即y是回归值在某点的数学期望值。2.a和b的方差可以证明，当n组观测值(xi,yi)相互独立，并且D(yi)=σ2,时，a和b的方差为(2-1-13)(2-1-14)以上两式表明，a和b的方差均与xi的变动有关，xi分布越宽，则a和b的方差越小。另外a的方差还与观测点的数量有关，数据越多，a的方差越小。因此，为提高估计量的准确性，xi的分布应尽量宽，观测点数量应尽量多。建立多元线性回归方程，实际上是对多元线性模型（2-2-4）进行估计，寻求估计式（2-2-3）的过程。与一元线性回归分析相同，其基本思想是根据最小二乘原理，求解使全部观测值与回归值的残差平方和达到最小值。由于残差平方和（2-2-5）是的非负二次式，所以它的最小值一定存在。根据极值原理，当Q取得极值时，应满足由（2-2-5）式，即满足（2-2-6）(2-2-6）式称为正规方程组。它可以化为以下形式（2-2-7）如果用A表示上述方程组的系数矩阵可以看出A是对称矩阵。则有（2-2-8）式中X是多元线性回归模型中数据的结构矩阵，是结构矩阵X的转置矩阵。(2-2-7)式右端常数项也可用矩阵D来表示即因此(2-2-7)式可写成Ab=D（2-2-10）或（2-2-11）如果A满秩（即A的行列式）那么A的逆矩阵A-1存在，则由(2-10)式和(2-11)式得的最小二乘估计为（2-2-12）也就是多元线性回归方程的回归系数。为了计算方便往往并不先求，再求b，而是通过解线性方程组(2-2-7)来求b。(2-2-7)是一个有p+1个未知量的线性方程组，它的第一个方程可化为（2-2-13）式中（2-2-14）将（2-2-13）式代入（2-2-7）式中的其余各方程，得（2-2-15）其中（2-2-16）将方程组（2-2-15）式用矩阵表示，则有Lb=F（2-2-17）其中于是b=L-1F（2-2-18）因此求解多元线性回归方程的系数可由（2-2-16）式先求出L，然后将其代回（2-2-17）式中求解。求b时，可用克莱姆法则求解，也可通过高斯变换求解。如果把b直接代入（2-2-18）式，由于要先求出L的逆矩阵，因而相对复杂一些。例2-2-1表2-2-1为某地区土壤内含植物可给态磷(y)与土壤内所含无机磷浓度(x1)、土壤内溶于K2CO3溶液并受溴化物水解的有机磷浓度(x2)以及土壤内溶于K2CO3溶液但不溶于溴化物的有机磷(x3)的观察数据。求y对x1,x2,x3的线性回归方程。表2-2-1土壤含磷情况观察数据计算如下：由(2-2-16)式代入(2-2-15)式得（2-2-19）若用克莱姆法则解上述方程组，则其解为（2-2-20）其中计算得b1=1.7848，b2=-0.0834，b3=0.1611回归方程为应用克莱姆法则求解线性方程组计算量偏大，下面介绍更实用的方法——高斯消去法和消去变换。在上一节所介绍的非线性回归分析，首先要求我们对回归方程的函数模型做出判断。虽然在一些特定的情况下我们可以比较容易地做到这一点,但是在许多实际问题上常常会令我们不知所措。根据高等数学知识我们知道，任何曲线可以近似地用多项式表示，所以在这种情况下我们可以用多项式进行逼近，即多项式回归分析。一、多项式回归方法假设变量y与x的关系为p次多项式，且在xi处对y的随机误差(i=1,2,…,n)服从正态分布N(0,)，则令xi1=xi,xi2=xi2，…，xip=xip则上述非线性的多项式模型就转化为多元线性模型，即这样我们就可以用前面介绍的多元线性回归分析的方法来解决上述问题了。其系数矩阵、结构矩阵、常数项矩阵分别为(2-4-11)(2-4-12)(2-4-13)回归方程系数的最小二乘估计为(2-4-14)需要说明的是，在多项式回归分析中，检验bj是否显著，实质上就是判断x的j次项xj对y是否有显著影响。对于多元多项式回归问题，也可以化为多元线性回归问题来解决。例如，对于(2-4-15)令xi1=Zi1,xi2=Zi2,xi3=Zi12,xi4=Zi1Zi2,xi5=Zi22则(2-4-15)式转化为转化后就可以按照多元线性回归分析的方法解决了。下面我们通过一个实例来进一步说明多项式回归分析方法。一、应用举例例2-4-2某种合金中的主要成分为元素A和B，试验发现这两种元素之和与合金膨胀系数之间有一定的数量关系，试根据表2-4-3给出的试验数据找出y与x之间的回归关系。表2-4-3例2-4-2试验数据首先画出散点图（图2-4-3）。从散点图可以看出，y与x的关系可以用一个二次多项式来描述：i=1,2,3…,13图2-4-3例2-4-2的散点图令xi1=xi,xi2=xi2,则现在我们就可以用本篇第二章介绍的方法求出的最小二乘估计。由表2-4-3给出的数据，求出由（2-2-16）式由此可列出二元线性方程组将这个方程组写成矩阵形式，并通过初等变换求b1,b2和系数矩阵L的逆矩阵L-1:于是b1=-13.3854b2=0.16598b0=2.3323+13.385440-0.165981603.5=271.599因此下面对回归方程作显著性检验：由（2-2-43）式S回=由（2-2-42）式S总=S残=Lyy-S回=0.2572将上述结果代入表2-2-2中制成方差分析表如下：表2-4-4方差分析表查F检验表，F0。01（2，10）=7.56,FF0.01(2,10)，说明回归方程是高度显著的。下面对回归系数作显著性检验由前面的计算结果可知：b1=-13.3854b2=0.16598c11=51.125c22=7.991610-3由（2-2-54）式由（2-2-53）式检验结果说明的x一次及二次项对y都有显著影响。