多元线性回归与多项式回归

162第九章多元线性回归与多项式回归直线回归研究的是一个依变量与一个自变量之间的回归问题，但是，在畜禽、水产科学领域的许多实际问题中，影响依变量的自变量往往不止一个，而是多个，比如绵羊的产毛量这一变量同时受到绵羊体重、胸围、体长等多个变量的影响，因此需要进行一个依变量与多个自变量间的回归分析，即多元回归分析（multipleregressionanalysis），而其中最为简单、常用并且具有基础性质的是多元线性回归分析（multiplelinearregressionanalysis），许多非线性回归（non-linearregression）和多项式回归（polynomialregression）都可以化为多元线性回归来解决，因而多元线性回归分析有着广泛的应用。研究多元线性回归分析的思想、方法和原理与直线回归分析基本相同，但是其中要涉及到一些新的概念以及进行更细致的分析，特别是在计算上要比直线回归分析复杂得多，当自变量较多时，需要应用电子计算机进行计算。aaa第一节多元线性回归分析多元线性回归分析的基本任务包括：根据依变量与多个自变量的实际观测值建立依变量对多个自变量的多元线性回归方程；检验、分析各个自变量对依自变量的综合线性影响的显著性；检验、分析各个自变量对依变量的单纯线性影响的显著性，选择仅对依变量有显著线性影响的自变量，建立最优多元线性回归方程；评定各个自变量对依变量影响的相对重要性以及测定最优多元线性回归方程的偏离度等。一、多元线性回归方程的建立（一）多元线性回归的数学模型设依变量y与自变量1x、2x、…、mx共有n组实际观测数据：变量序号y1x2x…mx11y11x21x…1mx22y12x22x…2mx┆┆┆┆…┆nnynx1nx2…mnx假定依变量y与自变量x1、x2、…、xm间存在线性关系，其数学模型为：jmjmjjjxxxy...22110（9-1）（j=1,2,…,n）式中，x1、x2、…、xm为可以观测的一般变量（或为可以观测的随机变量）；y为可以观测的163随机变量，随x1、x2、…、xm而变，受试验误差影响；j为相互独立且都服从),0(2N的随机变量。我们可以根据实际观测值对m、、、、...210以及方差2作出估计。（二）建立线性回归方程设y对1x、2x、…、mx的m元线性回归方程为：mmxbxbxbby22110ˆ其中的0b、1b、2b、…、mb为m、、、...210的最小二乘估计值。即0b、1b、2b、…、mb应使实际观测值y与回归估计值yˆ的偏差平方和最小。令njjjyyQ12)ˆ(njmjmjjjxbxbxbby1222110)(Q为关于0b、1b、2b、…、mb的m+1元函数。根据微分学中多元函数求极值的方法，若使Q达到最小，则应有：njmjmjjjxbxbxbbybQ12211000)(2njmjmjjjijixbxbxbbyxbQ1221100)(2（i=1、2、…、m）经整理得：yxbxbxxbxxbxyxbxxbxbxxbxyxbxxbxxbxbxybxbxbxnbmmmmmmmmmmmm)()()()()()()()()()()()()()()(2221102222211202112211210122110(9-2)由方程组（9-2）中的第一个方程可得mmxbxbxbyb22110(9-3)即miiixbyb101,1:11njijinjjxnxyny其中若记,)(12njiijixxSSnjjyyySS12)(njkikkjiijikSPxxxxSP1))((njjiijioyyxxSP1))((（i、1k、2、…、m；ik）并将mmxbxbxbyb22110分别代入方程组（9-2）中的后m个方程，经整理可得到关于偏回归系数1b、2b、…、mb的正规方程组（normalequations）为：1640221m12022212110121211SPmmmmmmmmSPbSSbSPbSPbSPbSSbSPSPbSPbSPbSS（9-4）解正规方程组（9-4）即可得偏回归系数1b、2b、…、mb的解，而mmxbxbxbyb22110于是得到m元线性回归方程mmxbxbxbby22110ˆm元线性回归方程的图形为1m维空间的一个平面，称为回归平面；0b称为回归常数项，当1x=2x=…=mx=0时，,0ˆy在b0有实际意义时，0b表示y的起始值；ib（i=1、2、…、m）称为依变量y对自变量ix的偏回归系数（partialregressioncoefficient），表示除自变量ix以外的其余1m个自变量都固定不变时，自变量ix每变化一个单位，依变量y平均变化的单位数值，确切地说，当ib0时，自变量ix每增加一个单位，依变量y平均增加ib个单位；当ib0时，自变量xi每增加一个单位，依变量y平均减少ib个单位。若将mmxbxbxbyb22110代入上式，则得)()()(ˆ222111mmmxxbxxbxxbyy（9-5）（9-5）式也为y对1x、2x、…、mx的m元线性回归方程。对于正规方程组（9-4），记mmmmmSSSPSPSPSSSPSPSPSSA2122211121，mbbbb21，02010mSPSPSPB则正规方程组（9-4）可用矩阵形式表示为02010212122211121mmmmmmmSPSPSPbbbSSSPSPSPSSSPSPSPSS（9-6）即BAb（9-7）其中A为正规方程组的系数矩阵、b为偏回归系数矩阵（列向量）、B为常数项矩阵（列向量）。设系数矩阵A的逆矩阵为C矩阵，即CA1，则mmmmmmmmmmmcccccccccSSSPSPSPSSSPSPSPSSAC212222111211121222111211其中：C矩阵的元素ijc（i，j=1、2、…、m）称为高斯乘数，是多元线性回归分析中显著性检验所需要的。关于求系数矩阵A的逆矩阵A-1的方法有多种，如行（或列）的初等变换法等，请参阅线性代数教材，这里就不再赘述。对于矩阵方程（9-7）求解，有：165CBbBAb1即：0201021222211121121mmmmmmmmSPSPSPcccccccccbbb（9-8）关于偏回归系数1b、2b、…、mb的解可表示为：0202101mimiiiSPcSPcSPcb（9-9）（i=1、2、…、m）或者mjjijispcb10而mmxbxbxbyb22110【例9.1】猪的瘦肉量是肉用型猪育种中的重要指标，而影响猪瘦肉量的有猪的眼肌面积、胴体长、膘厚等性状。设依变量y为瘦肉量（kg），自变量1x为眼肌面积（cm2），自变量2x为胴体长（cm），自变量3x为膘厚（cm）。根据三江猪育种组的54头杂种猪的实测数据资料，经过整理计算，得到如下数据：8722.146617.704344.34343.947002.252966.11SP2799.76SP4530.1141511.45SP2594.6SP6832.408987.13SS6041.745SS2281.846321302010231312321ySSxxxSPSPSSy试建立y对1x、2x、3x的三元线性回归方程3322110ˆxbxbxbby。将上述有关数据代入（9-5）式，得到关于偏回归系数1b、2b、3b的正规方程组：2966.118987.131511.452594.62799.761511.456041.7456832.404530.1142594.66832.402281.846321321321bbbbbbbbb用线性代数有关方法求得系数矩阵的逆矩阵如下：1113.898745.1511-6.2594-45.1511-745.604140.68326.2594-40.68322281.846AC0.0897070.005410000403.00.0054100.0016710.000040-0.0004030.000040-001187.0=333231232221131211ccccccccc根据式（9-8），关于1b、2b、3b的解可表示为：302010333231232221131211321SPSPSPcccccccccbbb即关于b1、b2、b3的解为：1665545.00617.01282.02966.112799.764530.1140.0897070.0054100.0004030.0054100.001671000040.00.0004030.000040-001187.0321bbb而3322110xbxbxbyb4344.3)5545.0(4343.940617.07002.251282.08722.146552.7于是得到关于瘦肉量y与眼肌面积1x、胴体长2x、膘厚3x的三元线性回归方程为：3215545.00617.01282.06552.7ˆxxxy（三）多元线性回归方程的偏离度以上根据最小二乘法，即使偏差平方和2)ˆ(yy最小建立了多元线性回归方程。偏差平方和2)ˆ(yy的大小表示了实测点与回归平面的偏离程度，因而偏差平方和又称为离回归平方和。统计学已证明，在m元线性回归分析中，离回归平方和的自由度为（n-m-1）。于是可求得离回归均方为2)ˆ(yy/（n-m-1）。离回归均方是模型（9-1）中σ2的估计值。离回归均方的平方根叫离回归标准误，记为myS...12.（或简记为Se），即)1()ˆ(2...12.mnyySSemy（9-10）离回归标准误myS...12.的大小表示了回归平面与实测点的偏离程度，即回归估计值yˆ与实测值y偏离的程度，于是我们把离回归标准误myS...12.用来表示回归方程的偏离度。离回归标准误myS...12.大，表示回归方程偏离度大，离回归标准误myS...12.小，表示回归方程偏离度小。利用公式2)ˆ(yy计算离回归平方和，因为先须计算出各个回归预测值yˆ，计算量大，下面我们将介绍计算离回归平方和的简便公式。二、多元线性回归的显著性检验（一）多元线性回归关系的显著性检验在畜禽、水产科学的许多实际问题中，我们事先并不能断定依变量y与自变量1x、2x、…、mx之间是否确有线性关系，在根据依变量与多个自变量的实际观测数据建立多元线性回归方程之前，依变量与多个自变量间的线性关系只是一种假设，尽管这种假设常常不是没有根据的，但是在建立了多元线性回归方程之后，还必须对依变量与多个自变量间的线性关系的假设进行显著性检验，也就是进行多元线性回归关系的显著性检验，或者说对多元线性回归方程进行显著性检验。这里应用F检验方法。