逐步回归分析(教材)

第6节逐步回归分析逐步回归分析实质上就是建立最优的多元线性回归方程，显然既实用而应用又最广泛。6.1逐步回归分析概述1概念逐步回归模型是以已知地理数据序列为基础，根据多元回归分析法和求解求逆紧凑变换法及双检验法而建立的能够反映地理要素之间变化关系的最优回归模型。逐步回归分析是指在多元线性回归分析中，利用求解求逆紧奏变换法和双检验法，来研究和建立最优回归方程的并用于地理分析和地理决策的多元线性回归分析。它实质上就是多元线性回归分析的基础上派生出一种研究和建立最优多元线性回归方程的算法技巧。主要含义如下：1）逐步回归分析的理论基础是多元线性回归分析法；2）逐步回归分析的算法技巧是求解求逆紧奏变换法；3）逐步回归分析的方法技巧是双检验法，即引进和剔除检验法；4）逐步回归分析的核心任务是建立最优回归方程；5）逐步回归分析的主要作用是降维。主要用途：主要用于因果关系分析、聚类分析、区域规划、综合评价等等。2最优回归模型1）概念最优回归模型是指仅包含对因变量有显著影响的自变量的回归方程。逐步回归分析就是解决如何建立最优回归方程的问题。2）最优回归模型的含义最优回归模型的含义有两点：（1）自变量个数自变量个数要尽可能多，因为通过筛选自变量的办法，选取自变量的个数越多，回归平方和越大，剩余平方和越小，则回归分析效果就越好，这也是提高回归模型分析效果的重要条件。（2）自变量显著性自变量对因变量y有显著影响，建立最优回归模型的目的主要是用于预测和分析，自然要求自变量个数尽可能少，且对因变量y有显著影响。若自变量个数越多，一方面预测计算量大，另一方面因n固定，所以QSknQ1增大，即造成剩余标准差增大，故要求自变量个数要适中。且引入和剔除自变量时都要进行显著性检验，使之达到最优化状态，所以此回归方程又称为优化模型。3最优回归模型的选择方法最优回归模型的选择方法是一种经验性发展方法，主要有以下四种：(1）组合优选法组合优选法是指从变量组合而建立的所有回归方程中选取最优着。其具体过程是：（1）建立变量组合的所有回归方程（2）优选回归方程首先对每一个方程及自变量均作显著性检验，优选原则：自变量全部显著，剩余标准差较小，既可选得最优回归方程。2）剔除优选法剔除优选法适指从包含全部自变量的回归方程中逐个剔除不显著自变量而求得最优回归方程的优选方法。其具体过程是：（1）建立多元回归方程（2）优选回归方程剔除自变量的原则是先求取偏回归平方和最小者并作显著性检验，若不显著则剔除。终止原则是直至不显著自变量剔除完为至，而仅保留对因变量y有显著影响的自变量。3)引入优选法引入优选法是指将所有自变量经显著性检验而逐个引入对因变量有显著影响的自变量的优选方法。其具体过程是：（1）建立一元回归方程（2）优选回归方程引入原则是偏相关系数绝对值最大者，引入后并进行显著性检验，若显著则继续引进自变量，直至再无显著自变量引进为止。4）逐步回归分析法逐步回归分析法是指运用回归分析原理采用双检验原则，逐步引入和剔除自变量而建立最优回归方程的优选方法。具体含义是：（1）每步有二个过程即引进变量和剔除变量，且引进变量和剔除变量均需作F检验后方可继续进行，故又称为双重检验回归分析法。（2）引入变量引入变量的原则是未引进变量中偏回归平方和最大者并经F显著性检验，若显著则引进，否则终止。（3）剔除变量剔除原则是在引进的自变量中偏回归平方和最小者，并经F检验不显著，则剔除。（4）终止条件即最优条件，再无显著自变量引进，也没有不显著自变量可以剔除，这也是最优回归方程的实质。由此可知，它并没新的理论，只是多元回归分析基础上派生出的一种算法技巧。现在就来介绍逐步回归分析的具体建模原理和方法步骤。6.2逐步回归分析的数学模型逐步回归分析的数学模型是指仅包含对因变量Y有显著影响自变量的多元线性回归方程。为了利于变换求算和上机计算，将对其变量进行重新编号并对原始数据进行标准化处理。6.2.1变量重新编号1新编号数学模型令kxy，自变量个数为k-1，则其数学模型为：113322110...kkkxxxxx式中，α=1，2，3，…，nn：样本个数其中：2)(kkxxS2)ˆ(kkUxxS2)ˆ(kkUQxxSSSjx的偏回归平方和为：jjjUcbSkx：为kx的算术平均值jb：jx的偏回归系数jjc：为逆矩阵1L对角线对应元素2回归数学模型新编号的回归数学模型为：113322110...ˆkkkxbxbxbxbbx6.2.2标准化数学模型标准化回归数学模型是指将原始数据进行标准化处理后而建立的回归数学模型，即实质上是每个原始数据减去平均值后再除以离差平方和的方根。1标准化回归数学模型令jjjjSxxzj=1，2，3，…，k其中：njjxnx112)(jjjjjxxlS！为离差平方和的方根注意：jjjjjjSSll,,,2它们之间的区别，即离差平方和，离差平方和的方根，方差，标准差。则回归数学模型为：113322110...ˆkkkzzzzz2标准化回归数学模型的正规方程组标准化回归数学模型正规方程组的一般形式为：kkkkkkkkkkkkkkkkkkkkzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzn112131321211101311332323213103211233222212102111133122112101113322110..............................................................................................................................................................因为，0)(jjjSxxz，jijijjiijirSSxxxxz))((所以上述正规方程组可变为：kkkkkkkkkkkkkkkkkrrrrrrrrrrrrrrrrrrrrn11113312211113113333232131211232322212111113132121110...0.................................................................0...0...000...000这样，数据标准化处理后的估计值0，并令，则可得数据标准化处理后的回归方程数学模型的正规方程组的一般形式为：kkkkkkkkkkkkkkkkkrrrrrrrrrrrrrrrrrrrr1111331221111311333323213121123232221211111313212111........................................................................这样，数据标准化后0的估计值应为0，并jjd令，则可得：kkkkkkkkkkkkkkkkkrdrdrdrdrrdrdrdrdrrdrdrdrdrrdrdrdrdr1111331221111311333323213121123232221211111313212111........................................................................其中:112111122221111211.....................kkkkkkrrrrrrrrR称为相关系数矩阵。kkkkrrrB121解此方程组，即可求出1321,,,,kdddd，故可得标准化后的回归模型为：112211...ˆkkkzdzdzdz标准化的回归模型的矩阵形式：1112221111113223211311112222211211111221211111111kkknnnkkkkkkkkkSxxSxxSxxSxxSxxSxxSxxSxxSxxSxxSxxSxxXkknkkkkkkkkkkSxxSxxSxxSxxY321RnrrrrrrrrrnXXAkkkkkk000000001121111222211112116.2.3标准化前后回归模型的关系1标准化前后的回归模型1）标准化前后回归模型为：113322110...ˆkkkxbxbxbxbbx2）标准化后回归模型为：112211...ˆkkkzdzdzdz2标准化前后的偏回归系数标准化前后偏回归系数的关系可从变化过程反演得知：令jjjjSxxz代入标准化前的回归模型可得：111122221111...ˆkkkkkkkSxxdSxxdSxxdSxx整理后得：111222111111222111)(ˆkkkkkkkkkkkkkkxdSSxdSSxdSSxdSSxdSSxdSSxx113322110...ˆkkkxbxbxbxbbx将上式与标准化前的回归模型作比较，由待定系数法可知标准化前后回归模型的偏回归系数的关系为：110kjjjkjjkjxbxbdSSbj=1,2,3,…k-1于是，只要求出jd，即可求出jb，今后仅讨论标准化后的回归模型。3标准化后的各种离差平方和QkQukukkSSSSSSSSS22211116.3求解求逆紧凑变换法逐步回归分析每引进和剔除一个变量都要用到求解求逆紧奏变换法进行矩阵变换，最后求出方程组的解和逆矩阵。现介绍其变换原理和方法步骤。6.3.1求解求逆紧奏变换法的基本公式由上述介绍可知，标准化后的正规方程组为：kkkkkkkkkkkkkkkkkrdrdrdrdrrdrdrdrdrrdrdrdrdrrdrdrdrdr1111331221111311333323213121123232221211111313212111........................................................................可得增广矩阵)0(R，由)()0(ER经高斯消元法变换为)(1RE，既可求出解和相应的逆矩阵。故