非线性回归预测法——高斯牛顿法(詹学朋)

1非线性回归预测法前面所研究的回归模型，我们假定自变量与因变量之间的关系是线性的，但社会经济现象是极其复杂的，有时各因素之间的关系不一定是线性的，而可能存在某种非线性关系，这时，就必须建立非线性回归模型。一、非线性回归模型的概念及其分类非线性回归模型，是指用于经济预测的模型是曲线型的。常见的非线性回归模型有下列几种：(1)双曲线模型：iiixy121(3-59)(2)二次曲线模型：iiiixxy2321(3-60)(3)对数模型：iiixyln21(3-61)(4)三角函数模型：iiixysin21(3-62)(5)指数模型：ixiiaby(3-63)iiixxiey221110(3-64)(6)幂函数模型：ibiiaxy(3-65)(7)罗吉斯曲线：ixxiiieey1101101(3-66)(8)修正指数增长曲线：ixiibray(3-67)根据非线性回归模型线性化的不同性质，上述模型一般可细分成三种类型。第一类：直接换元型。这类非线性回归模型通过简单的变量换元可直接化为线性回归模型，如：(3-59)、(3-60)、(3-61)、(3-62)式。由于这类模型的因变量没有变形，所以可以直接采用最小平方法估计回归系数并进行检验和预测。第二类：间接代换型。这类非线性回归模型经常通过对数变形的代换间接地化为线性回归模型，如：(3-63)、(3-64)、(3-65)式。由于这类模型在对数变形代换过程中改变了因变量的形态，使得变形后模型的最小平方估计失去了原模型的残差平方和为最小的意义，从而估计不到原模型的最佳回归系数，造成回归模型与原数列之间的较大偏差。第三类：非线性型。2这类非线性回归模型属于不可线性化的非线性回归模型，如：(3-66)和(3-67)式。第一类和第二类非线性回归模型相对于第三类，又称为可线性化的非线性回归模型。本节重点研究第一类和第二类即可线性化的非线性回归模型。二、可线性化的非线性回归模型的模型变换及参数估计1.直接换元法换元过程和参数估计方法，如表3-6所示。例设某商店1991～2000年的商品流通费用率和商品零售额资料如下表：表3-7直接换元法计算表年份商品流通费用率％商品零售额（万元）符号iyixiixx1'19911992199319941995199619971998199920007.06.25.85.35.04.64.54.44.24.010.211.713.015.016.519.022.025.028.532.00.09800.08550.07690.06670.06060.05260.04550.04000.03510.0313根据上述资料，配合适当的回归模型分析商品零售额与流通费用率的关系，若2001年该商店商品零售额将为36.33万元，对2001年的商品流通费用额作出预测。解：(1)绘制散点图(图略)。从图中可清楚看到：随着商品零售额的增加，流通费用率有不断下降的趋势，呈双曲线形状。(2)建立双曲线模型。iiixy121令iixx1'得iiixy'21(3)估计参数。Eviews4.0软件，hzz－暴P92表3－733.54.04.55.05.56.06.57.07.5812162024283236XYDependentVariable:YMethod:LeastSquaresDate:03/04/06Time:23:08Sample:19912000Includedobservations:10VariableCoefficientStd.Errort-StatisticProb.C2.5680000.14402717.829940.0000X142.760962.28887718.682070.0000R-squared0.977592Meandependentvar5.100000AdjustedR-squared0.974791S.D.dependentvar0.970681S.E.ofregression0.154117Akaikeinfocriterion-0.725347Sumsquaredresid0.190018Schwarzcriterion-0.664830Loglikelihood5.626735F-statistic349.0197Durbin-Watsonstat0.741967Prob(F-statistic)0.000000得回归模型为：iixy17610.425680.22.间接代换法代换过程和参数估计方法如（暴经济预测P96）表3-8所示。三、高斯—牛顿迭代法高斯—牛顿迭代法的基本思想是使用泰勒级数展开式去近似地代替非线性回归模型，然后通过多次迭代，多次修正回归系数，使回归系数不断逼近非线性回归模型的最佳回归系数，最后使原模型的残差平方和达到最小。高斯—牛顿法的一般步骤为：(1)初始值的选择。其方法有三种，一是根据以往的经验选定初始值；二是用分段法求出初始值；三是对于可线性化的非线性回归模型，通过线性变换，然后施行最小平方法求出初始值。(2)泰勒级数展开式。设非线性回归模型为：iiirxfy),(i=1,2,…,n(3-68)其中r为待估回归系数，误差项i～N(0,2)，设：4')0(1)0(1)0(00),,(pgggg，为待估回归系数'110),,(prrrr的初始值，将(3-68)式),(rxfi在g0点附近作泰勒展开，并略去非线性回归模型的二阶及二阶以上的偏导数项，得)0(10)0()0(),(),(),(kkgrpkkiiigrrrxfgxfrxf(3-69)将(3-69)式代入(3-68)式，则ikkgrpkkiiigrrrxfgxfy)0(10)0()0(),(),(移项：ikkgrpkkiiigrrrxfgxfy)0(10)0()0(),(),(令：)0()0()0()0()0()0(),(),(kkkgrkiikiiigrrrxfDgxfyy则：ikpkikiDy)0(10)0()0(i=1,2，…，n用矩阵形式表示，上式则为：)0()0()0(BDY(3-70)其中：)0(1)0(0)0(1)0(1)0(0)0(11)0(10)0()0()0(11)0(1),(),(ppnpnppnnnnBDDDDDgxfygxfyY(3)估计修正因子。用最小平方法对(3-70)式估计修正因子B（0），则：)0()0(1)0()0()0(''YDDDb(3-71)设g(1)为第一次迭代值，则：)0()0()1(bgg(4)精确度的检验。设残差平方和为：521)()0(),(nisiigxfySSR，S为重复迭代次数，对于给定的允许误差率K，当kSSRSSRSSRsss)()1()(时，则停止迭代；否则，对(3-71)式作下一次迭代。(5)重复迭代。重复(3-71)式，当重复迭代S次时，则有：修正因子：)()(1)()()(''sssssYDDDb第(S+1)次迭代值：)()()1(sssbgg四、应用举例设12个同类企业的月产量与单位成本的资料如下表：表3-9间接代换法计算表企业编号单位产品成本（元）iy月产量ix1234567891011121601511141288591757666606160101620253136404551566065(注：资料来源《社会经济统计学原理教科书》第435页)试配合适当的回归模型分析月产量与单位产品成本之间的关系。解：(1)回归模型与初始值的选择。根据资料散点图的识别，本数据应配合指数模型：ixiaby对指数模型两边取对数，化指数模型为线性回归模型，然后施行最小平方法求出初始值。即：bbaayybxayiiiilg,lg,lglglglg'''令：则上述指数模型变为：iixbay'''iixy00831.026109.2'对'',ba分别求反对数，得182.43,0.981ab，带入原模型，得回归模型：ixiy981.043.182高斯—牛顿迭代法初始回归模型：(0)(,)182.430.981ixifxg残差平方和：(0)(0)2((,))1124.1526iiSSRyfxg6（2）泰勒级数展开式。先对指数模型ixiaby中的a和b分别求偏导数。00000.981iiaabbxxiaabbyba110000182.43**0.981iiaabbxxiaaiibbyaxbxb然后用泰勒级数展开指数模型，移项整理得(注：参见(3-69)、(3-70)式)：(0)Y(0)D(0)B160-150.58660.825451535.0316151-134.21480.735712189.0282114-124.30150.681372534.1796128-112.93320.619052878.011085-100.65500.551753180.7400a(0)91-91.4493=0.501283355.938775-84.69480.462463453.405276-76.94880.421803529.7593b(0)66-68.58290.375943565.470160-62.31040.341563556.965861-57.70810.316333529.546860-52.43020.287403473.9702(3-72)(3)估计修正因子。解(3-72)式矩阵，得：a(0)12.09660288=b(0)－0.00180342第一次迭代值：a1a0a(0)194.5266=＋＝b1b0b(0)0.9792第一次迭代回归模型：(1)(,)194.52660.9792ixifxg(4)精确度的检验。残差平方和：7(1)(1)2((,))999.4077iiSSRyfxg给定误差率K=10-3,则：(1)(0)(1)1124.152610.12482999.4077SSRSSRkSSR作下一次迭代。(5)重复迭代。将a1代入(3-71)式作第二次迭代。得估计修正因子：b1a(1)0.647654043=b(1)－0.000066948第二次迭代值：a2a1a(1)195.1743=＋＝b2b1b(1)0.9791第二次迭代回归模型：(2)(,)195.17430.9791ixifxg残差平方和：(2)(2)2((,))999.1241iiSSRyfxg误差率：(2)(1)(2)999.407710.00028999.1241SSRSSRkSSR误差率达到要求，停止迭代。表3-10计算结果比较最小平方法一次迭代二次迭代回归系数a182.43194.5266195.1743回归系数b0.9810.97920.9791残差平方和SSR1124.1526999.4077999.1241误差率%—12.4820.028相关指数R0.959370.963960.96397从上表可看出：高斯—牛顿迭代法具有收敛快，精确度高的优点，二次迭代就使8精确度高达99.97%，相关指数也明显提高。理论上可以证明高斯—牛顿迭代法经过数次迭代后，估计回归系数将逼近最佳的待估回归系数，使残差平方和达到最小，从而明显地克服了最小平方法的不足。其缺陷是计算量较大，但随着电子计算机的日益普及，这点计算就显得微不足道了。SPSS10.0软件，hzz－暴P98表3－9根据最小平方法，参数为：Eviews4.0软件，hzz