SAS学习系列39时间序列分析Ⅲ—ARIMA模型

39.时间序列分析Ⅱ——ARIMA模型随着对时间序列分析方法的深入研究，人们发现非平稳序列的确定性因素分解方法（如季节模型、趋势模型、移动平均、指数平滑等）只能提取显著的确定性信息，对随机性信息浪费严重，同时也无法对确定性因素之间的关系进行分析。而非平稳序列随机分析的发展就是为了弥补确定性因素分解方法的不足。时间序列数据分析的第一步都是要通过有效手段提取序列中所蕴藏的确定性信息。Box和Jenkins使用大量的案例分析证明差分方法是一种非常简便有效的确定性信息的提取方法。而Gramer分解定理则在理论上保证了适当阶数的差分一定可以充分提取确定性信息。（一）ARMA模型即自回归移动平均移动模型，是最常用的拟合平稳时间序列的模型，分为三类：AR模型、MA模型和ARMA模型。一、AR(p)模型——p阶自回归模型1.模型：011ttptptxxx其中，0p，随机干扰序列εt为0均值、2方差的白噪声序列（()0tsE,t≠s），且当期的干扰与过去的序列值无关，即E(xtεt)=0.由于是平稳序列，可推得均值011p.若00，称为中心化的AR(p)模型，对于非中心化的平稳时间序列，可以令01(1)p，*ttxx转化为中心化。记B为延迟算子，1()pppBIBB称为p阶自回归多项式，则AR(p)模型可表示为：()pttBx.2.格林函数用来描述系统记忆扰动程度的函数，反映了影响效应衰减的快慢程度（回到平衡位置的速度），Gj表示扰动εt-j对系统现在行为影响的权数。例如，AR(1)模型（一阶非齐次差分方程），1,0,1,2,jjGj模型解为0tjtjjxG.3.模型的方差对于AR(1)模型，22201()()1tjtjjVarxGVar.4.模型的自协方差对中心化的平稳模型，可推得自协方差函数的递推公式：用格林函数显示表示：2000()()ijtjtkjjkjijjkGGEGG对于AR(1)模型，21121()(0)1kkk5.模型的自相关函数递推公式：对于AR(1)模型，11()(0)kkk.平稳AR(p)模型的自相关函数有两个显著的性质：（1）拖尾性指自相关函数ρ(k)始终有非零取值，不会在k大于某个常数之后就恒等于零；（2）负指数衰减随着时间的推移，自相关函数ρ(k)会迅速衰减，且以负指数ki（其中i为自相关函数差分方程的特征根）的速度在减小。6.模型的偏自相关函数自相关函数ρ(k)实际上并不只是xt与xt-k之间的相关关系，它还会受到中间k-1个随机变量xt-1,…,xt-k+1的影响。为了能剔除了中间k-1个随机变量的干扰，单纯测度xt与xt-k之间的相关关系，引入了滞后k偏自相关函数（PACF），计算公式为：其中，滞后k偏自相关函数实际上等于k阶自回归模型第k个回归系数kk：两边同乘以xt-k，求期望再除以(0)得到取前k个方程构成的方程组：称为Yule-Walker方程，可以解出kk.可以证明平稳AR(p)模型，当kp时，0kk.即平稳AR(p)模型的偏自相关函数具有p步截尾性。注：实际上样本的随机性使得偏自相关函数不是严格截尾，例如上面两图都1阶显著不为0，1阶之后都近似为0.二、MA(q)模型——q阶移动平均模型1.模型：其中，0q，随机干扰序列t为0均值、2方差的白噪声序列（()0tsE,t≠s）。若μ=0，称为中心化的MA(q)模型，非中心化的MA(q)模型可以通过*ttxx转化为中心化。记B为延迟算子，1()qqqBIBB称为q阶自移动平均系数多项式，则中心化MA(q)模型可以表示为()tqtxB.2.模型的方差3.模型的自协方差只与滞后阶数k相关，且q阶截尾。当k=0时，当1≤k≤q时，当kq时，()0k.4.模型的自相关函数：()()(0)kk（q阶截尾性）5.模型的滞后k阶偏自相关函数（中心化）可以证明滞后k阶偏自相关函数具有拖尾性。6.模型的可逆性以MR(1)为例，模型Ⅰ：1111tttttxxB或模型Ⅱ：111111tttttxxB或它们的自相关函数2111/(1)相同（即相同的自相关函数对应不同的回归模型），为了保证对应的唯一性，需要增加约束条件，即MR(q)模型的可逆性条件。观察两个模型的第二种表示：当1||1时，模型Ⅰ收敛、模型Ⅱ不收敛；当1||1时，模型Ⅰ不收敛、模型Ⅱ收敛。表示成收敛形式的MR(q)模型称为可逆MR(q)模型。一个自相关函数只对应唯一一个可逆MR(q)模型。三、ARMA(p,q)模型——自回归移动平均模型1.模型其中，0p，0q，随机干扰序列εt为0均值、2方差的白噪声序列（()0tsE,t≠s），且当期的干扰与过去的序列值无关，即E(xtεt)=0.若0=0，则称为中心化的ARMA(p,q)模型。引入延迟算子，中心化的ARMA(p,q)模型可表示为：()()ptqtBxB.显然，AR(p)和MA(q)模型是ARMA(p,q)模型的特例。2.数字特征（1）均值：01()1tpEx;（2）自协方差函数：20()iikikGG，其中Gi为格林函数；（3）自相关函数：020()()(0)iikiiiGGkkG3.模型的初步定阶对于平稳非白噪声序列，计算出样本自相关系数（ACF）和偏自相关系数（PACF），根据其性质估计自相关阶数ˆp和移动平均阶数ˆq，称为ARMA(p,q)模型的定阶。可以推导出：样本自相关函数ˆ()k和偏自相关函数ˆkk都近似服从正态分布1(0,)Nn.取显著水平α=0.05，若样本自相关系数和样本偏自相关系数在最初的k阶明显大于2倍标准差，而后几乎95%的系数都落在2倍标准差的范围内，且非零系数衰减为小值波动的过程非常突然，通常视为k阶截尾；若有超过5%的样本相关系数大于2倍标准差，或者非零系数衰减为小值波动的过程比较缓慢或连续，通常视为拖尾。4.参数估计对非中心化的ARMA(p,q)模型()()qttpBxB.参数μ可用样本均值来估计总体均值（矩估计法），初步定阶估计出自相关阶数ˆp和移动平均阶数ˆq后，模型共有p+q+1个未知参数：211,,,,,,pq.（1）参数的矩估计用时间序列样本数据计算出延迟1阶到p+q阶的样本自相关函数ˆ()k，延迟k阶的总体自相关函数为11(,,,,,)kpq.用计算出的样本自相关函数来估计总体自相函数，得到p+q个联立方程组：从中解出11,,,,,pq的值作为未知参数估计值11ˆˆˆˆ,,,,,pq.ARMA(p,q)模型的两边同时求方差，并把前面的参数的估计值代入，可得白噪声序列的方差估计为：（2）参数的极大似然估计当总体分布类型已知时，极大似然估计是常用的估计方法。其基本思想是，认为样本来自使该样本出现概率最大的总体。因此，未知参数的极大似然估计，就是使得似然函数（即联合密度函数）达到最大值的参数值：在时间序列分析中，序列的总体分布通常是未知的。为了便于分析和计算，通常假设序列服从多元正态分布，它的联合密度函数是可导的。在求极大似然估计时，为了求导方便，常对似然函数取对数，然后对对数似然函数中的未知参数求偏导数，得到似然方程组。理论上，只要求解似然方程组即可得到未知参数的极大似然估计。但在实际上是使用计算机经过复杂的迭代算法求出未知参数的极大似然估计。两种估计的比较：矩估计的优点是不要求知道总体的分布，计算量小，估计思想简单直观。但缺点是只用到了样本自相关系数的信息，序列中的其他信息被忽略了，这导致估计精度一般较差。因此，它常被作为极大似然估计和最小二乘估计的迭代计算的初始值。极大似然估计的优点是充分应用了每一个观察值所提供的信息，因而它的估计精度高，同时，还具有估计的一致性、渐近正态性和渐近有效性等优良统计性质，是一种非常优良的参数估计方法。（3）参数的最小二乘估计使ARMA(p,q)模型的残差平方和达到最小的那组参数值：通过计算机借助迭代方法求出。由于充分利用了序列的信息，该方法估计精度最高。在实际运用中，最常用的是条件最小二乘估计，假定时间序列过去未观察到序列值等于序列均值，可得到残差的有限项表达式：于是残差平方和达到最小的那组参数值为：5.模型和参数的显著性检验ARMA(p,q)模型中，使用QLB统计量检验残差序列的自相关性，为了克服DW检验的有偏性，Durbin在1970年提出了修正的Durbinh统计量：其中，n为观察值序列的长度，2为延迟因变量系数的最小二乘估计的方差。参数的显著性检验是要检验每一个模型参数是否显著非零。若某个参数为零，模型中包含这个参数的乘积项就为零，可以简化模型。因此，该检验的是为了精简模型。原假设H0：某未知参数βj=0；H1：βj≠0.可以构造出检验未知参数显著性的t(n-m)检验统计量，其中m为参数的个数。6.模型优化当一个拟合模型在置信水平α下通过了检验，说明了在该置信水平下该拟合模型能有效地拟合时间序列观察值的波动。但是这种有效的拟合模型并不是惟一的。如果同一个时间序列可以构造两个拟合模型，且两个模型都显著有效，那么应该选择哪个拟合模型用于统计推断呢？通常采用AIC和SBC信息准则来进行模型优化。（1）AIC准则——最小信息量准则由日本统计学家赤池弘次（Akaike）于1973年提出，是一种考评综合最优配置的指标，它是拟合精度和参数未知个数的加权函数：AIC=－2ln(模型中极大似然函数值)+2(模型中未知参数个数)使其达到最小值的模型被认为是最优模型。（2）BIC/SBC准则AIC准则的不足：若时间序列很长，相关信息就越分散，需要多自变量复杂拟合模型才能使拟合精度比较高。在AIC准则中拟合误差等于2ˆln()n，即随样本容量n增大，但模型参数个数的惩罚因子（始终=2）却与n无关。因此在样本容量n趋于无穷大时，由AIC准则选择的拟合模型不收敛于真实模型，它通常比真实模型所含的未知参数个数要多。为了弥补AIC准则的不足，Akaike于1976年提出BIC准则。而Schwartz在1978年根据贝叶斯理论也得出同样的判别准则，称为SBC准则。SBC准则定义为：SBC=－2ln(模型中极大似然函数值)+ln(n)(模型中未知参数个数)即将未知参数个数的惩罚权重由常数2变成了ln(n)。在所有通过检验的模型中使得AIC或SBC函数达到最小的模型为相对最优模型（因为不可能比较所有模型）。7.模型预测即利用时间序列已观察到的样本值对时间序列在未来某个时刻的取值进行估计。常用的预测方法是线性最小方差预测。根据ARMA(p,q)模型的平稳性和可逆性，可以用格林函数的传递形式和逆转函数的逆转形式等价描述该序列：右式代入左式得：100000tijtijijtijitiijijixGIxGIxCx可见，xt是历史数据xt-1,xt-2,…的线性函数。对于任意一个将来时刻t+l，也可以用上式预测，但xt+l-1,…,xt+1未知。根据线性函数的可加性，所有未知信息都可以用已知信息的线性函数表示出来，并用该线性函数进行估计：用ˆ()ttltlelxx来衡量预测误差，最常用的预测原则是预测误差的方差最小法：在线性预测方差最小法下得到的估计值ˆtlx是在序列xt,xt-1,…已知的情况下得到的条件无偏最小方差估计值。且预测方差只与预测步长l有关，而与预测起始点t无关。预测步长l越大预测值的方差越大，因此只适合于短期预测。在正态假定下，估计值ˆtlx的1-α的置信区间为：（二）ARIMA模型——混和自回归移动平均模型一、原理也称Box-Jenkins模型，