时间序列分析-第六章-ARMA模型的参数估计

第六章ARMA模型的参数估计第一节AR(p)模型的参数估计第二节MA(q)模型的参数估计第三节ARMA(p,q)模型的参数估计第四节求和模型及季节模型的参数估计第一节.AR(p)模型的参数估计目的：为观测数据建立AR(p)模型(1.1)假定自回归阶数p已知，考虑回归系数和零均值白噪声的方差的估计。数据的预处理：如果样本均值不为零，需将它们中心化，即将它们都同时减去其样本均值再对序列按(1.1)式的拟合方法进行拟合。tptptttXXXX2211Tp),,(1α}{t2nxxx,,,21nttnxnx1/1假定数据适合于以下模型(1.2)其中，p为给定的非负整数，为未知参数，记为系数参数，为独立同分布序列，且，与独立，参数满足平稳性条件。nxxx,,,21nptXXXXtptpttt,,1,2211p,,,21Tp),,(1α}{t422,,0tttEEEt},{tsxsαA.AR(p)模型参数的Yule-Walker估计对于AR(p)模型，自回归系数由AR(p)序列的自协方差函数通过Yule-Walker方程唯一决定，白噪声方差由决定。αppppppaaarrrrrrrrrrrr2102120111021prrr,,,102jpjjrr102AR(p)模型的自回归系数和白噪声方差的矩估计就由样本Yule-Walker方程(1.3)和(1.4)决定。21ˆ,)ˆ,,ˆ(Tppppppprrrrrrrrrrrrˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆ2102120111021jpjjrrˆˆˆˆ102令则(1.3),(1.4)式可写为ppppppppprrrrrrrrrrrrˆˆˆˆ,ˆˆˆˆ,ˆˆˆˆˆˆˆˆˆˆ2121021201110αbΓpppbαΓˆˆˆ实际应用中，对于较大的p,为了加快计算速度可采用如下的Levison递推方法递推最后得到矩估计pkkjaaaaarrarrararjkkkkjkjkkjkjkjjkjjkkkkkkkk,1ˆˆˆˆ)ˆˆˆ)(ˆˆˆ(ˆ)ˆ1(ˆˆˆ/ˆˆˆˆ1,1,1,,11110111,12,2122011102022,2,1,1ˆˆ,)ˆ,,ˆ,ˆ()ˆ,,ˆ(pTppppTpaaa上式是由求偏相关函数的公式：导出。kkkkkkkkkaaa2121211121111定理1.1如果AR(p)模型中的是独立同分布的，则当时(1)(2)依分布收敛到p维正态分布。}{t42),,0(tEWNn22ˆ,ˆpjpjTppn)ˆ,,ˆ(11),(12pN0注：用表示的第元素时，可知依分布收敛到，于是的95%的渐近置信区间是在实际问题中，未知，可用的元素代替，得到的近似置信区间jj,12pjj)ˆ(jjn),0(,jjNj]/96.1ˆ,/96.1ˆ[,,nnjjjjjjjj,12ˆˆpjjjj,ˆjj,j]/ˆ96.1ˆ,/ˆ96.1ˆ[,,nnjjjjjjB.AR(p)模型参数的最小二乘估计如果是自回归系数的估计，白噪声的估计定义为通常为残差。我们把能使(1.6)达到极小值的称为的最小二乘估计。pˆ,ˆ,ˆ21p,,,21jnjpxxxxpjpjjjj12211),ˆˆˆ(ˆnjpj1,ˆnpjptptttxxxxs122211}{)α(αˆα记则，于是的最小二乘估计为即,,21211121pnnnppppnppxxxxxxxxxxxxxyyyxαyyxαxαxααTTTTTTs)(αyxxxαTT1)(ˆ)ˆ(inf)()ˆ(1αyxxxxyyyααssTTTT相应地，白噪声方差的最小二乘估计式中为的p个分量。nptptpttTTTTxxxpnpnspn121112)ˆˆ(1))((1)ˆ(1ˆyxxxxyyyα2pˆ,ˆ,ˆ21αˆ定理1.2设AR(p)模型中的白噪声是独立同分布的，是自回归系数的最小二乘估计，则当时，依分布收敛到p维正态分布注：对于较大的n，最小二乘估计和矩估计(Yule-Walker)估计的差别不大。}{t)ˆ,ˆ,ˆ(,214ptEp,,,21n)ˆ,,ˆ,ˆ(2211ppn),(12pN0.),/1(ˆˆ模型，有则对为最小二乘估计，ˆ估计，ker为ˆ记).(就称),1(}/{如果).1(是依概率有界的，记为}{就称,)|(|sup，使得存在正数,0任何是非零常数列，如果对}{是时间序列，}{：设1.1定义nnOARWalYulecOOcOMPMcpLLnpnpnnpnnnnnnC.AR(P)模型的极大似然估计假定模型AR(p)中的为正态分布，则观测向量的高斯似然函数为相应的对数似然函数为其中，为的协方差阵，表示的行列式，使得对数似然函数达到极大值的和称为和的极大似然估计。}{tTnnxxx),,,(x21)xx21exp(|Γ|)2(),,,|,α(1212212nnTnnnnxxxLnnTnnnnxxxlxx21|Γ|21)2log(2),,,|,α(121212||nΓnΓTnxxx),,,(21nΓ),,,|,(212nxxxlααˆ22ˆα从另一角度考虑：.)2ln(2,)α(21)ln(2)(21)ln(2),α(}.)(21exp{)2(),α(,,).21exp()2(,,22121222121222112221是常数其中为相应的对数似然可定义的似然函数于是可得基于有联合密度函数服从正态分布，则由于pNccSpNcxxpNlxxLxxnptpjjtjtnptpjjtjtpnnnpttpnnpt的最小二乘估计。的最小值点，从而是的最大值点实际上是容易看出，是常数这里，表达式，得到将上式代入于是，得的最大值点，解方程为求α)α(),α(.)α(21)}α(ln{2),α(),α().α(10)α(212),α(),α(200222242222SlccSSpNllSpnSpnll注：当n充分大时，AR(p)模型参数的极大似然估计、最小二乘估计和矩估计(Yule-Walker估计)三者都非常接近，即三者渐近相等，它们都可以作为AR(p)模型的参数估计，这是AR(p)模型的独有的优点。例1.1.由下列AR(1)序列产生长度为n=300的样本，计算出前5个样本自协方差函数值为求参数的矩估计和最小二乘估计。(1)参数的矩估计分别为将样本自协方差函数值代入得)1,0(~,5.01NXXtttt0123.0,1773.0,3886.0,7771.0,5419.143210rrrrr21,21ˆ,ˆ11021011ˆˆˆˆ,ˆˆ/ˆˆrrrr150.1ˆ,504.0ˆ21(2)参数的最小二乘估计分别为21,21ˆ,ˆ074.1ˆ,506.0ˆ21例1.2求AR(2)模型参数的估计，这里n=300,(1)AR(2)模型的矩估计为ttttXXX2211221,,22110221202120221202011ˆˆˆˆˆˆˆˆˆˆˆˆˆˆ)ˆˆ(ˆˆrrrrrrrrrrrrr,24.0,121)1,0(...~Ndiit计算出的前5个样本协方差函数值为将其值代入上式得：(2)最小二乘估计2705.0,8060.0,4362.1,2171.2,7888.243210rrrrr922433.0ˆ,318064.0ˆ,047842.1ˆ221939530.0ˆ,328336.0ˆ,071838.1ˆ221注：一般在求高阶AR(p)模型参数的矩估计时，为了避免求高阶逆矩阵，可采用求偏相关函数的递推算法，求出即为的矩估计，将它们代入的表达式可得。ppppaaaˆ,,ˆ,ˆ21p,,,212ˆ2D.AR(p)模型的定阶1.偏相关函数的分析方法一个平稳序列是AR(p)序列当且仅当它的偏相关函数是p步截尾的。如果p步截尾：当时，；而，就以作为p的估计。}ˆ{,kkapkˆ0ˆ,kka0ˆˆ,ˆppapˆ定理1.3设由定义，如果AR(p)模型中的白噪声是独立同分布的，，则对确定的kp,当时，依分布收敛到k维正态分布。kjaaaaaaarrarrarrajkkkkjkjkkjkjkjjkjjkkkjkjkjjkjjkkkk,2,1)1)(())((1,1,1,,1111111110111,110111kkkkaaa,2,1,,,,4tEn)ˆ,,ˆ,ˆ(,,2,2,1,1,kkkkkkkkaaaaaan),(12kNΓ0推论：在定理1.3的条件下，对kp,依分布收敛到标准正态分布N(0,1)。根据推论，对于AR(p)序列和kp，当样本量n比较大时，以近似于0.95的概率落在区间之内。于是对于某个固定的k，以作为p的估计。kkan,ˆkkan,ˆ]/96.1,/96.1[nn}1,/96.1|ˆ:|sup{ˆ,kjnajpjj或者根据推论有如下的检验方法：对于某个正整数p,显著地异于零，而近似等于零,其满足(或)的个数占的比例近似地为68.3%(或95.5%),则近似地认为在p步截尾，初步判定为AR(p)。ppa,ˆ00,2,21,1ˆ,,ˆ,ˆppppppaaanakk/1|ˆ|,nakk/2|ˆ|,pp0}ˆ{,kka}{tX例1.3（例1.1续）使用样本偏相关函数对AR(p)的模型阶数作初步的判定。结果：取上限，样本自相关函数呈拖尾状，而从15个偏相关函数来看,除显著异于零之外，其余14个中绝对值不大于的有10个，于是结论：初步判定为AR(1)模型。150p}ˆ{k0577.0300/1/1n%3.68%43.7114/101,1ˆa前15个样本偏相关函数-0.20.00.20.40.62468101214例1.4（例1.2续）使用样本偏相关函数对AR(p)的模型阶数作初步的判定。结果：取上限，样本自相关函数呈拖尾状，而从15个偏相关函数来看，除显著异于零之外，其余14个中绝对值不大于的有9个,于是结论：初步判定为AR(2)模型。2,21,1ˆ,ˆaa150p}ˆ{k0577.0