时间序列分析-第二章-自回归模型

第二章自回归模型本章目录推移算子和常系数差分方程自回归模型及其平稳性序列的谱密度和Yule-Walker方程平稳序列的偏相关系数和Levinson递推公式序列举例)(pAR)(pAR§2.1推移算子和常系数差分方程一.推移算子对任何时间序列和无穷级数只要级数在某种意义下收敛，就定义并称B是时间t的后向推移算子，简称推移算子。推移算子有称为时滞算子或延迟算子，推移算子的性质：（1）对和t无关的随机变量Y有BY=Y，（2）（3）{}tX()jjjzbzjtjjbX()()jjjjtjtjtjjjbXbXbX()nntttnBaXaBXaX()nmnmtttnmBXBBXX（4）对多项式（5)对多项式的乘积有(6)对时间序列，,多项式和随机变量U,V,W有00()()ppjjtjtjjjzczBXcX有0()pjjjjjzczz和(z)=d()()Azz(z)()()[]()]tttABXBXBX(z)(B)[{}tX{}tY0()pjjjzcz()()()()(1)ttttBUXVYWUBXVBYW二.常系数齐次线性差分方程给定p个实数,我们称为p阶齐次常系数线性差分方程，简称齐次差分方程。满足上式方程的实数列称为它的解，满足上式的实值（或复值）时间序列也成为它的解。上式的解可以由p个初值逐次递推得到若初值是随机变量则递推得到的是时间序列。12,,,0ppaaaa1122[]0,tttptpXaXaXaXtZ1122112211[],1[],0tttptptptttptppXaXaXaXtpXXaXaXaXtpa用推移算子把差分方程写成称为差分方程的特征多项式。解有线性性质：和{Yt}是解，则也是解。差分方程的基础解：设多项式A(z)是k个互不相同的零点，其中zj是r(j)重零点。可以证明对每个zj有1()0,,()10,1pjtjjABXtZAzazz其中()Az{}tX+ttXY12,,kzzz'()0,0,1,2,()1tjABtzlrj证明:设A(z)有分解则有1()11()1()(1)()(1)krjjjkrjjjAzzzABzB齐次线性差分方程的通解定理1.1设A(z)是k个互不相同的零点其中zj是r(j)重零点。则是（1.2）的p个解，而且（1.2)的任何解都可以写成这p个解的线性组合（1.7）其中的随机变量可以由的初值唯一决定，（1.7）称为齐次线性差分方程（1.2）的通解。12,,kzzz{},0,1,2,()1,1,2,tljztlrjjk()1',10,rjkttljjjlXUtztZ,ljU{}tX差分方程（1.2）的实值解可以表示为可以由初始值唯一决定。通解的收敛性如果差分方程的特征多项式A(Z)的根都在单位圆外：取于是方程的任意解满足称Xt以负指数阶收敛到0.()1',10cos(),rjktljjjjjlVtttZ,,{,}ljljV1,1,2,()0,1jzjkAzz或1min{:1,2},(/)()jllttjjzjktztzo则()..,ttXoast通解不收敛的情形如果特征多项式有单位根，则方程有一个周期解如果单位圆内有根，则方程有一个爆炸解cos(),tjXttZ1()cos(),tjjXttZ非齐次线性差分方程及其通解设{Yt}为实值时间序列（1.10）满足（1.10）的时间序列称为（1.10）的解。如果有（1.10）的某个解，则通解可以写成(),ttABXYtZ()1(0)',10,rjktttljjjlXXUtztZ§2.2自回归模型及其平稳性例子：单摆的120个观测值(a=-0.35)020406080100120-4-202468单摆的120个观测值(a=-0.85)：020406080100120-8-6-4-202468单摆的10000个观测值(a=1)：010002000300040005000600070008000900010000-80-60-40-20020406080100单摆的120个观测值(a=-1.25)：020406080100120-4-3-2-10123x1012模型定义2.1（模型）如果是白噪声WN(0，),实数使得多项式A(z)的零点都在单位圆外则称P阶差分方程是一个p阶自回归模型，简称为模型)(pAR)(pAR{}t212,,,0ppaaaa1()10,1pjjjAzazz1,ptjtjtjXaXtZ)(pAR满足模型(2.5)的平稳时间序列称为（2.5）的平稳解或序列称为模型的自回归系数。称条件（2.4）是稳定性条件或最小相位条件。A（z）称为模型（2.5）的特征多项式。的平稳解设多项式A(Z)的互异根是取从而有泰勒级数)(pAR)(pAR12(,,)Tpaaaa)(pAR)(pAR210t0,{}~WN(0,xx生成）1min{}jz10tjtjjXAt（B)令如果{Xt}是（2.6）的平稳解，则由此可见平稳解如果存在必然为称为平稳序列的Wold系数。10)jjjAB（B11()()()tttXABABXAB10()ttjtjjXABWold系数的推导0()jjjAzaz0记a=-1则100()()()pmjmjmjAzAzaz1=1=,1,2...0pmmjjam于是，m01=,1,2...pmmjjam于是AR(p)的平稳解及通解定理定理2.1（1）由（2.9）定义的时间序列是AR(p)模型（2.5）的唯一平稳解。（2）AR(p)的模型的通解有如下的形式(-1,010',rjkttjtjljjjjlYUtztZ）引理2设实系数多项式且满足最想相位条件则存在0使得1()10,1pjjjAzzz101,1()jjjAzzAz（z)定理2.1的证明通解与平稳解的关系AR()的通解{Yt}与平稳解有如下关系可以用此事实作为模拟产生AR()序列的理论基础。(-1,10'(),..1min{}rjkttttljjjljYXUtzoastz）其中AR序列的模拟取迭代得到取n0取50即可，但特征根接近单位圆是要取大的n0210t0,{}~WN(0,xx生成）,1,2,tn0tt+ny=xAR(p)模拟(AR(4))01020304050607080-6-4-2024601020304050607080-3-2-101234§2.3AR()序列的谱密度和Yule-Walker方程AR()序列的谱密度由线性平稳列的谱密度公式得到平稳解的谱密度如果A(Z)有靠近单位圆的根则会接近于零，造成谱密度在处有一个峰值。22022()21()2()ijjjifefAejije()jiAej22001011min{},(()()jjkjjkjljjlkklklkzocc设则）有即为复指数衰减。{Xt}序列前后的相关减少很快，称为时间序列的短记忆性。{}k自协方差函数因为AR()的平稳解为由线性平稳性质知道{Xt}为零均值，自协方差函数为10tjtjjXAt（B)20(),0,1,2...ktktjjkjEXXk谱密度的自协方差函数谱函数的定义是满足是非负可积函数。利用公式计算-=e()dikkf{}k-2l(l-j)-j=002l(l-j-k)j=0020=e()ded2ed2ikkjlljlljjkjf定理3.1如果平稳序列{Xt}的自协方差函数{k}绝对可和：则{Xt}有谱函数（3.4）由于谱函数是实值函数，所以（3.4）还可以写成k1()2ikkjfe0111()cos()[2cos()]22kkkkfkk推论3.2AR(）的平稳解序列{Xt}有谱密度Yule-Walker方程对n≥p,把的递推时写成矩阵形式的2211()22()jikkikfeAe11,,tttnXXX12111112311,1,2,12(,,...)(,,...,0,...0)ttttntttttntntntntnttnTTnnnnnpXXXXXXXXaXXXXaaaaaaa其中定义{Xt}的自协方差矩阵在上式中两边同时乘上Xt-1后取得数学期望，利用Xt与未来输入的不相关性有01111022120=nnnnnnn和n1122=a,...,1()0,1nnkkkpkpknpaaakABk22012122()()ptjtjtjpjtjtjTnnnTnnEXEaXEaXEaaa对有于是可以写成AR(）序列的自协方差函数Yule-Walker方程定理3.3（Yule-Walker方程）AR(）序列的自协方差函数满足02n0=a,=,Tnnnnanp自协方差函数的周期性对k0,定义推论3.4AR(）序列的自协方差函数满足和AR(）模型相应的差分方程证明：0k{}k()ttABX20112211...),nnnnkYaaYaYaYkZ1122t-k020(...)()()kkkpkptktjtjtkjtjkkaaaEXXaXEXEptjj=1时即定理结论。k0,例子：AR(4）模型1周期为2/(/3)=6和2/(2/3)=3AR(4）模型2AR(4）模型3/32/31234,1.09,,1.098iizzezze/32/31234,1.26,,1.273iizzezze/32/31234,1.635,,1.647iizzezzeAR(4)模型1的谱密度00.511.522.533.500.511.522.5lamda=1.1lamda=2.070510152025-1.5-1-0.500.511.522.53AR(4)模型1、2、3的谱密度00.511.522.533.500.511.522.50510152025-1.5-1-0.500.511.522.53自协方差函数的正定性AR(）平稳解唯一故自协方差函数自回归系数和白噪声唯一决定。反之，若正定，则根据Yule-Walker方程可以从解出AR(）模型的自回归系数和白噪声的方差其中许多自协方差矩阵是正定的，特别AR(）序列的自协方差矩阵总是正定的。p12,,p212,,,p1210,pppppp定理3.5设是平稳序列{Xt}的n阶自协方差矩阵，。（1）如果{Xt}的谱密度存在，则对正定；(2)如果，则对正定。证明：（1）对至多有n-1个零点。，于是n00