时间序列分析

1时间序列模型参数的统计推断设平稳时间序列tX是一个ARMA(,pq)过程，即11112,~0,,,0ttptpttqtqtstXXXWNstEX其中1,,p为自回归系数，1,,q为移动平均系数。2时间序列模型参数的统计推断自协方差系数的参数估计设平稳时间序列tX的一个样本1,,Txx。样本自协方差系数11ˆ,11ˆˆ,11TkkjjkjkkxxxxkTTkT其中11TjjxxT为样本均值，则样本自协方差系数ˆk是tX的自协方差系数k的估计。3时间序列模型参数的统计推断自协方差系数的参数估计样本自相关系数0ˆˆˆ,1kkkT是tX的自相关系数k的估计。4时间序列模型参数的统计推断自协方差系数的参数估计11ˆ,11ˆˆ,11TkkjjkjkkxxxxkTTkkT有时，自协方差系数的参数估计还可以用5时间序列模型参数的统计推断ARMA(p,q)模型参数的矩估计设平稳时间序列tX是一个零均值因果ARMA(,pq)过程，现在要讨论的问题是基于样本观测值1,,Txx，给出自回归参数1,,p、移动平均参数1,,q和白噪声方差2的估计，本节将利用矩估计思想给出ARMA(,pq)模型的参数估计。6时间序列模型参数的统计推断ARMA(p,q)模型参数的矩估计运用pq个样本自相关系数估计理论自相关系数，即111111ˆ,,,,,ˆ,,,,,pqpqpqpq解此方程组得到1ˆˆ,,p，1ˆˆ,,q即为1,,p，1,,q的矩估计。7时间序列模型参数的统计推断自回归AR(p)模型参数的Yule-Walker估计根据AR(p)模型的特征，自回归系数1,,p由AR(p)模型的自相关系数惟一确定，即满足Yule-Walker方程：01121111022211220pppppppp8时间序列模型参数的统计推断自回归AR(p)模型参数的Yule-Walker估计1011110222120pppppp设平稳时间序列tX的一个样本为1,,Txx，只要1,,Txx不完全相同，则由ˆk构成的样本的自协方差系数阵011102120ˆˆˆˆˆˆˆˆˆˆTTTTT是正定矩阵。对于任意的1kT，根据正定阵的性质，由于ˆk是ˆT的主子式，因此ˆk也是正定的。类似地，对于任意的1kT，相应的样本自相关系数矩阵111212ˆˆ1ˆˆ1ˆˆˆ1kkkkkR也是正定的。11时间序列模型参数的统计推断自回归AR(p)模型参数的Yule-Walker估计11011110222120pppppp2011pkkk12时间序列模型参数的统计推断自回归AR(p)模型参数的Yule-Walker估计自回归系数1,,p的唯一解11101110222120ˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆpppppp13时间序列模型参数的统计推断自回归AR(p)模型参数的Yule-Walker估计201ˆˆˆˆ1pkkk称为自回归参数1,,p的矩估计或者为Yule-Walker估计14时间序列模型参数的统计推断自回归AR(p)模型参数的Yule-Walker估计设tX为AR(2)序列，21122,~0,tttttXXXWN试给出AR(2)模型参数212,,的Yule-Walker估计。15时间序列模型参数的统计推断自回归AR(p)模型参数的Yule-Walker估计12,的Yule-Walker估计为101111022ˆˆˆˆˆˆˆˆ解之得2111ˆ1ˆˆˆ1，221221ˆˆˆˆ1。16时间序列模型参数的统计推断自回归AR(p)模型参数的Yule-Walker估计2的矩估计为20112222221012211ˆˆˆˆˆˆ1ˆˆˆ1ˆˆˆ1ˆˆ1117时间序列模型参数的统计推断移动平均MA(q)模型参数的矩估计设平稳时间序列tX是一个零均值MA(q)序列，211,~0,tttqtqtXWN基于样本观测值1,,Txx，给出移动平均系数1,,q和白噪声方差2的矩估计。18时间序列模型参数的统计推断移动平均MA(q)模型参数的矩估计222012111,1,2,qkkkqqkkq利用19时间序列模型参数的统计推断移动平均MA(q)模型参数的矩估计用ˆ(0,,)kkq代替(0,,)kkq，代入，得到22201211ˆ1ˆ,1,2,qkkkqqkkq由此可以给出参数的矩估计，但是此方程是非线性的，实际求解一般比较困难。20时间序列模型参数的统计推断ARMA(p,q)模型参数的矩估计设平稳时间序列tX是一个零均值ARMA(,pq)序列，21111,~0,ttptpttqtqtXXXWN进一步地设模型是因果的和可逆的。1,,Txx是ARMA(,pq)序列tX的一个样本观测值。我们要讨论的问题是基于样本观测值1,,Txx，给出ARMA(,pq)模型参数1,,p，1,,q和白噪声方差2的矩估计。21时间序列模型参数的统计推断ARMA(p,q)模型参数的矩估计根据ARMA(,pq)模型的自协方差系数的特点，1,,p满足如下方程组11211112221122qqqppqqqqppqqpqpqpqp23时间序列模型参数的统计推断ARMA(p,q)模型参数的矩估计11111122212ˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆqqqqpqqqpqqpqpqpqp24时间序列模型参数的统计推断ARMA(p,q)模型参数的矩估计1,,q，2满足22201211ˆ1ˆ,1,2,qkkkqqkyykq其中00ˆˆˆˆ,0,1,,ppkijijkijykq25时间序列模型参数的统计推断ARMA(p,q)模型参数的矩估计我们约定0ˆ1，上述方程的解即为1,,q，2的矩估计。与MA(q)模型参数的矩估计类似，这是一个非线性方程组，只有在1q或者2时才可以较容易求出，当阶数q很高时，很难求出1,,q，2的显式解，一般只能通过数值解法得到1,,q，2的矩估计。26时间序列模型参数的统计推断极大似然估计考察下面ARMA(,pq)模型1111,ttptpttqtqXXX其中t为白噪声，满足20,0ttstsEEts1,,Txx是ARMA(,pq)序列的一个样本观测值，我们将要讨论的是根据极大似然原理，给出模型参数1,,p，1,,q和白噪声方差2的极大似然估计。27时间序列模型参数的统计推断极大似然估计首先需要给定样本1,,Txx的联合分布，1,,;TFxxθ其中211,,,,,,pqθ,这就转化为要求事先给出白噪声t的具体分布.28时间序列模型参数的统计推断极大似然估计我们可以假设t服从正态分布，即2~...0,tiidN尽管这个假设要求比较高，但是，从理论上说由此得到的估计ˆθ也常常适合于非正态分布情况。求最大似然估计一般包含两步，第一步，计算似然函数。第二步，求使得这个似然函数达到最大的θ值。不像以前独立同分布样本计算似然函数那么容易，由于在这个问题中样本1,,Txx不是相互独立的，也不是同分布的，所以如何计算ARMA(,pq)的样本1,,Txx的似然函数是本节的一个重要工作。29时间序列模型参数的统计推断AR(1)模型的极大似然估计设1,,Txx是AR(1)序列的一个样本观测值，1,tttXX假设白噪声2~...0,tiidN，此时参数为2,θ。30时间序列模型参数的统计推断AR(1)模型的极大似然估计首先考察样本中第一个1X的概率分布，由前面的讨论222110,1EXEX因为t是正态分布的，所以1X也服从正态分布，则1X的概率分布1221122221;,exp2121Xxfx31时间序列模型参数的统计推断AR(1)模型的极大似然估计接下来考察样本中第二个2X在第一个11Xx已知的条件下的概率分布，由于212,XX当11Xx已知时，根据正态分布的性质，2X也为正态分布，并且22111211,EXXxxVarXXx22111~,XXxNx32时间序列模型参数的统计推断AR(1)模型的极大似然估计2X在第一个11Xx已知的条件下的概率分布为2122122121;,exp22XXxxfxx33时间序列模型参数的统计推断AR(1)模型的极大似然估计根据初等概率论的乘法公式，12,XX的联合分布为12121222,12121,;,;,;,XXXXXfxxfxfxx34时间序列模型参数的统计推断AR(1)模型的极大似然估计类似地，样本中第三个3X在前两个已知的条件下的概率分布为3212322321,21,;,exp22XXXxxfxxx再利用乘法公式，得到123,,XXX的联合分布12312321121321222,,123,12321,222121321,,,;,,;,,;,;,;,,;,XXXXXXXXXXXXXXfxxxfxxfxxxfxfxxfxxx35时间序列模型参数的统计推断AR(1)模型的极大似然估计一般地，样本中第t个tX在前-1t个已知的条件下，由于模型的特点，实际上前-1t个11,,tXX只有1tX作用于tX，因此有11122111,,212,,;,;,1exp22ttttttttXXXXXttfxxxfxxxx36时间序列模型参数的统计推断AR(1)模型的极大似然估计则前t个1,,tXX的联合分布1111111112,,,1122,,1111,,22,,111,,,;,,,;,,,;,,,;,;,ttttttttXXXttXXtttXXXXXtttXXfxxxfxxfxxxfxxfxx