时间序列分析(全)

目录第一章随机过程简介第二章时间序列分析简介第三章ARMA模型的特性第四章平稳时间序列的建立第五章平稳时间序列的预测《时间序列分析》第一章随机过程简介一.随机过程理论的产生和发展随机过程的研究起源于生产、科研中的实际问题，其理论产生于二十世纪初期。特别是，在1929年由柯尔莫哥洛夫（A.H.Kolmogorov）奠定了概率论的数学基础之后，随机过程理论得到了更快、更深刻的发展。二、随机过程的应用事实上，在水资源科学、水利工程、土木工程、电气、通讯工程、经济管理、理论物理等学科领域，到处能找到应用随机过程的实例。随着人们对自然现象的认识愈来愈深入，随机过程已被广泛地应用于自然、社会科学的各个领域，大有“水银泻地无孔不入”之势，并在研究和解决实际课题的过程中起到了重大的作用。第一节随机过程的基本概念及分类随机过程（S.P）的基本概念S.P的分类及几种重要S.P简介S.P的基本概念S.P及其有穷维分布族S.P的数字特征多(两)个S.P的统计特性及复S.P1.1S.P及其有穷维分布族1、概念(1)实例概率论主要研究的对象是r.v.，即所研究的随机试验的结果是可用一个或有限个r.v.描述的随机现象。随着科学技术的发展，有些随机现象仅用一个或有限个r.v.来描述是不够的，必须用无穷多个r.v.来描述。例如：(i)某电话交换台在时段[0,t]内接到的呼唤次数是一个与t有关的r.v.Xt()，对于固定的t，Xt()是r.v.，它可取任意的非负整数0，1，2，···，当t在[0，）上变化时，可得到一族无穷多个r.v.{Xt()，t[0，)}。(ii)考虑某生物群体的发展过程。令Xn()表示该群体第n代成员的个数，当n固定时，Xn()是r.v.，它可能取值0,1,2,···，这时，需要研究的是一列r.v.{Xn(),nZ+}。(iii)悬浮在液面的微粒，由于受到分子的随机碰撞作杂乱无章的运动。令（Xt()，Yt()）表示在t时刻微粒的位置，则当t固定时，它是二维r.v.。在时段[a,b]观测微粒的运动，便得到一族无穷多个二维r.v.{（Xt()，Yt()），t[a,b]}，这就是物理学中的布郎运动。(2)定义1.1设(,F，P)是概率空间，TR，若对任意tT，都有(,F，P)上的一个r.v.与之对应，则称r.v.族{Xt()，tT}是(,F，P)上的一个随机过程，可记为S.P.。T称为参数集，通常表示时间。物理解释：Xt()也可记作X(t，)，Xt或X(t)，表示在时刻t系统的状态。X(t)的状态全体称为状态空间或相空间，记为E或I。数学解释：可认为{Xt()，tT}是定义在T上的二元函数。当t固定时，Xt()是r.v.，当固定时，Xt()是定义在T上的普通函数，称为随机过程的样本函数或轨道，样本函数的全体称为样本函数空间。有穷维分布函数族(1)定义1.2给定随机过程{X(t)，tT}，则对任意nZ+和t1,···,tnT，随机向量（X(t1),···,X(tn)）’的分布函数}x)t(X,,x)t(X:{P)t,,t;x,,x(Fnn11n1n1})(,,)({nn11xtXxtXP称为{X(t)，tT}的n维分布函数；这些分布函数的全体},,,),,,;.,({ZnTttttxxFFn1n1n1称为{X(t)，tT}的有穷维分布函数族。(2)有穷维分布函数族的性质(i)对称性：对于参数t1,···,tn的任意排列n1iitt,,(ii)相容性：当mn时);,,;,,(),,;,,(n1n1iiiittxxFttxxFn1n1).,,,,,;,,,,,(),,;,,(n1mm1m1m1m1ttttxxFttxxF反之，可以证明：给定相容性和对称性的分布函数族F，一定存在概率空间及其上的随机过程，它的有穷维布函数族是F。这就是著名的柯尔莫哥洛夫(A.N.Kolmogorov)定理(3)有穷维特征函数族称为{X(t)，tT}的n维特征函数；n1kkkn1tXin1ttEe)(,,),,(},,,),,,({,,ZnTttn1n1ttn1称为{X(t)，tT}的有穷维特征函数族。由于r.v.的特征函数与分布函数有一一对应关系，所以，可以通过S.P.的有穷维特征函数族来描述它的概率特性。1.2随机过程的数字特征1、均值函数定义1.3对于随机过程{X(t)，tT}，若对任意tT，EX(t)存在，则称函数由于随机过程{X(t)，tT}是两个变量t的函数，故可有两种取平均的方法。其一是固定t后，对X(t)=X(t)取平均，称为集平均或统计平均；其二是固定后，对样本函数x(t)取平均，称为时间平均。理论上通常用前者，应用上则常用后者。TttEXtmtmX),()()(为S.P.的均值函数。2、自协方差函数、自相关函数与方差函数定义1.4对于随机过程{X(t)，tT}，若对任意tT，E[X(t)]2存在，则称函数TtstmtXsmsXEtsCtsCX,)]},()()][()({[),(),(为S.P.的（自）协方差函数。TttmtXEtDtD2X,)]()([)()(;,)],()([),(),(TtstXsXEtsRtsRX分别称为S.P.的（自）相关函数和方差函数。3、互协方差函数与互相关函数定义1.6对于S.P.{X(t)，tT}，{Y(t)，tT}，若对任意tT，E[X(t)]2、E[Y(t)]2存在，则称函数TtstmtYsmsXEtsCYXXY,)]},()()][()({[),(为S.P.{X(t)，tT}与{Y(t)，tT}的互协方差函数。;,)],()([),(TtstYsXEtsRXY称为S.P.{X(t)，tT}与{Y(t)，tT}的互相关函数。易知;Tt,s),t(m)s(m)t,s(R)t,s(CYXXYXY定义1.7若CXY(s,t)=0，则称S.P.{X(t)，tT}与{Y(t)，tT}互不相关；若对任意的n,mZ+，随机向量(X(t1),···,X(tn))’与(Y(s1),···,Y(sm))’相互独立，t1,···,tn；s1,···,smT，则称S.P.{X(t)，tT}与{Y(t)，tT}相互独立。易知S.P.{X(t)，tT}与{Y(t)，tT}相互独立它们互不相关，即CXY(s,t)=0，亦即RXY(s,t)=E[X(s)]E[Y(t)]，反之不然。S.P.{X(t)，tT}与{Y(t)，tT}称为是正交的，若对任意的s，tT，有E[X(s)Y(t)]=0。1.3S.P.的分类及几个重要的S.P.简介S.P.的分类几个重要的S.P.简介一、随机过程的分类1、按参数集T及状态空间E离散与否分类可分成四类，如下表所示：类别1234T离散YYNNE离散YNYN注意：这种分类是完备的，但是其概率结构意义并不明确。2、按概率结构分类(1)独立随机过程对于任意n个不同的参数t1,···,tnT，r.v.X(t1),···,X(tn)相互独立，这样的S.P.称为具有独立r.v.的随机过程，简称独立随机过程。(2)独立增量过程若参数t1,···,tnT满足t1t2···tn，r.v.的增量X(t2)X(t1),X(t3)X(t2),···,X(tn)X(tn1)相互独立，这样的S.P.称为具有独立增量的随机过程，简称独立增量过程。这种分类也把S.P.分成四类如下：(3)马尔可夫过程（马氏过程）设参数t1,···,tnT满足t1t2···tn，若},x)t(X|x)t(X{P}x)t(X,,x)t(X|x)t(X{P1n1nnn111n1nnn则称该过程为马尔可夫过程，简称“马氏过程”。马氏过程的特点：已知现在，将来与过去无关。(4)平稳随机过程直观的说：该过程的统计特性不随时间的转移而变化，其严格的定义及有关知识将在后面介绍，简称平稳过程二、几个重要的随机过程1、独立增量过程若{X(t)，tT}是独立增量过程，则对t1t2···tn，r.v.的增量X(t2)X(t1),X(t3)X(t2),···,X(tn)X(tn1)相互独立。该过程也叫”可加过程“。此时，限制T=[0，），且让X(0)=0，(a.e.)。于是，对于0=t0t1t2···tn，有.)]()([)(11kiiiktXtXtX若对任意的0，该过程的增量X(t+)X(t)的概率分布仅依赖于而与t无关，则称其为齐次（时齐）独立增量过程，或称其具有平稳增量，即平稳独立增量过程。关于独立增量过程有如下两个结论：定理1若{X(t)，tT}是独立增量过程，且X(0)=0，(a.e.)，则该过程必为马氏过程。定理2独立增量过程的有穷维分布族可由其一维分布和增量的分布所确定。2、正态过程(1)定义若过程{X(t)，tT}任意有穷维分布都是正态的，则称该过程为正态过程或高斯(Gauss)过程。由于对任意nZ+,t1,···,tnT，随机向量(X(t1),···,X(tn))’是一个n维正态随机向量，故第一章中关于正态随机向量的结论此处均可加以应用。事实上，它的概率密度是)}mx()'mx(21exp{||)2(1)t,,t;x,,x(f12/12nn1n1其中，x’=(x1,···,xn)，m’=(m(t1),···,m(tn))，))t(X),t(Xcov()t,t(C,))t,t(C(jijinnji(2)正态过程的几个重要性质(i)正态过程的统计特性由它的均值函数m(t)及自协方差函数C(ti,tj)或相关函数R(ti,tj),i,j=1,···,n完全确定。(ii)对应于正态过程的任一n维随机向量，其互不相关性等价于相互独立性。(iii)正态过程的任正态性在线性变换下保持不变。这一性质告诉我们：若随机系统是线性系统，则当输入(激励)是正态过程时，其输出(响应)仍是正态的。3、维纳(Weiner)过程(1)定义随机过程{W(t)，t0}称为参数为2的维纳过程，如果它满足：(i)W(0)=0，(a.e.)；(ii)W(t)是独立增量过程；(iii)对任何s,t0，W(t)W(s)~N(0，2|ts|)。(2)有关维纳过程的几个结论(i)维纳过程{W，t0}是正态过程。当=1时，称它为标准维纳过程。(ii)维纳过程{W(t)，t0}是马氏过程，其转移概率密度（ts0）是}.)st(2)xy(exp{)st(21)y,t;x,s(f)x|y(f222W|Wst(iii)维纳过程{W，t0}的均值函数、方差函数和相关函数分别是1°m(t)=E[W(t)]=0;2°D(t)=D[W(t)]=2;3°R(t1,t2)=2min(t1,t2).4、泊松(Poisson)过程(1)概念随机服务系统设N(t)表示在时间段[0，t]到达服务机构的顾客数，则{N(t)，t0}是随机过程。由于状态空间E={0，1，2，···}，故{N(t)，t0}称为计数过程。由于N(t)是时间段[0，t]某事件发生的次数，从而{N(t)，t0}也称为“事件流”(2)假设(i)零初值：N(0)=0；(ii)增量平稳性：对任意a,t0，N(a+t)N(a)的概率与a无关，即P{N(t+t)N(t)=k}=P{N(t)=k}=pk,k=0,1,2,···;(iii)增量独立性：(iv)单跳跃性：在时间段t内，某事件发生两次或两次以上的概率是t的高阶无穷小，即P{N(t)2}=0(t)；(v)随机性：对任意的t0，0p0(t)1.(3)定义若取非负整数值的计数过程{N(t)，t0}