第三章马尔科夫过程

第三章马尔科夫过程马尔科夫（Markov）过程是无后效性的随机过程。它在近代物理、生物学、管理科学、信息与计算科学等领域都有重要应用。本章主要介绍马尔科夫过程的定义、转移概率及其关系、转移概率的极限性态，并着重讨论马尔科夫链以及两种特殊的马尔科夫过程---泊松过程和维纳过程。§3.1马尔科夫过程及其转移概率分布一、马尔科夫过程概念在自然界中有一类随机过程具有所谓的无后效性：当过程在时刻0tt所处状态为已知时，过程在时刻0tt所处状态的概率特征仅与过程在时刻0tt所处状态有关，而与过程在时刻0tt所处状态无关。如果把0t时刻作为“现在”，把0t时刻之后的时刻作为“将来”，把0t时刻之前的时刻作为“过去”，那么无后效性也可解释为：过程在已知现在状态的条件下，将来的状态仅与现在的状态有关，而与过去的状态无关。例1．一个质点在实轴上做随机移动，它在零时刻处于原点位置，每个单位时间左移或右移一个单位长度。左移的概率为p)10(p，右移的概率为q)1(pq。该质点在第n个单位时刻到达的位置记为)(nX),2,1,0(n，这是一个随机序列。很显然，已知质点的现在位置，将来的情况仅与现在的位置有关，而与过去的情况无关。所以随机序列)(nX具有无后效性。例2．电话交换台在t时刻之前（时间],0[t内）到来的呼唤次数)(tX是一个随机过程。已知现在0t时刻之前到来的呼唤次数，未来t)(0tt时刻之前到来的呼唤次数仅与0t时刻之前到来的呼唤次数有关，这是因为时间],0[t内到来的呼唤次数等于时间],0[0t内到来的呼唤次数加上时间],(0tt内到来的呼唤次数，而],(0tt内到来的呼唤次数与0t时刻之前到来的呼唤次数相互独立。因此，随机过程)(tX具有无后效性。例3．将一颗花粉粒子放在水面上，由于水分子的撞击，它在水面上随机地游动，这种游动在物理学中称为布朗运动。在水面上作直角坐标系，取花粉粒子运动的起点位置为原点。花粉颗粒在t时刻所处位置的横坐标和纵坐标分别记为)(tX和)(tY。显然花粉颗粒的随机游动具有无后效性，因而)(tX和)(tY都是无后效性的随机过程。定义1：设随机过程}),({TttX的状态空间为E,如果对于任意的Ttttnn11,,,,且11nnttt，x)(nXqp0)0(X0xy