随机过程-第四章-更新过程

第四章更新过程4.1更新过程定义上一章我们看到泊松过程的到达时间间隔是服从独立同分布的指数随机变量。现将其进行推广，考虑到达时间间隔服从独立同分布，但分布函数任意，这样得到的计数过程称为更新过程。设,1,2,nXn是一列服从独立同分布的非负随机变量，分布函数为()Fx，为避免显而易见的平凡情形，假设(0)01nFPX。将nX解释为第1n个与第n个事件之间相距的时间，记0()()nEXxdFx为相继发生的两事件的时间间隔的均值，且有0。令01,1,0nniiTXnT，显然，nT表示第n个事件发生的时刻。因为至时刻t为止已发生的事件个数等于使第n个事件在时间t或t之前发生的最大的n值，所以到时刻t时刻已发生的事件的个数()Nt为()sup,nNtnTt定义4.1更新过程：计数过程(),0Ntt称为更新过程。在更新过程中我们将事件发生一次叫做一次更新，从而nX就是第1n次与第n次更新相距的时间，nT表示第n次更新发生的时刻，而()Nt就是t时刻或t时刻之前发生的总的更新次数。更新过程一个典型的例子是机器零件的更换。我们首先要回答是第一个问题是在有限时间内是否会有无限多次更新发生。答案是不会发生这种情况的概率为1。由强大数定律可知1niinXTnn以概率1成立。因0，这意味着当n时，nT，这即是说无穷多次更新只可能在无限长的时间内发生，因此在有限时间内至多只能发生有限次更新。因此，更新过程亦可写成()max,nNtnTt4.2()Nt的分布()Nt的分布至少在理论上能够得到，首先我们注意这样一个重要的关系：到时刻t为止的更新次数大于或等于n当且仅当在t之前或在时刻t发生第n次更新，即()nNtnTt所以1()()()1nnPNtnPNtnPNtnPTtPTt且因为随机变量,1,2,nXn服从独立同分布且分布函数为()Fx，记nF为nT的分布函数，则nF是F自身的n次卷积。因此可得1()()()nnPNtnFtFt令()[()]MtENt，称()Mt为更新函数。命题4.11()()nnMtFt证明：对()Nt重新定义为1()nnNtI，其中1,[0,t]0,nnI若第次更新发生在内其它因此11111[()][]()()nnnnnnnnnnENtEIEIPIPTtFt这其中由于nI非负，求期望与求和顺序交换是合理的。注：对于泊松过程，()[()]MtENtt。（请同学们自证）命题4.2()Mt是不减函数，且对一切0,()tMt。证明：因为()Nt是不减函数，所以()Mt也是不减的。接下来证明()Mt的有限性。由于(0)01nFPX，因此存在0a，使得0nPXa，从而1nPXa。而()nnnFaPXaPXaPXa为避免因可能的nnPXaPXa造成的()1nnFaPXaPXaPXa的情况，不妨取0ba，则有()1nnFbPXbPXa又对任意固定的t，总能找到一正整数k，使得kbt，所以12,,,ckkkTtTkbXbXbXb（思考如果是12,,,kXbXbXb成立吗？）于是121,,,1[1()]1kkkPTtPXbXbXbFb这其中利用了,1,2,nXn的独立同分布性质，这里[1()](0,1)kFb。又因为02(1),,,mkkkkmkmkTtTTtTTtTTt而且更新区间（相当于时间间隔）服从独立同分布，即02(1)0,,,[][]mmkkkmkmkkkPTTtTTtTTtPTTtPTt所以[](1)mmmkkPTtPTt对任意整数0j，有mkjmkTtTt所以(1)1mknmknmkPTtkPTt综合以上得11111213112(1)111111111111()()[](1)nnnnknnnnkkkknnnnnknkmkknnnmnmkknmknmkmnnmknnMtFtPTtPTtPTtPTtPTtPTtPTtPTtPTtkPTtPTtkkPTt因此，命题4.2得证。例4.1考虑一个时间离散的计数过程{(),1,2,}Ntt，在每个时刻独立地做贝努利试验，设成功的概率为P，失败的概率为1P。以试验成功作为事件（更新），则此过程是更新过程。求{()}PNtn和更新函数()Mt。解：依题意易知，过程的时间间隔iX服从独立的同几何分布，即1{}(1),1,2,,1,2,niPXnPPin则第k次成功（更新）发生的时刻1kkiiTX具有负二项分布11(1),{}0,kknknkCPpnkPTnnk上式表示：在第n次贝努利试验取得第k次成功（更新）的概率。因此11111111{()}()(){}{}(1)(1)kkkkttkknkkknknnnknkPNtkFtFtPTtPTtCPpCPp更新函数1()[()]{()}knMkENtrPNtr4.3更新定理在讨论更新定理之前，我们先讨论若干极限定理，这对于我们更好地理解更新定理有所帮助。若以()lim()tNNt记所发生的更新总数，易知以概率1保证()N。这是因为使所发生的更新总数()N有限的唯一方法是有一个到达时间间隔为无大，即11(),0nnnnnPNPXnPXPX？（对比有限t的情形）于是当t趋于无穷时()Nt趋于无穷。接下来，我们还需要进一步考虑的是()Nt趋于无穷的速度，即要考虑()limtNtt的情况。为考虑()Nt的发散速度，我们先考虑到达时刻()NtT（()NtT表示在时刻t或时刻t之前最后一次更新发生的时刻，以此类推，则()1NtT表示在时刻t之后第一次更新发生的时刻）。利用()NtT和()1NtT，我们提出并证明以下命题。命题4.3当t时，以概率1保证()1,()nNtEXt。证明：因为()()1NtNtTtT，于是有()()1()()()NtNtTTtNtNtNt其中，()()NtTNt表示前()Nt个事件（或更新）到达时间间隔的均值，由强大数定律可得，当()Nt时，()()NtTNt。但由于t时()Nt，所以当t时，()()NtTNt。又()1()1()1()()1()NtNtTTNtNtNtNt，类似地可推得当t时，()1()NtTNt。利用极限的夹逼定理可知，当t时，()tNt。因此命题4.3得证。命题4.3的解释：以概率1保证，长时间后更新发生的速率将等于1。因此，1称为更新过程的速率。接下来我们感兴趣的是更新过程平均速度的期望()Mtt是否也同样收敛于速率1。然则，在考虑()Mtt的收敛问题之前，我们先讨论两个相用的知识点：停时与瓦尔德等式。定义4.2停时：设12,,XX为一列独立随机变量，若对一切的1,2,n，事件Nn与12,,nnXX独立，则称整值随机变量N为序列12,,XX的停时。定义4.2的理解：我们依次观察诸nX，以N记在停止观察之前所观察的次数。若Nn，则在观察1,,nXX之后与观察12,,nnXX之前我们停止观察。例4.2（a）掷硬币试验的停时：设,1,2,nXn相互独立且使得101,02nnPXPX表示反面,1表示正面如果令1min,10nNnXX则N是一个停时，即在连续掷硬币试验过程中，当出现硬币正面次数达到10次时停止试验。定理4.1瓦尔德等式：若12,,XX是独立同分布的随机变量，期望有限，且N是12,,XX的停时，使得[]EN，则1[][][]NnnEXENEX证明：令1,0,nNnINn则有11NnnnnnXXI因此111[][][]NnnnnnnnnEXEXIEXI1nI当且仅当我们连续观察11,,nXX之后不停下来。所以nI由11,,nXX决定而与nX独立。因此可得11111[][][][][][][][][]nnNnnnnnnnnXInnnEXEXIEXEIEXEIEXPNnEXEN独立同分布，且与独立其中，由命题4.1可知，因()nNtnTt，即11[]nnnPNnPTtEN。例4.2（a）掷硬币试验中，根据瓦尔德等式，11[][]10[]202NEXXENEN命题4.4若，则()1[][()1]NtETMt命题4.4相当于书（张波著）中第50页例4.2.1中的瓦尔德等式。在此我们将其作为瓦尔德等式定理在更新过程中的应用而成立的一个命题。我们以下给出与书中不同的另一证明过程。证明：以12,,XX记一更新过程的到达时间间隔，在时刻t之后的第一次更新即()1Nt次更新时刻停止。现在我们证实()1Nt是序列tX的停时，注意到111()1()1,nNNtnNtnXXtXXt因此事件()1Ntn只依赖于1,,nXX，故与12,,nnXX独立；因此()1Nt是一个停时。根据瓦尔德等式可得，当[]EX时，1()1()1[][][()1][][][()1][()1]NtNtEXXEXENtETEXENtMt现在我们可以给出并证明更新过程平均速度的期望()Mtt的收敛问题答案，即Feller基本更新定理。定理4.2Feller基本更新定理：当t时()1Mtt，若1,0。证明：设。显然有()1NtTt，取期望并利用命题4.4的结论可得[()1]()11MttMttt从而推出()1liminftMtt另，对一固定常数M，定义一个新的更新过程,1,2,CnXn如下：,,1,2,,nnCnnXXMnXMXM当当令1,()sup,nCCCCniniTXNtnTt。由于CnXM，则()1CCNtTtM。根据命题4.4的结论可得[()1]CMMttM其中，[],()[()]CCCMnEXMtENt。从而可推得()1limsupCMtMtt根据更新过程,1,2,CnXn的定义可知，CnnXX，从而CnnTT，()()CNtNt，()()CMtMt，因此()1limsupMtMtt令M，则有,()()CCnnMXXMtMt，从而可进一步推得()1limsuptMtt因此1()()1liminf,limsupttMtMttt根据上下极限与极限的关系可知，当t时，()1Mtt，即定理4.2成立。当时，注意到更新过程,1,2,CnXn的定义，仅当M时，。从而根据上述当时的证明过程可知，定理4.2的结论同样成立。注：对比命题4.3和定理4.2，乍看定理4.2似乎是命题4.3的简单推论，即平均更新速率以概率1收敛于1即蕴含着平均更新速率