您好,欢迎访问三七文档
(纯不连续)马尔可夫过程马尔可夫过程的数学描述马尔可夫过程的转移概率方程马尔可夫过程的状态概率方程马尔可夫过程的稳态分布典型马尔可夫过程主要内容典型问题:(设备、系统)可靠性分析从可靠性的角度,有正常工作或修复中两种状态正常工作时间:典型地是一个负指数分布的随机变量平均正常工作时间为1/λ;损坏后的修复时间:典型地也是一个负指数分布的随机变量平均修复时间为1/μ;问:1)一个系统正常启动后,10小时以后正常工作的概率?2)系统平均无故障时间MTBF?平均修复时间MTTR?…t正常维修维修维修正常正常正常典型问题:排队论到达某个服务台的顾客流是一个强度为λ的泊松过程,单位时间到达服务台的平均人数为λ;服务台只有一个服务员,顾客所需服务时间是负指数分布的随机变量,平均服务时间是1/μ;若服务台空闲,则到达的顾客立刻得到服务;若服务员正忙,则到达的顾客必须排队等候;若顾客到达时有N人在等候,就离开且不再回来,则….问:1)t时刻系统内有n个顾客的概率2)队列长度分布?等候时间分布?多服务员?多队列?...tN(t)马尔可夫过程马尔可夫性:现在状态一确定,将来与过去无关马尔可夫过程:若t1t2...tn+1∈T马尔可夫链:离散参数、离散状态纯不连续马尔可夫过程:参数连续、状态离散齐次特性:n112nn112nn1nn1nt/t,ttttttt/tttF(x/x,x,x)F(x/x)m111mmm1mmPξ(t)j/ξ(t)i,,ξ(t)iPξ(t)j/ξ(t)i21ij21Pξ(t)j/ξ(t)ip(tt)1mm1m1m211P(x,x,x)P(x/x)P(x/x)P(x)定义马尔可夫过程的数学描述:w(t),P(t)状态概率:离散状态马氏过程,状态空间I,称其在t时刻过程取j状态的概率为wj(t)=P{ξ(t)=j}状态概率矩阵:转移概率:P{ξ(t2)=j/ξ(t1)=i}:齐次条件:转移概率只是时间差的函数Pij(t2-t1)转移概率函数非负,按j求和为1转移概率矩阵:行pi(t):前向转移列sj(t):后向转移01n(t)w(t),w(t),,w(t)w定义定义00010n10111nn0n1nnp(t)p(t)p(t)P(t)p(t)p(t)p(t)p(t)p(t)p(t)定义马尔可夫过程的数学描述:pij(t)12tt0,,1)(tIiPIjji00,()1,limijijijPij0,,,0)(tIjiPjipij(t)是t的一致连续函数且可微马尔可夫过程的数学描述:跳跃强度Q对于一个很小的正的Δt其中:称为参数连续状态离散马尔可夫过程的无穷小转移率或跳跃强度。性质:ijijijP(Δt)P(0)qΔto(Δt)ijijijΔtoP(Δt)δqlimΔt定义ijjq0ijijqΔto(Δt)δiqi1qi2qi3qi41+qii马尔可夫过程的数学描述:跳跃强度矩阵跳跃强度(转移率)矩阵:每一行的所有元素之和为零对角线上各元素为非正非对角线(i≠j)上的元素非负00010n10111nn0n1nnqqqQqqqqqqiqi1qi2qi3qi41+qii马尔可夫过程的数学描述齐次纯不连续马尔可夫过程的数学描述:转移概率:pij(t),i,j∈T转移概率矩阵pi(t):前向转移sj(t):后向转移跳跃强度矩阵:(转移率矩阵)qij=p'ij(t)状态概率矩阵:(状态矢量)00010n10111nn0n1nnp(t)p(t)p(t)P(t)p(t)p(t)p(t)p(t)p(t)p(t)00010n10111nn0n1nnqqqQqqqqqq和为零非正01n(t)w(t),w(t),,w(t)w例1:确定跳跃强度在[1,5]上有个质点在整数点上作随机游动。质点任何时刻都可能发生移动若在时刻t质点位于2~4,则在(t+Δt)中以概率λΔt+o(Δt)向右移动,以概率μΔt+o(Δt)向左移动若在时刻t质点位于1,则在(t+Δt)中以概率λΔt+o(Δt)向右移动一格;若在时刻t质点位于5,则以后远停留在5;在(t+Δt)发生其他移动的概率是o(Δt)。求跳跃强度矩阵。例x12345λΔt+o(Δt)μΔt+o(Δt)1例1:确定跳跃强度随机游动游动规则,(t,t+Δt)中,右移一格概率为λΔt+o(Δt),左移一格概率为μΔt+o(Δt);例x12345λΔt+o(Δt)μΔt+o(Δt)1解λλ000Qμ(λμ)λ000μ(λμ)λ000μ(λμ)λ00000ijijijΔtoP(Δt)δqlimΔtijjq0(纯不连续)马尔可夫过程马尔可夫过程的数学描述马尔可夫过程的转移概率方程马尔可夫过程的状态概率方程马尔可夫过程的稳态分布典型马尔可夫过程主要内容马尔可夫过程马尔可夫性:现在状态一确定,将来与过去无关纯不连续马尔可夫过程:参数连续、状态离散齐次特性:m111mmm1mmPξ(t)j/ξ(t)i,,ξ(t)iPξ(t)j/ξ(t)i21ij21Pξ(t)j/ξ(t)ip(tt)定义马尔可夫过程的数学描述:跳跃强度对于一个很小的正的Δt:其中:为无穷小转移概率变化率,称为跳跃强度性质:ijijijP(Δt)P(0)qΔto(Δt)ijijijΔtoP(Δt)δqlimΔt定义ijjq0ijijqΔto(Δt)δ马尔可夫过程的数学描述齐次纯不连续马尔可夫过程的数学描述:转移概率:pij(t),i,j∈T转移概率矩阵pi(t):前向转移sj(t):后向转移转移率矩阵:(跳跃强度矩阵)qij状态概率矩阵:(状态矢量)00010n10111nn0n1nnp(t)p(t)p(t)P(t)p(t)p(t)p(t)p(t)p(t)p(t)00010n10111nn0n1nnqqqQqqqqqq12j(t)w(t),w(t),w(t),w和为零非正研究马尔可夫过程问题的一般方法1.从实际问题,确定马尔可夫过程的描述2.确定相应的Q矩阵3.根据Q矩阵,利用概率方程确定经过一段时间的状态转移概率P(t)确定某一时刻在各个状态上的概率分布w(t)渐进分析:当t∞时,各状态概率分布w(t)的极限00011011p(t)p(t)p(t)p(t)P(t)12w(t),w(t),(t)w12w(),w(),()w00011011qqqqQ确定问题的马尔可夫性马尔可夫过程:切普曼-柯尔莫哥洛夫方程参数连续,状态离散马氏过程的C-K方程,在t1t2t3的条件下,形式为:对于齐次马尔可夫过程,则形如:另外有:312132kIPξ(t)j/ξ(t)iPξ(t)k/ξ(t)iPξ(t)j/ξ(t)kijikkjkIP(tτ)P(t)P(τ)ijijτ00,ijP(τ)δ1,ijlim马尔可夫过程:概率方程柯尔莫哥洛夫-费勒前进方程:前向转移概率方程柯尔莫哥洛夫-费勒后退方程:后向转移概率方程福克-普朗克方程:状态概率方程ijikkjkdp(t)p(t)qdtijikkjkdp(t)qp(t)dtii(t)(t)Qp'pP'(t)P(t)QP'(t)QP(t)jj(t)Q(t)s'sd(t)(t)Qdtwwjkkjkdw(t)w(t)qdt柯尔莫哥洛夫-费勒前进方程:前向转移概率方程齐次纯马氏过程的C-K方程:则:微分方程:ijikkjkP(tτ)P(t)P(τ)ijikkjkP(tΔt)P(t)P(Δt)ijikkjkdp(t)p(t)qdtijij1(ij)P(0)δ0(ij)ijikkjkP(t)P(t)[qΔto(Δt)]ijjjikkjkjP(t)P(Δt)P(t)P(Δt)ijjjikkjkjP(t)[1qΔto(Δt)]P(t)[qΔto(Δt)]初始条件:定理柯尔莫哥洛夫-费勒前进方程:前向转移概率方程矩阵形式行矢量形式:pi(t)=[pi0(t),pi1(t),pi2(t).…]微分方程:dP(t)P(t)Qdt100010001P(0)Iijij1(ij)P(0)δ0(ij)初始条件:ijikkjkdp(t)p(t)qdtiid(t)(t)QdtppthiTii(0)e(0,...0,1,0....)p柯尔莫哥洛夫-费勒后退方程:后向转移概率方程齐次纯马氏过程的C-K方程:则:微分方程:ijikkjkP(tτ)P(t)P(τ)初始条件:ijikkjkdp(t)qp(t)dtijij1(ij)P(0)δ0(ij)ijikkjkP(Δtt)P(Δt)P(t)iiijikkjkiP(Δt)P(t)P(Δt)P(t)ijikkjkP(t)[qΔto(Δt)]P(t)iiijikkjki[1qΔto(Δt)]P(t)[qΔto(Δt)]P(t)定理柯尔莫哥洛夫-费勒后退方程:后向转移概率方程矩阵形式列矢量形式:sj(t)=[p0j(t),p1j(t),p2j(t).…]T微分方程:dP(t)QP(t)dt100010001P(0)I初始条件:jjd(t)Q(t)dtssthj0}10jj(0)esijikkjkdp(t)qp(t)dtijij1(ij)P(0)δ0(ij)P(t)Q福克-普朗克方程:状态概率方程已知起始状态为在t时刻状态为则:两边取微分:引用前进方程:福克-普朗克方程:01n(0)(w(0),w(0),,w(0))w01n(t)(w(t),w(t),,w(t))w(t)(0)P(t)wwd(t)d(0)P(t)dtdtww(0)P(t)Qw(t)Qwd(t)(t)Qdtww定理例2:确定马尔可夫过程转移概率一个时间连续、m个离散状态的马氏过程。已知:当i≠j时,总有Pij(Δt)=Δt+o(Δt)。试求Pij(t)转移率矩阵:按前进方程,有:即:解:边界条件Pij(0)=δij,得:例1m11Q11m1111miidptpQdtijijikkjdP(t)(1m)P(t)P(t)dtijmP(t)1mtij1P(t)Aemmtiimtijm11P(t)emm11P(t)emm解则状态概率分布符合福克-普朗克方程:例3:确定马尔可夫过程状态概率机器的正常工作时间和修复时间分别服从均值为1/λ和1/μ的都是负指数分布。问:如果它在t=0时是正常工作的,那么在t=10时机器正常工作的概率如何?根据时间间隔负指数分布特征可知,故障1出现次数及修复0事件次数分别为服从参数为λ和μ的泊松过程例解0,00,11,01,1P(Δt)1λΔto(Δt)P(Δt)λΔto(Δt)P(Δt)μΔto(Δt)P(Δt)1μΔto(Δt)λλQμμd(t)(t)Qdtwwt正常维修维修维修正常正常正常例3:确定马尔可夫过程状态
本文标题:马尔可夫过程详解
链接地址:https://www.777doc.com/doc-3549334 .html