马尔科夫链的发展与应用

马尔可夫链的发展与应用摘要在自然界中，常常用一个或几个随机变量来描述某些随机现象，从而研究它们的概率规律。从几何上看，就是把某些随机现象作为直线上的随机点或者有限维空间上的随机点来研究。对于实际问题中的更复杂的随机现象，对于一个不断随机变化的过程，用这样的研究方法显得不够了，往往需要用一族（无穷多个）随机变量来刻画这样一些随机现象，或者把它们作为无穷维空间上的随机点（随机函数）来研究。某些现象，在发生之前只能知道该现象的各种可能性的发生结果，但是却无法确认具体将发生哪一个结果，这就是随机现象。马尔可夫过程(MarKovProcess)是一个典型的随机过程。设X(t)是一随机过程，当过程在时刻t0所处的状态为已知时，时刻t(tt0)所处的状态与过程在t0时刻之前的状态无关，这个特性成为无后效性。无后效的随机过程称为马尔可夫过程。马尔可夫过程中的时同和状态既可以是连续的，又可以是离散的。我们称时间离散、状态离散的马尔可夫过程为马尔可夫链。马尔可夫链中，各个时刻的状态的转变由一个状态转移的概率矩阵控制。关键词概率论随机过程马尔可夫链一、马尔可夫过程简介马尔可夫过程(MarKovProcess)是一个典型的随机过程。设X(t)是一随机过程，当过程在时刻t0所处的状态为已知时，时刻t(tt0)所处的状态与过程在t0时刻之前的状态无关，这个特性成为无后效性。无后效的随机过程称为马尔可夫过程。马尔可夫过程中的时同和状态既可以是连续的，又可以是离散的。我们称时间离散、状态离散的马尔可夫过程为马尔可夫链。马尔可夫链中，各个时刻的状态的转变由一个状态转移的概率矩阵控制。二、马尔可夫过程的发展1936年前后就开始探讨马尔可夫过程的轨道性质，直到把微分方程和半群理论的分析方法同研究轨道性质的概率方法结合运用，才使这方面的研究工作进一步深化，并形成了对轨道分析必不可少的强马尔可夫性概念。1942年，伊藤清用他创立的随机积分和随机微分方程理论来研究一类特殊而重要的马尔可夫过程──扩散过程，开辟了研究马尔可夫过程的又一重要途径。1951年前后，伊藤清建立的随机微分方程的理论，为马尔可夫过程的研究开辟了新的道路。1954年前后，W.费勒将半群方法引入马尔可夫过程的研究。流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域。类重要的随机过程，它的原始模型马尔可夫链，由俄国数学家Α.Α.马尔可夫于1907年提出。出于扩大极限定理应用范围的目的，马尔可夫在20世纪初开始考虑相依随机变量序列的规律，并从中选出了最重要的一类加以研究。1906年他在《大数定律关于相依变量的扩展》一文中，第一次提到这种如同锁链般环环相扣的随机变量序列，其中某个变量各以多大的概率取什么值，完全由它前面的一个变量来决定，而与它更前面的那些变量无关。这就是被后人称作马尔可夫链的著名概率模型。也是在这篇论文里，马尔可夫建立了这种链的大数定律。人们在实际中常遇到具有下述特性的随机过程：在已知它所处的状态的条件下，它未来的演变不依赖于它以往的演变。这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的，当所处的位置已知时，它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用𝑋1，𝑋2，𝑋3…分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码，那么{𝑋𝑛，n≥0}就是马尔可夫过程。液体中微粒所作的布朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程等等都可视为马尔可夫过程。还有些过程（例如某些遗传过程）在一定条件下可以用马尔可夫过程来近似。关于马尔可夫过程的理论研究，1931年Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》，首先将微分方程等分析方法用于这类过程，奠定了它的理论基础。1951年前后，伊藤清在P.莱维和C.H.伯恩斯坦等人工作的基础上，建立了随机微分方程的理论，为研究马尔可夫过程开辟了新的道路。1954年前后，W.弗勒将泛函分析中的半群方法引入马尔可夫过程的研究中，Ε.Б.登金（又译邓肯）等并赋予它概率意义（如特征算子等）。50年代初，角谷静夫和J.L.杜布等发现了布朗运动与偏微分方程论中狄利克雷问题的关系，后来G.A.亨特研究了相当一般的马尔可夫过程（亨特过程）与位势的关系。流形上的马尔可夫过程、马尔可夫场等都是正待深入研究的领域。马尔可夫所建立的概率模型不但具有深刻的哲学意义，而且具有真实的物质背景，在他的工作之前或同时，一些马尔可夫链或更复杂的随机过程的例子已出现在某些人的研究中，只不过这些人没有自觉地认识到这类模型的普遍意义或用精确的数学语言表述出来罢了。例如苏格兰植物学家布朗(R.Brown,1773－1858)于1827年发现的悬浮微粒的无规则运动、英格兰遗传学家高尔顿（F.Galton,1822－1911)于1889年提出的家族遗传规律、荷兰物理学家埃伦费斯特(P.Ehrenfest,1880－1933)于1907年关于容器中分子扩散的实验，以及传染病感染的人数，谣言的传播，原子核中自由电子的跃迁，人口增长的过程等等，都可用马尔可夫链或过程来描述。也正是在统计物理、量子力学、遗传学以及社会科学的若干新课题、新事实面前，决定论的方法显得百孔千疮、踵决肘见。有趣的是，马尔可夫本人没有提到他的概率模型在物理世界的应用，但是他利用了语言文学方面的材料来说明链的性质。在《概率演算》第四版中，他统计了长诗《叶甫盖尼·奥涅金》中元音字母和辅音字母交替变化的规律：这是长诗开头的两句，意为：“我不想取悦骄狂的人生，只希望博得朋友的欣赏。”诗人那火一般的诗篇在数学家那里变成了一条冷冰冰的锁链：在这条锁链上只有两种链环，C代表辅音、代表元音（为了使问题简化起见，不仿把两个无音字母算作辅音）。马尔可夫分别统计了在C后面出现C和的概率p和1－p，以及在后出现C和的概率q和1－q，把结果与按照俄语拼音规则计算出的结果进行比较，证实了语言文字中随机的（从概率的意义上讲）字母序列符合他所建立的概率模型。完成了关于链的大数定律的证明之后，马尔可夫又开始在一系列论文中研究链的中心极限定理。1907年他在《一种不平常的相依试验》中证明了齐次马尔可夫链的渐近正态性；1908年在《一个链中变量和的概率计算的极限定理推广》中作了进一步的推广；1910年他发表了重要的论文《成连锁的试验》，在其中证明了两种情况的非齐次马尔可夫链的中心极限定理。与此同时他在一些假定的前提下证明了模型的各态历经性，成为在统计物理中具有重要作用的遍历理论中第一个被严格证明的结果。遍历理论亦称ergodic理论,是奥地利物理学家玻耳兹曼（L.Boltzmann,1844－1906)于1781年提出来的，其大意是：一个系统必将经过或已经经过其总能量与当时状态相同的另外的任何状态。马尔可夫链的引入，在物理、化学、天文、生物、经济、军事等科学领域都产生了连锁性的反应，很快地涌现出一系列新的课题、新的理论和新的学科，并揭开了概率论中一个重要分支－－随机过程理论蓬勃发展的序幕。三、马尔可夫链的定义马尔可夫性(无后效性)：过程或（系统）在时刻t0所处的状态为已知的条件下，过程在时刻tt0所处的状态的条件分布，与过程在时刻t0之前处的状态无关的特性称为马尔可夫性或无后效性。具有马尔可夫性的随机过程称为马尔可夫过程。马尔可夫链是随机变量𝑋1，𝑋2，𝑋3…的一个数列。这些变量的范围，就是它们所有可能取值的集合，被称为“状态空间”，而𝑋𝑛的值则是在时间n的状态。如果𝑋𝑛+1对于过去状态的田间概率分布仅是𝑋𝑛的一个函数，则P(𝑋𝑛+1=x|𝑋0,𝑋1,𝑋2,…,𝑋𝑛)=P(𝑋𝑛+1=x|𝑋𝑛).这里X为过程中的某个状态。上面这个恒等式可以被看作是马尔可夫性质。四、马尔可夫链的性质1、还原性马尔可夫链是由一个条件分布来表示的P(𝑋𝑛+1|𝑋𝑛)，这被称为是随机过程中的“转移概率”。这有时也被称作是“一步转移概率”。二、三，以及更多步的转移概率可以导自一步转移概率和马尔可夫性质：P(𝑋𝑛+2|𝑋𝑛)=∫𝑃(𝑋𝑛+2,𝑋𝑛+1|𝑋𝑛)𝑑𝑋𝑛+1=∫𝑃(𝑋𝑛+2|𝑋𝑛+1)𝑃(𝑋𝑛+1|𝑋𝑛)𝑑𝑋𝑛+1同样，P(𝑋𝑛+3|𝑋𝑛)=∫𝑃(𝑋𝑛+3|𝑋𝑛+2)𝑃(𝑋𝑛+2|𝑋𝑛+1)𝑃(𝑋𝑛+1|𝑋𝑛)𝑑𝑋𝑛+2这些式子可以通过乘以转移概率并求k-1次积分来一般化到任意的将来时间n+k。2、周期性边际分布P(𝑋𝑛)是在时间为n时的状态的分布。初始分布为P(𝑋0)。该过程的变化可以用以下的一个时间步幅来描述：P(𝑋𝑛+1)=∫𝑃(𝑋𝑛+1|𝑋𝑛)𝑃(𝑋𝑛)𝑑𝑋𝑛这是Frobenius-Perronequation的一个版本。这时可能存在一个或多个状态分布π满足π(X)=∫𝑃(𝑋|𝑌)𝜋(𝑌)𝑑𝑌其中Y只是为了便于对变量积分的一个名义。这样的分布π被称作是“平稳分布”（StationaryDistribution）或者“稳态分布”（Steady-stateDistribution）。一个平稳分布是一个对应于特征值为1的条件分布函数的特征方程。平稳分布是否存在，以及如果存在是否唯一，这是由过程的特定性质决定的。“不可约”是指每一个状态都可来自任意的其它状态。当存在至少一个状态经过一个固定的时间段后连续返回，则这个过程被称为是“周期的”。五、马尔可夫链的典型应用1.马尔可夫链在股指期货投资中的应用马尔可夫链转移矩阵的有效状态以近时点动量策略原时点反转策略为主,有效抓住了上涨和下跌的中期和初期.从而准确的抓住了日内股指波动.2.马尔可夫链在天气预报中的应用通过对马尔可夫链理论和切普曼-柯尔莫哥洛夫方程(方程)的探讨,,结合天气情况不确定等诸多特点,构想了天气情况预报的马尔可夫链预测模型,给出了马尔可夫链的初始概率和多重转移概率的计算方法,根据此算法可以预报短期天气情况,同时扩展到对未来天气情况趋势的预测。3.马尔可夫链在环境预测中的应用鉴于目前环境质量预测在理论方法和实践上的缺乏，把马尔可夫链引入环境质量的预测中，将各种污染物的浓度变化过程视作马尔可夫过程，通过预测各种污染物的污染负荷系数来推知其浓度值/4.马尔可夫链在桥梁状态预测中的研究与应用马尔可夫链以矩阵的形式来表达桥梁状况,通过求解状态转移矩阵,进一步预测桥梁未来数年内的基本状况。综合考虑了桥梁检修的影响,给出了桥梁检修后不同状态的状态转移矩阵,为进一步引入实际数据做了充分的准备。下面介绍下马尔可夫链在天气预报中的应用。假设明天是否有雨仅与今天的天气（是否有雨）有关，而与过去的天气无关，并设今天下雨的情况下，明天有雨的概率为α；今天无雨的情况下，而明天有雨的概率为β；又假定把有雨成为0状态天气，把无雨成为1状态天气，则本例是一个两状态的马尔可夫链，其一步转移概率矩阵为：P=[𝑃00𝑃01𝑃10𝑃11]=(𝛼1−𝛼𝛽1−𝛽)设α=0.7，β=0.4，则一步转移概率矩阵为P=[0.70.30.40.6]则可以推出两步转移概率矩阵P(2)=𝑃2=𝑃𝑃=[0.70.30.40.6][0.70.30.40.6]=[0.610.390.520.48]因此可以看出，若今天有雨，后天有雨的概率为0.61，无雨的概率为0.39；若今天无雨，后天有雨的概率为0.52，无雨的概率为0.48。同理可得四步转移概率矩阵为P(4)=(𝑝(2))2=[0.57490.42510.56680.4332]由此可得，今日有雨，第五日有雨的概率为0.5749，今日无雨，第五日有雨的概率为0.5668。马尔可夫链是一种很重要的离散随机过程，简单来说就是用来求出一个事件的后续发展可能，