马尔可夫链模型

马尔可夫链模型（MarkovChainModel）目录[隐藏]1马尔可夫链模型概述2马尔可夫链模型的性质3离散状态空间中的马尔可夫链模型4马尔可夫链模型的应用o4.1科学中的应用o4.2人力资源中的应用5马尔可夫模型案例分析[1]o5.1马尔可夫模型的建立o5.2马尔可夫模型的应用6参考文献[编辑]马尔可夫链模型概述马尔可夫链因安德烈·马尔可夫（AndreyMarkov，1856－1922）得名，是数学中具有马尔可夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的。时间和状态都是离散的马尔可夫过程称为马尔可夫链,简记为。马尔可夫链是随机变量的一个数列。这些变量的范围，即他们所有可能取值的集合，被称为“状态空间”，而Xn的值则是在时间n的状态。如果Xn+1对于过去状态的条件概率分布仅是Xn的一个函数，则这里x为过程中的某个状态。上面这个恒等式可以被看作是马尔可夫性质。马尔可夫在1906年首先做出了这类过程。而将此一般化到可数无限状态空间是由柯尔莫果洛夫在1936年给出的。马尔可夫链与布朗运动以及遍历假说这两个二十世纪初期物理学重要课题是相联系的，但马尔可夫寻求的似乎不仅于数学动机，名义上是对于纵属事件大数法则的扩张。马尔可夫链是满足下面两个假设的一种随机过程：1、t+l时刻系统状态的概率分布只与t时刻的状态有关，与t时刻以前的状态无关；2、从t时刻到t+l时刻的状态转移与t的值无关。一个马尔可夫链模型可表示为=(S，P，Q)，其中各元的含义如下：1）S是系统所有可能的状态所组成的非空的状态集，有时也称之为系统的状态空间，它可以是有限的、可列的集合或任意非空集。本文中假定S是可数集(即有限或可列)。用小写字母i,j(或Si,Sj)等来表示状态。2）是系统的状态转移概率矩阵，其中Pij表示系统在时刻t处于状态i，在下一时刻t+l处于状态i的概率，N是系统所有可能的状态的个数。对于任意i∈s，有。3）是系统的初始概率分布，qi是系统在初始时刻处于状态i的概率，满足。[编辑]马尔可夫链模型的性质马尔可夫链是由一个条件分布来表示的P(Xn+1|Xn)这被称为是随机过程中的“转移概率”。这有时也被称作是“一步转移概率”。二、三，以及更多步的转移概率可以导自一步转移概率和马尔可夫性质：同样：这些式子可以通过乘以转移概率并求k−1次积分来一般化到任意的将来时间n+k。边际分布P(Xn)是在时间为n时的状态的分布。初始分布为P(X0)。该过程的变化可以用以下的一个时间步幅来描述：这是Frobenius-Perronequation的一个版本。这时可能存在一个或多个状态分布π满足：其中Y只是为了便于对变量积分的一个名义。这样的分布π被称作是“平稳分布”（StationaryDistribution）或者“稳态分布”（Steady-stateDistribution）。一个平稳分布是一个对应于特征根为1的条件分布函数的特征方程。平稳分布是否存在，以及如果存在是否唯一，这是由过程的特定性质决定的。“不可约”是指每一个状态都可来自任意的其它状态。当存在至少一个状态经过一个固定的时间段后连续返回，则这个过程被称为是“周期的”。[编辑]离散状态空间中的马尔可夫链模型如果状态空间是有限的，则转移概率分布可以表示为一个具有(i,j)元素的矩阵，称之为“转移矩阵”：Pij=P(Xn+1=i|Xn=j)对于一个离散状态空间，k步转移概率的积分即为求和，可以对转移矩阵求k次幂来求得。就是说，如果是一步转移矩阵，就是k步转移后的转移矩阵。平稳分布是一个满足以下方程的向量：在此情况下，稳态分布π*是一个对应于特征根为1的、该转移矩阵的特征向量。如果转移矩阵不可约，并且是非周期的，则收敛到一个每一列都是不同的平稳分布π*，并且，独立于初始分布π。这是由Perron-Frobeniustheorem所指出的。正的转移矩阵（即矩阵的每一个元素都是正的）是不可约和非周期的。矩阵被称为是一个随机矩阵，当且仅当这是某个马尔可夫链中转移概率的矩阵。注意：在上面的定式化中，元素(i,j)是由j转移到i的概率。有时候一个由元素(i,j)给出的等价的定式化等于由i转移到j的概率。在此情况下，转移矩阵仅是这里所给出的转移矩阵的转置。另外，一个系统的平稳分布是由该转移矩阵的左特征向量给出的，而不是右特征向量。转移概率独立于过去的特殊况为熟知的Bernoullischeme。仅有两个可能状态的Bernoullischeme被熟知为贝努利过程马尔可夫链模型的应用科学中的应用马尔可夫链通常用来建模排队理论和统计学中的建模，还可作为信号模型用于熵编码技术，如算法编码。马尔可夫链也有众多的生物学应用，特别是人口过程，可以帮助模拟生物人口过程的建模。隐蔽马尔可夫模型还被用于生物信息学，用以编码区域或基因预测。马尔可夫链最近的应用是在地理统计学（geostatistics）中。其中，马尔可夫链用在基于观察数据的二到三维离散变量的随机模拟。这一应用类似于“克里金”地理统计学（Kriginggeostatistics），被称为是“马尔可夫链地理统计学”。这一马尔可夫链地理统计学方法仍在发展过程中。[编辑]人力资源中的应用马尔可夫链模型主要是分析一个人在某一阶段内由一个职位调到另一个职位的可能性，即调动的概率。该模型的一个基本假设就是，过去的内部人事变动的模式和概率与未来的趋势大体相一致。实际上，这种方法是要分析企业内部人力资源的流动趋势和概率，如升迁、转职、调配或离职等方面的情况，以便为内部的人力资源的调配提供依据。它的基本思想是：通过发现过去组织人事变动的规律，以推测组织在未来人员的供给情况。马尔可夫链模型通常是分几个时期收集数据，然后再得出平均值，用这些数据代表每一种职位中人员变动的频率，就可以推测出人员变动情况。具体做法是：将计划初期每一种工作的人数量与每一种工作的人员变动概率相乘，然后纵向相加，即得到组织内部未来劳动力的净供给量。其基本表达式为：Ni(t)：t时间内I类人员数量；Pji：人员从j类向I类转移的转移率；Vi(t)：在时间（t-1,t）I类所补充的人员数。企业人员的变动有调出、调入、平调、晋升与降级五种。表3假设一家零售公司在1999至2000年间各类人员的变动情况。年初商店经理有12人，在当年期间平均90％的商店经理仍在商店内，10％的商店经理离职，期初36位经理助理有11％晋升到经理，83％留在原来的职务，6％离职；如果人员的变动频率是相对稳定的，那么在2000年留在经理职位上有11人（12×90％），另外，经理助理中有4人（36×83％）晋升到经理职位，最后经理的总数是15人（11＋4）。可以根据这一矩阵得到其他人员的供给情况，也可以计算出其后各个时期的预测结果。假设的零售公司的马尔可夫分析，见下表：1999~2000商店经理经理助理区域经理部门经理销售员离职商店经理(n=12)90%1110%1经理助理(n=36)11%483%306%2区域经理(n=96)11%1166%638%815%14部门经理(=288)10%2972%2072%616%46销售员(=1440)6%8674%106625%228供给预测1541923011072351[编辑]马尔可夫模型案例分析[1]案例：在信用卡账户行为变化预测中的应用信用卡业务是商业银行的零售业务,信用卡的消费金额是银行的应收账款.在此,我们可以借鉴零售行业应收账款状态变化的预测方法对信用卡账户的行为变化进行描述和预测。对信用卡账户的马尔可夫过程进行研究,主要解决新增贷款发生周期性变化的情况下利用马尔可夫过程预测不同时刻的信用卡账户各状态下的金额、已偿付态和坏帐态的金额、全部应收款的现值及它们的方差计算等内容,以为商业银行信用卡账户的行为风险管理提供方法依据。[编辑]马尔可夫模型的建立马尔可夫状态转移模型是在满足“马氏性”和“平稳性”的基础上建立的.假定银行的信用卡账户中每期处于不同期限的逾期贷款数量只与上期逾期贷款的数量与结构有关,而与前期的状态无关,这就满足了“马氏性”。同时,在外部经济环境稳定、人口特征比较稳定、银行的信用卡管理技术和方法没有发生重大变化的情况下,可以认为逾期贷款由一种状态转移到另一种状态的概率在各期是保持不变的,即每年的转移概率矩阵基本保持稳定,满足了马氏链的“平稳性”要求.这样,银行就可以通过往年的数据资料模拟出比较精确的转移概率矩阵,对信用卡账户的行为状态做出预测和评估,下面给出具体分析。假设某一银行在时间i有一定的信用卡应收账款,当前或者随后的时间内这些余额都可以划分为n个时间段(即状态。对于这批在时间i的应收账款而言,有:B0=逾期为0期的应收账款余额(也就是当前期);B1=逾期为1期的应收账款余额;…Bj=逾期为j期的应收账款余额;…Bn−1=逾期为n-1期的应收账款余额;Bn=逾期为n期的应收账款余额。实践中,时间段的数目将视情况而定,最后一个时间段主要依赖于银行应收账款的“冲销”原则,美国的信用卡贷款一般拖欠180天以上即成为呆账予以“冲销”.虽然拖欠账款最终也可能得到偿还,但是将超过规定还款期限的应收账款归入坏帐种类中是很自然的会计程序。一般而言,我们可以让Bjk表示从i时刻处于j状态转移到i+1时刻处于k状态的账户的金额.用这种方法,我们可以对处于i时刻的所有应收账款做出在i+1时刻的一步转移账户.需要注意的是,还应该有一个“时间”状态应该加入到先前所描述的分类中,这一状态就是已付款状态,用表示.在i时刻任何一种分类状态从0到n的账户在i+1时刻都可以转移到状态.这样,i时刻的应收账款账户可以用一个n+2维矩阵来表示,矩阵中的每一项Bjk表示i时刻j状态转移为i+1时刻k状态的金额,如下所示:对信用卡账户而言,需要注意的是,当状态Bjk中的ji时,应理解为i时刻处于状态j的账户,在随后的i+1时刻(一般为30天后)偿还了部分的利息,使得应收账款(贷款)又转变为k状态。从n+2维应收账款矩阵B可以导出n+2维转移概率矩阵P.转移概率矩阵P中的每一项目表示在特定时间内某一账户由一种状态转移到另一状态的可能性.这样的话,一个隐含假设是,转移概率矩阵的考察周期和应收账款分类的考察周期是相同的.一般情况下,转移概率Pjk表示的是i时刻j状态的账款转移到i+1时刻k状态账款的可能性.根据应收账款矩阵B及Bjk,转移概率Pjk可被定义为:(1)在应用转移概率矩阵时需要注意两点。一是状态的账款不可能转移到其它的状态,它只能停留在已付款状态,状态账户的转移概率依次为:,,,…,,…,。二是呆账类账户的状态,虽然有时候坏呆账类账款仍能收回现金,但在我们的模型里边假设呆账类账款只能停留在呆账类的状态,即:,pn0=0,pn1=0,…,pnn=1.00。上面描述的模型可以被看作一个有n+2个状态的马尔可夫链过程,其转移概率矩阵为P.而且,它有两个吸收态(偿付态0和呆账态n),从其他任何一个暂态(非吸收态)都可以到达这两个吸收态,因此它是一个具有两个吸收态的马尔可夫链.我们将在充分利用马尔可夫理论和已有研究的基础上,研究如何利用马尔可夫链方法预测和估计信用卡账户行为的变化。[编辑]马尔可夫模型的应用在此,采用Kemeny和Snell的部分研究成果.为便于计算,将n+2维转移概率方阵重新排列,将吸收态的偿付态和呆账态放在一起,将另外的暂态0,1,2,…,n-1放在一起.这样矩阵P就可以被分割为:其中I是一个2×2阶单位矩阵,O是一个2×n阶0矩阵,R是一个n×2阶矩阵,Q是一个n×n阶矩阵.其中,我们定义矩阵:一定存在,并将其称为吸收态马尔可夫链的基本矩阵对于n×2阶矩阵的所有分项,NR给出了每一状态转移到吸收态和n的吸收概率.NR中的第一列给出了每一个状态转移到已偿付状态的概率,第二列给出了每一个状态下转移到呆账的概率。1.无新增贷款的情况假设在时刻i,具有n个分项向量的给出来每一状态下应收账款的余额.让b等于所有这些