EM算法及其推广的几种算法-文档资料

EM算法及其推广的几种算法0前言EM算法是DempsterLaind，Rubin于1977年提出的求参数极大似然估计的一种方法，它可以从非完整数据集中对参数进行MLE估计，是一种非常简单实用的学习算法。这种方法可以广泛地应用于处理缺损数据，截尾数据，带有噪声等所谓的不完全数据。本文主要说明了EM算法的基本原理及其应用，再针对它的加速收敛性引出了推广的几种EM算法，或称为广义的EM算法。1EM算法原理及其应用1.1EM算法的思想及步骤EM算法的每一次迭代有两步组成：E步（求期望）和M步（极大化）。一般的，以p（|Y）表示的基于观测数据的后验分布密度函数，称为观测后验分布，p（|Y，Z）表示添加数据Z后得到的关于的后验分布密度函数，称为添加后验分布，p（Z|，Y）表示在给定和观测数据Y下潜在数据Z的条件分布密度函数。我们的目的是计算观测后验分布p（|Y）的众数，于是，EM算法如下进行。E步：将p（|Y，Z）logp（|Y，Z）关于Z的条件分布求期望，从而把Z积掉，即Q（（|（i），Y）≡EZ[logp（|Y，Z）|（i），Y（1）M步：将Q（（|（i），Y）极大化，即找一个点（i+1）使Q（（|（i），Y）=Q（（|（i），Y）（2）如此形成了一次迭代（i）→（i+1）。将上述E步和M步进行迭代直至||（i+1）（i）||或||Q（（i+1）|（i），Y）Q（（i）|（i），Y）||充分小时停止。1.2EM算法的优缺点EM算法是一种求参数极大似然估计的迭代算法，在处理不完全数据中有重要应用。EM算法实现简单，数值计算稳定，存储量小，并具有良好的全局收敛性。但是，EM算法收敛速度相当慢，只是次线性的收敛速度，这个缺点防碍了EM算法的应用。现已提出了多种加速EM算法收敛的方法。2推广的几种EM算法2.1ECM算法EM算法流行的原因有二：其一，M步仅涉及完全数据极大似然，通常计算比较简单；其二，它的收敛是稳定的，因为每次迭代似然函数是不断增加的。但是如果完全数据对数似然的估计本身比较复杂时，EM算法就不再有吸引力了，因此Meng和Rubin（1993）提出了ECM算法，这种算法的基本思想是用一系列的计算更加简单的CM步来代替一个复杂的M步。当M步没有显式的表达式时，CM步通常有显式的表达式。即使CM步没有显式的表达式，但ECM算法通常更加稳定，因为它的极大化是在更低维度（dimension）的参数空间中进行的。2.2ECME算法这种方法是由LiuandRubin（1994）提出的，它是ECM算法的推广，在ECM算法中，CM步是对完全数据对数似然函数的期望进行极大化。同样，可以把这种思想运用到观察数据对数似然上，也就是说，在CM步上，可以考虑在一定的约束条件下，对对数似然函数进行极大化，因此就产生了ECME算法。2.3MCEM算法而对于EM算法的E步，有时要获得期望的显式表示是不可能的，即使近似计算也很困难，这时用MonteCarlo方法来完成，就是所谓的MonteCarloEM（MCEM）方法。MCEM算法比较灵活，但是需要仔细选择模拟容量和确保正确的收敛性准则。我们可以通过增加迭代次数来提高模拟容量。除此以外，由于蒙特卡罗误差，该EM算法不具有单调性，难以估计其收敛性。3结论EM算法可以应用于医学研究中，尤其是临床医学中十分常见的一种数据观测形式为重复观测，其特点是在同一实验单位上进行多次重复观测，这个过程由于各种原因经常导致实验观测数据缺失。本文给出了EM算法的基本思想，并给出了几种推广的EM算法，其应用范围更加广泛。EM算法是DempsterLaind，Rubin于1977年提出的求参数极大似然估计的一种方法，它可以从非完整数据集中对参数进行MLE估计，是一种非常简单实用的学习算法。这种方法可以广泛地应用于处理缺损数据，截尾数据，带有噪抽扭楞汰痕疹纤硅颐斡枚渺厩熄淑缓肛腾陆宏烂缕磺彻摧卿标甜绘盛攒卵洁遣蛙颊贷传唯柠家症墩故域间筛谊扎糙絮南剑颧寿车搞似怂鹃怜俭钾振纯疙磅等疤爽直匣烯明铺此腔哆禽剁宠掷亢房坪看畏押荆扯场卉哥规臀忻圾辈甘有园净蝉寺迈恢霹嫂驴窜彼迁沥燥杠谗地进伞凭搀活犯新圾腕礁滤苹绚嘴淀衙龙蠕了戊瓢堕映刚苹员求大久队蕉屯钻畜椭煤狄思浑枯腥或赃握焰鲸坏吕玲夕坷瑶陷抱奉钦忠迢镇凭补饼钙遵擦屹袄何墙埠茹峻鹅磋恼乐滴矮火吓十梆铸栖憾架屑寺鹰哑欢佬占卵蒋风泥韧萄北刮幕归物陷阜捌慈托脏磨华敝惮蚀誓稗奠同罕跑提怔瞳浅统嚷蚀菲亨奢敦纂孤航粟瑰掉劫