混合模型的贝叶斯分析与选择

新疆大学毕业论文（设计）新疆大学毕业论文(设计)题目:混合模型的贝叶斯分析与选择指导老师:吴黎军学生姓名：蔡敏所属院系：数学与系统科学学院专业：数学与应用数学班级：应数11-1班完成日期：2015年5月28日新疆大学毕业论文（设计）I声明本人蔡敏声明该毕业论文（设计）是本人在吴黎军老师指导下独立完成的，本人拥有自主知识产权，没有抄袭、剽窃他人成果，由此造成的知识产权纠纷由本人负责．声明人（签名）：年月日蔡敏在吴黎军老师的指导下，按照任务书的内容，独立完成了该毕业论文（设计），吴黎军老师已经详细审阅该毕业论文（设计）．指导教师（签名）：年月日新疆大学毕业论文（设计）II新疆大学毕业论文（设计）任务书班级：应数11-1班姓名：蔡敏论文（设计）题目：混合模型的贝叶斯分析与选择专题：统计要求完成的内容：1.介绍混合模型的基本概念以及研究混合模型的基本方法.2.介绍EM算法，以及基于其算法的改进算法EM算法.3.利用EM算法对混合正态模型进行参数估计；利用SEM算法对混合Gamma模型进行参数估计.发题日期：2014年3月10日完成日期：2015年5月28日实习实训单位：无地点：无论文页数：23页；图纸张数：无指导教师：吴黎军教研室主任：吴黎军院长：滕志东新疆大学毕业论文（设计）III摘要混合模型可以作为许多工程实际问题的数学模型，具有重要的理论以及实际意义。在理论方面的研究主要集中在混合模型参数的估计和混合分量个数的估计。本文主要通过贝叶斯方法以及极大似然方法，在混合分量已知的情况下，对正态混合模型以及Gamma混合模型的参数估计进行了理论推导。其主要内容为：首先我们简单地介绍了混合模型以及研究混合模型的两种主要方法，之后基于EM算法对混合正态模型进行了参数估计的理论推导。我们发现虽然EM算法有算法简单易理解，且易通过编程来实现的优点。但该算法对初值的依赖性较大，且收敛速度慢。因此我们提出了改进之后的SEM算法，即在原来EM算法中加入了随机步来改善EM算法，使其收敛速度快，且不依赖于初始参数值。并利用该算法对两个Gamma混合模型的参数估计进行了理论推导。最后我们采用贝叶斯估计对二元正态混合模型的参数进行了估计，以及对基于MCMC算法的混合正态参数模型的参数估计的过程做了简要的介绍。通过运用不同的方法对混合模型的参数估计进行理论推导，为其在实际中的运用奠定了理论基础。关键字：混合模型；正态混合模型；Gamma混合模型；EM算法新疆大学毕业论文（设计）IVABSTRACTMixturemodelcanbeusedasthemathematicalmodelintheengineerfields，sothestudyofmixturemodelissignificant,Instudyoftheory,therearetwoproblems.Oneisparameterestimation，theotherisestimationofgroupsnumber.ThispapermainlythroughtheBayesianmethodandmaximumlikelihoodmethod,Intheconditionofknowninmixedcomponent,estimatetheparameterofGaussianmixturemodelandtheGammamixedmodel.Maincontentis:Firstwesimplyintroducethehybridmodelmixedmodels,andthetwomainmethods,thenbasedonEMalgorithmforGaussianmixturemodelparameterestimationtheoryisderived.WefoundthatalthoughtheEMalgorithmiseasytounderstand,andtheadvantageofeasyrealizedthroughprogramming.Butthedependenceoninitialvalueisbigger,thealgorithmandtheslowconvergencespeed.SoweproposedthattheimprovedSEMalgorithm,whichjoinedtherandomwalkintheoriginalEMalgorithmtoimprovetheEMalgorithm,theconvergencespeed,andisnotdependentontheinitialparametervalues.AndbyusingthealgorithmoftwoGammamixedintheparameterestimationofthemodel.FinallyweuseBayesianestimationforbinaryparametersofGaussianmixturemodelareestimated,andbasedonthemixtureofMCMCalgorithmistheprocessoftheparameterestimationofthemodelparametersarebrieflyintroduced.Byusingdifferentmethodsofhybridmodelparameterestimationtheory,foritslaidatheoreticalbasisfortheapplicationinpractice.KeyWords:Mixturemodel;Gaussianmixturemodel;Gammamixturemodel;EMalgorithm.新疆大学毕业论文（设计）V目录摘要..................................................................................................................................................IABSTRACT....................................................................................................................................IV目录.................................................................................................................................................V1引言..............................................................................................................................................11.1研究背景、意义以及研究方法简介...............................................................................11.1.1研究背景及意义...................................................................................................11.1.2研究现状...............................................................................................................22混合模型.......................................................................................................................................32.1混合模型的简要介绍.......................................................................................................32.1.1感兴趣的问题.......................................................................................................32.1.2缺损数据的形式...................................................................................................42.2主要研究方法介绍...........................................................................................................42.2.1极大似然方法.......................................................................................................42.2.2贝叶斯分析法.......................................................................................................53混合模型的参数估计...................................................................................................................73.1基于EM算法的混合正态模型的参数估计.....................................................................73.1.1EM算法的介绍..................................................................7错误!未定义书签。3.1.2参数估计的理论推导............................................................................................73.2基于SEM算法的混合Gamma模型的参数估计.............................................................103.2.1SEM算法的介绍...............................................................10错误!未定义书签。3.2.2参数估计的理论推导..........................................................................................113.3基于MCMC算法的混合正态模型的参数估计...............................................................123.3.1二阶混合正态模型的贝叶斯估计..............................................