ch14概率图模型-周志华

叶翰嘉第十四章：概率图模型概率模型概率模型概率图模型概率图模型概率图模型(probabilisticgraphicalmodel)是一类用图来表达变量相关关系的概率模型图模型提供了一种描述框架，结点：随机变量（集合）边：变量之间的依赖关系分类：有向图：贝叶斯网使用有向无环图表示变量之间的依赖关系无向图：马尔可夫网使用无向图表示变量间的相关关系概率图模型概率图模型分类：有向图：贝叶斯网无向图：马尔可夫网(好瓜)(敲声)(甜度)(色泽)(根蒂)x1x2x3x4x5有向图无向图本章概要隐马尔可夫模型（动态贝叶斯网）马尔可夫随机场/条件随机场学习与推断精确推断近似推断随机化方法确定性方法实例：话题模型隐马尔可夫模型隐马尔可夫模型联合概率马尔可夫链：系统下一时刻状态仅由当前状态决定，不依赖于以往的任何状态HMM的基本组成HMM的生成过程HMM的基本问题马尔可夫随机场马尔可夫随机场（MarkovRandomField，MRF）是典型的马尔可夫网著名的无向图模型图模型表示：结点表示变量（集），边表示依赖关系有一组势函数（PotentialFunctions)，亦称“因子”（factor），这是定义在变量子集上的非负实函数，主要用于定义概率分布函数马尔可夫随机场马尔可夫随机场马尔可夫随机场联合概率分布定义举例马尔可夫随机场中的分离集全局马尔可夫性全局马尔可夫性的验证全局马尔可夫性的验证联合概率：条件概率验证：马尔可夫随机场中的条件独立性马尔可夫随机场中的势函数马尔可夫随机场中的势函数条件随机场条件随机场条件随机场CRF特征函数举例MRF使用团上的势函数定义概率对联合概率建模CRF使用团上的势函数定义概率有观测变量，对条件概率建模MRF与CRF的对比模型推断基于概率图模型定义的分布，能对目标变量的边际分布（marginaldistribution）或某些可观测变量为条件的条件分布进行推断对概率图模型，还需确定具体分布的参数，称为参数估计或学习问题，通常使用极大似然估计或后验概率估计求解。单若将参数视为待推测的变量，则参数估计过程和推断十分相似，可以“吸收”到推断问题中图模型推断参数估计（学习）参数视为待推测的变量模型推断假设图模型所对应的变量集能分为和两个不相交的变量集，推断问题的目标就是计算边际概率或者条件概率。同时，由条件概率定义容易有其中，联合概率可基于图模型获得，所以推断问题的关键就在于如何高效计算边际分布，即边际分布联合分布模型推断分类联合概率可基于图模型获得，所以推断问题的关键就在于如何高效计算边际分布:概率图模型的推断方法可以分两类精确推断方法计算出目标变量的边际分布或条件分布的精确值一般情况下，该类方法的计算复杂度随极大团规模增长呈指数增长，适用范围有限近似推断方法在较低的时间复杂度下获得原问题的近似解在实际问题中更常用精确推断：变量消去精确推断：变量消去精确推断：变量消去变量消去法实际上是利用了乘法对加法的分配律，将对多个变量的积的求和问题转化为对部分变量交替进行求积和求和的问题。这种转化使得每次的求和和求积运算被限制在局部，仅和部分变量有关，从而简化了计算信念传播信念传播若图中没有环，则信念传播算法经过两个步骤即可完成所有消息传递，进而能计算所有变量上的边际分布：指定一个根节点，从所有叶结点开始向根节点传递消息，直到根节点收到所有邻接结点的消息从根结点开始向叶结点传递消息，直到所有叶结点均收到消息近似推断精确推断方法需要很大的计算开销，因此在现实应用中近似推断方法更为常用。近似推断方法大致可以分为两类：采样法（sampling）：通过使用随机化方法完成近似，如MCMC采样变分推断（variationalinference)：使用确定性近似完成推断近似推断：采样法近似推断：MCMC方法近似推断：MCMC方法Metropolis-Hastings(MH)算法用户给定的先验概率Metropolis-Hastings(MH)算法吉布斯采样近似推断：变分推断近似推断：变分推断近似推断：变分推断近似推断：变分方法构成下界对数似然近似推断：变分方法近似推断：变分方法话题模型话题模型（topicmodel）是一类生成式有向图模型，主要用来处理离散型的数据集合（如文本集合）。作为一种非监督产生式模型，话题模型能够有效利用海量数据发现文档集合中隐含的语义。隐狄里克雷分配模型（LatentDirichletAllocation,LDA）是话题模型的典型代表。LDA的基本单元词（word）：待处理数据中的基本离散单元文档（document）：待处理的数据对象，由词组成，词在文档中不计顺序。数据对象只要能用“词袋”（bag-of-words）表示就可以使用话题模型话题（topic）：表示一个概念，具体表示为一系列相关的词，以及它们在该概念下出现的概率话题模型的基本单元话题模型（topicmodel）是一类生成式有向图模型，主要用来处理离散型的数据集合（如文本集合）。作为一种非监督产生式模型，话题模型能够有效利用海量数据发现文档集合中隐含的语义。隐狄里克雷分配模型（LatentDirichletAllocation,LDA）是话题模型的典型代表。LDA的基本单元词（word）文档（document）主题（topic）数据计算机生物新闻建筑植物天空话题模型的构成文档的生成过程LDA的图模型表示LDA的图模型表示狄利克雷分布LDA的基本问题总结概率图模型表示随机变量之间的（条件）独立性关系图模型的两种表示有向图隐马尔可夫模型HMM（动态贝叶斯网）无向图马尔可夫随机场MRF条件随机场CRF图模型推断联合分布，条件分布，边缘分布精确推断，近似推断参数估计（转化为推断问题）话题模型