贝叶斯网络简介及基于贝叶斯网络的性别预测

LOGO主要内容一、贝叶斯网络简介1二、贝叶斯网络的构造2三、贝叶斯网络的学习和推理3四、贝叶斯网络的实例4一、贝叶斯网络简介贝叶斯网络是一种概率网络，它是基于概率推理的图形化网络，而贝叶斯公式则是这个概率网络的基础。贝叶斯网络是基于概率推理的数学模型,所谓概率推理就是通过一些变量的信息来获取其他的概率信息的过程，基于概率推理的贝叶斯网络(Bayesiannetwork)是为了解决不定性和不完整性问题而提出的，它对于解决复杂设备不确定性和关联性引起的故障有很大的优势，在多个领域中获得广泛应用。例如：医疗诊断，工业，金融分析，计算机，模式识别：分类，语义理解，军事（目标识别，多目标跟踪，战争身份识别等），生态学，生物信息学（贝叶斯网络在基因连锁分析中应用），编码学，分类聚类，时序数据和动态模型等。链规则(chainrule)贝叶斯定理(Bayes’theorem)利用变量间条件独立性一、贝叶斯网络简介一、贝叶斯网络简介贝叶斯定理是关于随机事件A和B的条件概率的一则定理。其中P(A|B)是在B发生的情况下A发生的可能性。在贝叶斯定理中，每个名词都有约定俗成的名称：P(A)是A的先验概率。之所以称为先验是因为它不考虑任何B方面的因素。P(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后验概率。P(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。P(B)是B的先验概率.理论上，进行概率推理所需要的只是一个联合概率分布。但是联合概率分布的复杂度相对于变量个数成指数增长，所以当变量众多时不可行。贝叶斯网络的提出就是要解决这个问题。它把复杂的联合概率分布分解成一系列相对简单的模块，从而大大降低知识获取和概率推理的复杂度，使得可以把概率论应用于大型问题。为什么要用贝叶斯网络进行概率推理？一、贝叶斯网络简介贝叶斯网络是一系列变量的联合概率分布的图形表示。二、贝叶斯网络的构造一般包含两个部分，一个就是贝叶斯网络结构图，这是一个有向无环图（DAG），其中图中的每个节点代表相应的变量，节点之间的连接关系代表了贝叶斯网络的条件独立语义。另一部分，就是节点和节点之间的条件概率表（CPT），也就是一系列的概率值。如果一个贝叶斯网络提供了足够的条件概率值，足以计算任何给定的联合概率，我们就称，它是可计算的，即可推理的。贝叶斯网络基础首先从一个具体的实例（医疗诊断的例子）来说明贝叶斯网络的构造。假设：命题S(moker)：该患者是一个吸烟者命题C(oalMiner)：该患者是一个煤矿矿井工人命题L(ungCancer)：他患了肺癌命题E(mphysema)：他患了肺气肿命题S对命题L和命题E有因果影响，而C对E也有因果影响。命题之间的关系可以描绘成如下图所示的因果关系网。因此，贝叶斯网有时也叫因果网，因为可以将连接结点的弧认为是表达了直接的因果关系。二、贝叶斯网络的构造二、贝叶斯网络的构造二、贝叶斯网络的构造贝叶斯网络的构造原则：首先，添加“根本原因”节点然后，加入受它们直接影响的变量依次类推，直到叶节点，即对其它变量没有直接因果影响的节点两节点间的有向边的取舍原则：更高精度概率的重要性与指定额外信息的代价的折衷“因果模型”比“诊断模型”需要更少的数据，且这些数据也更容易得到图中的联合概率密度：P(S,C,L,E)=P(E|S,C)*P(L|S)*P(C)*P(S)推导过程：P(S,C,L,E)=P(E|S,C,L)*P(L|S,C)*P(C|S)*P(S)（贝叶斯定理）＝P(E|S,C)*P(L|S)*P(C)*P(S)即：P(E|S,C,L)＝P(E|S,C),E与L无关P(L|S,C)=P(L|S)L与C无关P(C|S)=P(C)C与S无关以上三条等式的正确性，可以从贝叶斯网的条件独立属性推出：每个变量与它在图中的非继承节点在概率上是独立的。相比原始的数学公式：P(S,C,L,E)=P(E|S,C,L)*P(L|S,C)*P(C|S)*P(S)显然，简化后的公式更加简单明了，计算复杂度低很多。如果原贝叶斯网中的条件独立语义数量较多，这种减少更加明显。二、贝叶斯网络的构造贝叶斯网络所依赖的一个核心概念是条件独立:ConditionalIndependence二、贝叶斯网络的构造结构学习：发现变量之间的图关系，2.参数学习：决定变量之间互相关联的量化关系。三、贝叶斯网络的学习和推理贝叶斯网络结构学习选择具有最大后验概率的结构。基于评分函数(scoringfunction)：BIC,MDL,AIC等拉普拉斯近似(Laplaceapproximation):对拉普拉斯近似简化，得BIC:BIC既不依赖于先验也不依赖于参数坐标系统三、贝叶斯网络的学习和推理结构学习算法：K2:通过为每个结点寻找父结点集合来学习贝叶斯网络结构。它不断往父结点集中添加结点，并选择能最大化数据和结构的联合概率的结点集。HillClimbing(operators:edgeaddition,edgedeletion,edgereversion)从一个无边结构开始，在每一步，它添加能最大化BIC的边。算法在通过添加边不能再提高结构得分时停止。缺值数据结构学习：StructuralEMSEM不是每次迭代都同时优化模型结构和参数，而是先固定模型结构进行数次参数优化后，再进行一次结构加参数优化，如此交替进行。三、贝叶斯网络的学习和推理贝叶斯网络参数学习最大似然估计完全基于数据，不需要先验概率：贝叶斯估计假定在考虑数据之前，网络参数服从某个先验分布先验的主观概率,它的影响随着数据量的增大而减小。三、贝叶斯网络的学习和推理贝叶斯网络参数学习缺值数据最大似然估计：EM算法（迭代算法）1基于对数据进行修补，使之完整(E-step)2基于修补后的完整数据计算的最大似然估计(M-Step)三、贝叶斯网络的学习和推理三、贝叶斯网络的学习和推理贝叶斯网络推理(Inference)贝叶斯网络可以利用变量间的条件独立对联合分布进行分解，降低参数个数。推理(inference)是通过计算来回答查询的过程计算后验概率分布：P(Q|E=e)三、贝叶斯网络的学习和推理贝叶斯网络推理(Inference)1、变量消元算法(Variableelimination)利用概率分解降低推理复杂度。使得运算局部化。消元过程实质上就是一个边缘化的过程。最优消元顺序：最大势搜索，最小缺边搜索三、贝叶斯网络的学习和推理2.团树传播算法利用步骤共享来加快推理的算法。团树（cliquetree）是一种无向树，其中每一个节点代表一个变量集合，称为团(clique)。团树必须满足变量连通性，即包含同一变量的所有团所导出的子图必须是连通的。三、贝叶斯网络的学习和推理用团树组织变量消元的算法。团树传播算法基本步骤：将贝叶斯网络转化为团树团树初始化在团树中选一个团作为枢纽全局概率传播：CollectMessage;DistributeMessage边缘化，归一化团树传播算法示例变量消元和团树传播算法都是精确推理算法。三、贝叶斯网络的学习和推理三、贝叶斯网络的学习和推理3.近似推理(1)随机抽样算法：顺序抽样法，MCMC抽样是一类应用于数值积分和统计物理中的近似计算方法。基本思想是从某个概率分布随机抽样，生成一组样本，然后从样本出发近似计算感兴趣的量。随机抽样算法理论基础是大数定律。四、贝叶斯网络的实例女生名单男生名单学习分类结果用来预测的名单主程序LOGO