Clementine-第九讲

分类预测：贝叶斯网络主要内容贝叶斯方法概述贝叶斯网络概述TAN贝叶斯网络Markov毯网络贝叶斯方法概述贝叶斯方法是一种研究不确定性问题的决策方法通过贝叶斯概率描述不确定性引进效用函数（UtilityFunction）选择使期望效用最大的最优决策贝叶斯概率一种主观概率：对事物发生概率的主观估计主观概率取决于先验知识的正确性和后验知识的丰富性贝叶斯方法概述贝叶斯概率首先,用先于数据的概率描述最初的不确定性然后,将其和试验数据相结合，产生一个后于数据的修订了的概率不确定性必须用概率来描述，不确定性的表述必须与概率论的运算规则相结合贝叶斯公式事件A与事件B独立事件A与事件B不独立)|()()|()()(ABPAPBAPBPABP)()()(BPAPABP贝叶斯方法概述贝叶斯公式P(A)称为先验概率;P(B|A)为条件概率，通常为似然函数;P(A|B)为后验概率后验概率可看做一种简化的效用函数最大后验概率假设是贝叶斯决策的依据kiiiABPAPABPAPBPABPAPBPABPBAP1)|()()|()()()|()()()()|(朴素贝叶斯分类方法朴素贝叶斯分类法目标：分类前提：输入变量条件独立数据说明：设有n个输入变量，记为X1,X2,⋯,Xn输入变量集合变量Xi有ri个可能取值输出变量Y，有k个可能取值},...,,,{321nXXXXX},...,{21iriiiixxxx},...,,{21kyyyy朴素贝叶斯分类方法基本思路因为：输入变量条件独立：后验概率：最后，根据最大后验概率原则，输出变量应预测为k个后验概率中最大概率值对应的类别kjjnjnnyxxxPyPyxxxPyPxxxyP1212121)|,...,()()|,...,()(),...,|(niinyxPyxxxP121)|()|,...,(nijikjjniinyxPyPyxPyPxxxyP11121)]|()([)|()(),...,|(朴素贝叶斯分类方法参数估计：极大似然估计核心计算给定输出变量条件下的输入变量联合概率由于最坏情况下可有n！种排列方式，计算复杂度较高NNyyPyyPjyjj)(ˆ)(jkijyxyjkiijkiiNNyyxxPyyxxP)|(ˆ)|()|,...,()(),...,,(),...,|(212121yxxxPyPxxxyPxxxyPnnn),...,|()...,|()|()(),...,,,(121213121321nnnxxxxPxxxPxxPxPxxxxP贝叶斯网络概述贝叶斯网络也称贝叶斯信念网络（20世纪80年代Lauritzen，Spiegelhalter）最初用于人工智能中专家系统的知识表示以因果关系图的形式，展现专家知识中各因素的内在因果关系•这里贝叶斯网络的意义是因果关系的展示•贝叶斯网络应用于数据挖掘领域概述：贝叶斯网络的组成贝叶斯网络的组成:网络结构S、参数集合ӨS由节点和有向弧线组成，有向无环图S表示分类型随机变量之间的独立和条件独立关系数值型随机变量，Clementine进行5分位分组每个节点分别与分类型变量Xi一一对应每条弧线代表变量之间存在依赖关系。如果节点之间没有弧线连接，表示它们条件独立节点Xi的父节点记为Pai，父节点的取值集合},...,,,{321nXXXXX},...,,,{321iriiiiipapapapapa概述：贝叶斯网络的组成参数集合Ө：给定父节点下的条件概率集合。Xi的参数集合为),...,3,2,1()},|(),...,|(),|({21ijirijiijiixrjpaxPpaxPpaxPii性别和年龄段间没有弧线，表示两变量在给定父节点下条件独立概述：贝叶斯网络的分类分类预测的依据：贝叶斯网络结构S和参数集合Ө核心：计算联合概率如果在给定Y条件下，变量X1和X2是条件独立的，对X1、X2、Y的任何取值都有)|(),|(121yxPyxxP),...,|()...,|()|()(),...,,,(121213121321nnnxxxxPxxxPxxPxPxxxxP)|(),...,|(121iiiipaxPxxxxP•与除父节点外的其他变量条件独立•只需依据网络结构和局部概率集合Ө，可直接计算联合概率，进而实现分类预测niiinpaxPxxxxP1321)|(),...,,,(kjjnjnnyxxxPyPyxxxPyPxxxyP1212121)|,...,()()|,...,()(),...,|(概述：贝叶斯网络的分类例：)|(),|()|()|()()|(),,,,(45324131215154321xxPxxxPxxPxxPxPpaxPxxxxxPiii朴素贝叶斯网络niniiiinyxPyPpaxPyPxxxyP1121)|()()|()(),...,,(2119231149)|()(),...,,(121niinyxPyPxxxyP7095353145)|()(),...,,(121niinyxPyPxxxyP预测性别（X1）为1，年龄段（X2）为A:朴素贝叶斯不涉及网络结构S的学习，只需估计节点参数集合TAN贝叶斯网络TAN（TreeAugementedNaiveBayes）贝叶斯网络是朴素贝叶斯网络的一种拓展（Friedman等，1996）网络放宽了朴素贝叶斯网络中输入变量条件独立的假设•所有输入节点与输出变量间节点都有弧线连接•输入变量之间存在弧线•每个输入变量节点最多允许两个父节点•Xi到Xj之间有向弧线的含义TAN贝叶斯网络结构的学习目的：哪些输入变量之间可存在有向弧线最大权重跨度树（MaximalWeightedSpanningTree）1968，Chow和Liu算法的改进步骤：第一，计算输入变量对Xi和Xj的条件互信息条件互信息的值越小，变量Xi和变量Xj的相关性越弱，值越大，表示相关性越强)()|()|()|,(log),,()|;(,,jiyxPyxPyxxPyxxPYXXIknjkmiknjmiknmknjmijiTAN贝叶斯网络结构的学习第二，依次找到与变量Xi具有最大条件互信息的变量Xj，并以无向弧线连接节点Xi和Xj，得到最大权重跨度树第三，将无向弧线转为有向弧线。即任选一个输入变量节点作为根节点，所有弧线方向朝外第四，输出变量节点作为父节点与所有输入变量节点相连),|(),|(),|(),|(),|()|()()|()(),...,,(161514136216121xyxPxyxPxyxPxyxPxyxPyxPyPpaxPyPxxxyPiiinTAN贝叶斯网络结构的学习选择哪个输入节点作为根节点是无关紧要的。尽管最终的网络结构有所差异，但表示的联合概率分布是一致的)|()|()()|(),,(2312131321xxPxxPxPpaxPxxxPiii)|()()|()|(),,(2322131321xxPxPxxPpaxPxxxPiii)()|()|()|(),,(3322131321xPxxPxxPpaxPxxxPiiiTAN贝叶斯网络参数的估计采用贝叶斯方法参数的先验概率、似然函数、参数的后验概率先验概率是基于先验概率分布的后验概率是基于数据对先验概率的修正。由先验分布函数决定的后验分布应与先验分布同属一分布族如果网络中节点变量均为二分类，节点参数集合中的每个参数θ为“成功”的概率，服从二项分布参数θ的先验概率分布应选用二项分布的共轭分布TAN贝叶斯网络参数的估计指数分布族包括二项分布、多项分布、正态分布、Poisson分布、Beta分布、Dirichlet分布，为共轭分布参数θ的先验分布可选用Beta标准Beta描述θ在0~1区间上取值的概率密度（关于概率的概率分布）11)1()()()(),(),|(BetaP为Gamma函数和β称为超参数)!1()(xx0~1之间超参数不同取值下的概率密度TAN贝叶斯参数的估计先验分布为Beta分布，似然函数为二项分布的似然函数，参数θ的后验分布也服从Beta分布n为“成功”次数，N为“实验”次数参数θ的期望：11)1()()()(),|(),,|(nNnnNnNnNnBetaDPNnTAN贝叶斯网络参数的估计若节点变量为具有ri个类别的多分类变量，参数θ的先验分布可选用Dirichlet分布后验分布参数θk的最终估计值为后验分布的期望rkkrkkrrkDir1112121)()...(),...,,|(),...,,|()|(2211rrNNNDirDPNNkkkk...21TAN贝叶斯网络参数的估计超参数：很小的正数节点Xi取类别k时，超参数为：iiijkqra2为本节点的类别数与父节点所有类别的组合个数TAN贝叶斯网络参数的估计贝叶斯方法将未知参数看成随机变量，传统统计方法是将参数看成常量贝叶斯方法将参数θ取值的不确定性用P(θ)表示首先根据以往对参数θ的知识，确定参数θ的先验概率然后利用样本数据对先验概率进行修正参数θ的最终估计值是参数θ后验分布的期望Markov毯网络输入变量未必对输出变量的分类预测都有贡献Markov毯网络的特点输出变量不一定为根节点输入变量和输出变量具有完全相同的“地位”马尔科夫毯变量对于节点Xi，其父节点、子节点以及子节点的父节点，都属于节点Xi的马尔科夫毯变量Markov毯网络马尔科夫毯变量例：朴素贝叶斯网络，输出变量的马尔科夫毯变量是所有输入变量输入、输出变量的马尔科夫毯变量应是与其有显著相关的变量分类预测将基于输出变量的马尔科夫毯变量的联合概率，而非全体输入变量Markov毯网络结构的学习确定网络结构S：寻找各变量的马尔科夫毯变量对于节点Xi，不在其马尔科夫毯变量范围内的变量，是与变量Xi条件独立的变量：独立性检验条件独立检验：卡方检验和条件卡方检验nmnjminjminjminmnjminjminjmijiNxNxNxNxNxxNNxxExxExxOXX,2,22)()())()(),((),()),(),((),(knmkknkmknkmkknmkkjijisNsxNsxNsxNsxNsNsxxNsSXXSXXjijiji,,222)(),(),()),(),()(),,(()|,()|,(检验统计量服从个自由度的卡方分布||)1|(|)1|(|SXXjiMarkov毯网络结构的学习条件独立检验：对数似然率检验和条件对数似然率检验nmnjminjminjminmnjminjminjmijixNxNNxxNxxNxxExxOxxOXXG,,2)()(),(ln),(2),(),(ln),(2),(knmknjkmikknjmiknjmiknmknjmiknjmiknjmijisxNsxNsNsxxNsxxNsSxxEsSxxOsSxxOSXXG,,,,2),(),()(),,(ln),,(2)|,()|,(ln)|,(2)|,(Markov毯网络结构的学习设I(Xi,Xj)为变量对Xi和Xj独立检验的概率P-值，I(Xi,Xj,S)为给定变量S条件下，变量对Xi和Xj条件独立检验的概率P-值。结构学习步骤：第一，起始结构S是一个完全连接的无向网络第二，如果I(Xi,Xj)大于指定的显著性水平α，则删除节点Xi和节点Xj间的连接弧线第三，对每个节点Xi，在其剩