朴素贝叶斯分类

朴素贝叶斯NaiveBayes重庆大学软件信息服务工程实验室余俊良1.定义ABAB条件概率若是全集，A、B是其中的事件（子集），P表示事件发生的概率，则()(|)()PABPABPB为事件B发生后A发生的概率。则有,0)(且,为事件,,设ABPCBA()()()().PABCPAPBAPCAB()0,()()()()().PAPABPBAPAPABPB设则有乘法定理注：当P(AB)不容易直接求得时，可考虑利用P(A)与P(B|A)的乘积或P(B)与P(A|B)的乘积间接求得。则有,0)(且121nAAAP,2,个事件为,,,设推广21nnAAAn乘法定理的推广)()()()()(12121312121nnnAAAAPAAAPAAPAPAAAP12001212,,,,,1,,1,2,,;2,,,,.nijnnEBBBEBBijnBBBBBB　定义设为试验的样本空间为的一组事件若　　　　　　则称为样本空间的一个划分1.集合（样本空间）的划分1B2B3BnB1nB二、全概率公式2.全概率公式全概率公式1211221,,,,,,()0(1,2,,),()(|)()(|)()(|)()()(|)ninnniiEAEBBBPBinPAPABPBPABPBPABPBPBPAB定义设为试验的样本空间为的事件为的一个划分且则图示A1B2B3B1nBnB证明12.nABABAB化整为零各个击破12()nAAABBB1122()()(|)()(|)()(|)nnPAPBPABPBPABPBPAB说明全概率公式的主要用途在于它可以将一个复杂事件的概率计算问题,分解为若干个简单事件的概率计算问题,最后应用概率的可加性求出最终结果.A1B2B3B1nBnB例1有一批同一型号的产品,已知其中由一厂生产的占30%,二厂生产的占50%,三厂生产的占20%,又知这三个厂的产品次品率分别为2%,1%,1%,问从这批产品中任取一件是次品的概率是多少设事件A为“任取一件为次品”,.3,2,1,厂的产品任取一件为为事件iiBi123,BBB解.3,2,1,,jiBBji由全概率公式得,2.0)(,5.0)(,3.0)(321BPBPBP112233()()()()()()().PAPBPABPBPABPBPAB.013.02.001.05.001.03.002.0,01.0)(,01.0)(,02.0)(321BAPBAPBAP112233()()()()()()()PAPBPABPBPABPBPAB故30%20%50%2%1%1%AB1B2B3贝叶斯公式121,,,,,,()0,()0(1,2,,),(/)()(|),1,2,,.(|)()niiiinjjjEAEBBBPAPBinPABPBPBAinPABPB定义设为试验的样本空间为的事件为的一个划分且则Bayes公式的意义•假设导致事件A发生的“原因”有Bi(i=1,2,…,n)个。它们互不相容。•现已知事件A确已经发生了，若要估计它是由“原因”Bi所导致的概率，则可用Bayes公式求出.•即可从结果分析原因.证明(|)()()()iiiPABPBPBAPA.,,2,1ni1()(|)()(|)iinjjjPBPABPBPAB()0,()()()()().PAPABPBAPAPABPB设则有乘法定理：1122()()(|)()(|)()(|)nnPAPBPABPBPABPBPAB.:10.020.1520.010.8030.030.05,.(1),;某电子设备制造厂所用的元件是由三家元件制造厂提供的根据以往的记录有以下的数据元件制造厂次品率提供元件的份额设这三家工厂的产品在仓库中是均匀混合的且无区别的标志在仓库中随机地取一只元件求它是次品的概率例2贝叶斯公式的应用(2),,,.在仓库中随机地取一只元件若已知取到的是次品为分析此次品出自何厂求此次品出由三家工厂生产的概率分别是多少解,取到的是一只次品表示设A.家工厂提供的所取到的产品是由第表示i3,2,1(iBi,的一个划分是样本空间,,则321BBB0.05,)P(B0.80,)P(B0.15,)P(B且321.03.0)(,01.0)(,02.0)(321BAPBAPBAP(1)由全概率公式得)()()()()()()(332211BPBAPBPBAPBPBAPAP.0125.0(2)由贝叶斯公式得)()()()(111APBPBAPABP0125.015.002.0.24.0,64.0)()()()(222APBPBAPABP.12.0)()()()(333APBPBAPABP.家工厂的可能性最大2故这只次品来自第由以往的数据分析得到的概率,叫做先验概率.而在得到信息之后再重新加以修正的概率叫做后验概率.先验概率与后验概率贝叶斯分类•贝叶斯分类器是一个统计分类器。它们能够预测类别所属的概率，如：一个数据对象属于某个类别的概率。贝叶斯分类器是基于贝叶斯定理而构造出来的。•对分类方法进行比较的有关研究结果表明：简单贝叶斯分类器（称为基本贝叶斯分类器）在分类性能上与决策树和神经网络都是可比的。•在处理大规模数据库时，贝叶斯分类器已表现出较高的分类准确性和运算性能。20贝叶斯分类•定义：设X是类标号未知的数据样本。设H为某种假定，如数据样本X属于某特定的类C。对于分类问题，我们希望确定P(H|X)，即给定观测数据样本X，假定H成立的概率。贝叶斯定理给出了如下计算P(H|X)的简单有效的方法:•P(H)是先验概率，或称H的先验概率。P(X|H)代表假设H成立的情况下，观察到X的概率。•P(H|X)是后验概率，或称条件X下H的后验概率。)()()|()|(XPHPHXPXHP21贝叶斯分类•先验概率泛指一类事物发生的概率，通常根据历史资料或主观判断，未经实验证实所确定的概率。•而后验概率涉及的是某个特定条件下一个具体的事物发生的概率22贝叶斯分类•例如：P(x1)=0.9:细胞为正常细胞的概率0.9（先验概率）•P(x2)=0.1:细胞为异常细胞的概率0.1（先验概率）•对某个具体的对象y，P(x1|y）:表示y的细胞正常的概率是0.82（后验概率）•P(x2|y）:表示y的细胞异常的概率是0.18（后验概率）朴素贝叶斯分类•朴素贝叶斯分类的工作过程如下：•(1)每个数据样本用一个n维特征向量X={x1，x2，……，xn}表示，分别描述对n个属性A1，A2，……，An样本的n个度量。•(2)假定有m个类C1，C2，…，Cm，给定一个未知的数据样本X（即没有类标号），分类器将预测X属于具有最高后验概率（条件X下）的类。也就是说，朴素贝叶斯分类将未知的样本分配给类Ci（1≤i≤m）当且仅当P(Ci|X)P(Cj|X)，对任意的j=1，2，…，m，j≠i。这样，最大化P(Ci|X)。其P(Ci|X)最大的类Ci称为最大后验假定。根据贝叶斯定理)()()|()|(XPCPCXPXCPiii24朴素贝叶斯分类•(3)由于P(X)对于所有类为常数，只需要P(X|Ci)*P(Ci)最大即可。•如果Ci类的先验概率未知，则通常假定这些类是等概率的，即P(C1)=P(C2)=…=P(Cm)，因此问题就转换为对P(X|Ci)的最大化（P(X|Ci)常被称为给定Ci时数据X的似然度，而使P(X|Ci)最大的假设Ci称为最大似然假设）。否则，需要最大化P(X|Ci)*P(Ci)。注意，类的先验概率可以用P(Ci)=si/s计算，其中si是类Ci中的训练样本数，而s是训练样本总数。25朴素贝叶斯分类•(4)给定具有许多属性的数据集，计算P(X|Ci)的开销可能非常大。为降低计算P(X|Ci)的开销，可以做类条件独立的朴素假定。•给定样本的类标号，假定属性值相互条件独立，即在属性间，不存在依赖关系。这样)|()|(1inkkiCxPCXP联合概率分布()()()PABPAPB26朴素贝叶斯分类•(5)对未知样本X分类，也就是对每个类Ci，计算P(X|Ci)*P(Ci)。•样本X被指派到类Ci，当且仅当P(Ci|X)P(Cj|X)，1≤j≤m，j≠i，换言之，X被指派到其P(X|Ci)*P(Ci)最大的类。“打网球”的决定No.天气气温湿度风类别1晴热高无N2晴热高有N3多云热高无P4雨适中高无P5雨冷正常无P6雨冷正常有N7多云冷正常有PNo.天气气温湿度风类别8晴适中高无N9晴冷正常无P10雨适中正常无P11晴适中正常有P12多云适中高有P13多云热正常无P14雨适中高有NNo.天气气温湿度风类别1晴热高无N2晴热高有N3多云热高无P4雨适中高无P5雨冷正常无P6雨冷正常有N7多云冷正常有PNo.天气气温湿度风类别8晴适中高无N9晴冷正常无P10雨适中正常无P11晴适中正常有P12多云适中高有P13多云热正常无P14雨适中高有N实例统计结果天气温度湿度有风打网球PNPNPNPNPN晴2/93/5热2/92/5高3/94/5否6/92/59/145/14云4/90/5暖4/92/5正常6/91/5是3/93/5雨3/92/5凉3/91/5统计结果天气E1温度E2湿度E3有风E4打网球PNPNPNPNPN晴2/93/5热2/92/5高3/94/5否6/92/59/145/14云4/90/5暖4/92/5正常6/91/5是3/93/5雨3/92/5凉3/91/5对下面的情况做出决策：天气温度湿度有风打网球晴凉高是？统计结果天气E1温度E2湿度E3有风E4打网球DPNPNPNPNPN晴2/93/5热2/92/5高3/94/5否6/92/59/145/14云4/90/5暖4/92/5正常6/91/5是3/93/5雨3/92/5凉3/91/5对下面的情况做出决策：天气温度湿度有风打网球晴凉高是？模型：决策：？(|)(|)PDnoEPDyesE()(|)()(|)()()PDEPEDPDPDEPEPE贝叶斯公式：E为第二个表中的取值、分别计算D=yes/no的概率1234EEEEE统计结果天气E1温度E2湿度E3有风E4打网球DPNPNPNPNPN晴2/93/5热2/92/5高3/94/5否6/92/59/145/14云4/90/5暖4/92/5正常6/91/5是3/93/5雨3/92/5凉3/91/5对下面的情况做出决策：天气温度湿度有风打网球晴凉高是？12341234()(|)()(|)()()(|)()()(|)(|)(|)(|)()()PDEPEDPDPyesEPEPEPEEEEyesPyesPEPEyesPEyesPEyesPEyesPyesPE()(|)()(|)()()PDEPEDPDPDEPEPE233390.0053999914(|)()()PyesEPEPE233390.0053999914(|)()()PyesEPEPE已经计算出：314350.0206555514(|)()()PnoEPEPE同理可计算：(|)(|)1PyesEPnoE利用公式：(|)20.5%(|)79.5%PyesEPnoE最后得到：(|)(|)PyesEPnoE不去打球决策：天气E1温度E2湿度E3有风E4打网球DPNPNPNPNPN晴2/93/5热2/92/5高3/95/5否6/92/59/145/14云4/90/5暖4/92/5正常6/90/5是3/93/5雨3/92/5凉3/91/5对下面的情况做出决策：天气温度湿度有风打网球云凉正常是？利用朴素贝叶斯对文档分类为了对文档进行分类，首先我们需要把文档进行向量化，而组成这个向量的分量，通常是一个文档集合中重要的关键词。Bagofwords，也叫做“词袋”，在信息检索中，Bagofwordsmodel假定对于一个文本，忽略其