贝叶斯分类

朴素贝叶斯分类先上问题吧，我们统计了14天的气象数据(指标包括outlook，temperature，humidity，windy)，并已知这些天气是否打球(play)。如果给出新一天的气象指标数据:sunny,cool,high,TRUE，判断一下会不会去打球。table1outlooktemperaturehumiditywindyplaysunnyhothighFALSEnosunnyhothighTRUEnoovercasthothighFALSEyesrainymildhighFALSEyesrainycoolnormalFALSEyesrainycoolnormalTRUEnoovercastcoolnormalTRUEyessunnymildhighFALSEnosunnycoolnormalFALSEyesrainymildnormalFALSEyessunnymildnormalTRUEyesovercastmildhighTRUEyesovercasthotnormalFALSEyesrainymildhighTRUEno这个问题可以用决策树的方法来求解，当然我们今天讲的是朴素贝叶斯法。这个一”打球“还是“不打球”是个两类分类问题，实际上朴素贝叶斯可以没有任何改变地解决多类分类问题。决策树也一样，它们都是有导师的分类方法。朴素贝叶斯模型有两个假设：所有变量对分类均是有用的，即输出依赖于所有的属性；这些变量是相互独立的，即不相关的。之所以称为“朴素”，就是因为这些假设从未被证实过。注意上面每项属性（或称指标）的取值都是离散的，称为“标称变量”。step1.对每项指标分别统计：在不同的取值下打球和不打球的次数。table2outlooktemperaturehumiditywindyplayyesnoyesnoyesnoyesnoyesnosunny23hot22high34FALSE6295overcast40mild42normal61TRUR33rainy32cool31step2.分别计算在给定“证据”下打球和不打球的概率。这里我们的“证据”就是sunny,cool,high,TRUE，记为E，E1=sunny,E2=cool,E3=high,E4=TRUE。A、B相互独立时，由：得贝叶斯定理：得：又因为4个指标是相互独立的，所以我们只需要比较P(yes|E)和P(no|E)的大小，就可以决定打不打球了。所以分母P(E)实际上是不需要计算的。P(yes|E)*P(E)=2/9×3/9×3/9×3/9×9/14=0.0053P(no|E)*P(E)=3/5×1/5×4/5×3/5×5/14=0.0206所以不打球的概率更大。零频问题注意table2中有一个数据为0，这意味着在outlook为overcast的情况下，不打球和概率为0，即只要为overcast就一定打球，这违背了朴素贝叶斯的基本假设：输出依赖于所有的属性。数据平滑的方法很多，最简单最古老的是拉普拉斯估计（Laplaceestimator）--即为table2中的每个计数都加1。它的一种演变是每个计数都u（0u1）。Good-Turing是平滑算法中的佼佼者，有兴趣的可以了解下。我在作基于隐马尔可夫的词性标注时发现Good-Turing的效果非常不错。对于任何发生r次的事件，都假设它发生了r*次：nr是历史数据中发生了r次的事件的个数。数值属性当属性的取值为连续的变量时，称这种属性为“数值属性“。通常我们假设数值属性的取值服从正态分布。outlooktemperaturehumiditywindyplayyesnoyesnoyesnoyesnoyesnosunny2383858685FALSE6295overcast4070809690TRUR33rainy326865807064726595697170917580757072908175sunny2/93/5meanvalue7374.6meanvalue79.186.2FALSE6/92/59/155/14overcast4/90/5deviation6.27.9deviation10.29.7TRUR3/93/5正态分布的概率密度函数为：现在已知天气为：outlook=overcast，temperature=66，humidity=90，windy=TRUE。问是否打球？f(温度=66|yes)=0.0340f(湿度=90|yes)=0.0221yes的似然=2/9×0.0340×0.0221×3/9×9/14=0.000036no的似然=3/5×0.0291×0.0380×3/5×9/14=0.000136不打球的概率更大一些。用于文本分类朴素贝叶斯分类是一种基于概率的有导师分类器。词条集合W，文档集合D，类别集合C。根据（1）式（去掉分母）得文档d属于类别cj的概率为：p(cj)表示类别j出现的概率，让属于类别j的文档数量除以总文档数量即可。而已知类别cj的情况下词条wt出现的后验概率为：类别cj中包含wt的文档数目除以类别cj中包含的文档总数目。结束语实践已多次证明，朴素贝叶斯在许多数据集上不逊于甚至优于一些更复杂的分类方法。这里的原则是：优先尝试简单的方法。机器学习的研究者尝试用更复杂的学习模型来得到良好的结果，许多年后发现简单的方法仍可取得同样甚至更好的结果。