贝叶斯分类器3..

统计模式识别（二）贝叶斯分类器内容贝叶斯分类的基本原理最小错误率贝叶斯分类最小风险贝叶斯分类最大似然比贝叶斯分类正态分布中的贝叶斯分类回顾：线性分类器设计思路梯度下降法感知器法哈哈统计有一个从没带过小孩的统计学家，因为妻子出门勉强答应照看三个年幼好动的孩子。妻子回家时，他交出一张纸条，写的是：“擦眼泪11次；系鞋带15次；给每个孩子吹玩具气球各5次,累计15次；每个气球的平均寿命10秒钟；警告孩子不要横穿马路26次；孩子坚持要穿马路26次；我还要再过这样的星期六0次”。统计学真的这样呆板吗？仅仅收集数据，整理分析，累加平均…统计学以数据为研究内容，但仅仅收集数据，决不构成统计学研究的全部。统计学是面对不确定情况寻求决策、制定方法的一门科学人力、财力、时间等的限制，只有部分或少量数据，要推断所有数据的的特征PR中的分类问题是根据识别对象特征的观测值，将其分到相应的类别中去。1、贝叶斯公式及其意义：一、贝叶斯分类原理：)(ABPk)()(ApABPkniiikkBApBPBApBP1)()()()(P(Bk|A)是事件A发生时事件Bk发生的条件概率；P(Bk)是事件Bk发生的概率；p(A|Bk)是事件Bk发生时事件A发生的条件概率密度；p(A)是事件A发生的条件概率密度；•贝叶斯公式表达了两个相关事件在先后发生时的推理关系2、作为统计判别问题的模式识别：以两类分类问题来讨论：设有两个类别ω1和ω2，理想情况，ω1和ω2决定了特征空间中的两个决策区域。•确定性分类：我们任取一个样本x，当它位于ω1的决策区域时，我们判别x∈ω1；当它位于ω2的决策区域时，我们判别x∈ω1。也可以说：当x位于ω1的决策区域时，它属于ω1的概率为1，属于ω2的概率为0。•随机性统计分类：如我们任取一个样本x，当它位于ω1的决策区域时，它属于ω1的概率为小于1，属于ω2的概率大于0，确定性分类问题就变成了依照概率判决规则进行决策的统计判别问题。3、先验概率和后验概率：•先验概率：根据大量样本情况的统计，在整个特征空间中，任取一个特征向量x，它属于类ωj的概率为P(ωj),也就是说，在样本集中，属于类ωj的样本数量于总样本数量的比值为P(ωj)。我们称P(ωj)为先验概率。显然，有：P(ω1)＋P(ω2)＋……＋P(ωc)＝1•后验概率：当我们获得了某个样本的特征向量x，则在x条件下样本属于类ωj的概率P(ωj|x)称为后验概率。后验概率就是我们要做统计判别的依据。4、后验概率的获得：后验概率是无法直接得到的，因此需要根据推理计算，由已知的概率分布情况获得。根据贝叶斯公式可得：)x(jPnipPpP1jjjj)x()()x()()x()x()(jjppP其中：p(x|ωj)为类ωj所确定的决策区域中，特征向量x出现的概率密度，称为类条件概率密度，又称为似然函数。p(x)为全概率密度，可由全概率公式计算得到。以细胞识别为例：细胞切片的显微图像经过一定的预处理后，抽取出d个特征。每一细胞可用一个d维的特征向量x表示。希望根据x的值分到正常类ω1或异常类ω2中去。假定可以得到Pr（ω1）、Pr（ω2），[Pr（ω1）+Pr（ω2）=1],和p(x|ω1)、p(x|ω2)。如果只有先验概率，那么合理的选择是把x分到Pr（ω1）、Pr（ω2）大的一类中去。一般由于Pr（ω1）Pr（ω2），这样就把所有的细胞分到了正常的一类。失去了意义。•如果有细胞的观测信息，那么可以改进决策的方法。为了简单起见，假定x是一维的特征（如胞核的总光强度）。p(x|ω1)和p(x|ω2)已知：•利用贝叶斯公式：21xxxiiriiriirωPωpωPωpωP•得到的Pr（ωi|x）称为状态（正常、异常）的后验概率。上述的贝叶斯公式，通过观测到的x，把先验概率转换为后验概率。5贝叶斯分类估计密度函数p(x|ωi)i=1，2,…，Mp(x|ω1)p(x|ω2)p(x|ωM)…p(ω1)p(ω2)p(ωM)最大值选择器判别结果x贝叶斯分类器贝叶斯分类的前提要决策分类的类别数是一定的。各类别总体的概率分布是一定的。二、几种贝叶斯分类判别规则：1、最小错误率贝叶斯分类：若有c个分类，若取得样本的特征向量x的条件下，某个类对应的后验概率后验概率P(ωk|x)最大，则判别x∈ωk发生错误分类的可能性最小，因此，以下判别规则称为最小错误率贝叶斯分类：若P(ωk|x)＝max｛P(ωj|x)｝，则x∈ωkj＝1,2,……c1、最小错误率贝叶斯分类例：某地区细胞识别；P(ω1)=0.9，P(ω2)=0.1未知细胞x，先从类条件概率密度分布曲线上查到：解：该细胞属于正常细胞还是异常细胞，先计算后验概率P(x/ω1)=0.2，P(x/ω2)=0.4.),()(),()(,182.0)(1)(818.01.04.09.02.09.02.0)()()()()(211211221111用所以先验概率起很大作因为属正常细胞。因为PPxxPxPxPxPPxPPxPxPjjj下面证明上述基于最小错误率的贝叶斯规则是错误率最小的。•证明：错误率是对所有x的平均错误率Pr（e）xxxdpePePrr•两类时的条件错误概率为：xxxxxxx212121ωPωPωPωPωPωPePrrrrrrr当当•令t是两类的分界面，当x是一维时，即x轴上的一点。xxxxxxdpωPdpωPePtrtrr12xxxxdωPωpdωPωptrtr1122xxxxdωpωPdωpωPRrr211R1221122εωPεωPrr•要使Pr（e）是最小的，可从两个思路看：1.要使最小，使对每个x，Pr（e|x）都要最小。所以取后验概率最大的。xxxdpePePrr2.假如将分界面移到t’点tCBAePtrDCBAePtr∴t应是错误率最小的分界点，相应的规则也是错误率最小。•对于多类情况，最小错误率决策规则为：若，则xmaxx21jrcjirωPωP，，，iωx或若则jjrcjiirωpωPωpωPxx，，，21maxiωxiωx2、最小风险贝叶斯分类：最小错误率贝叶斯分类只考虑分类错误的概率最小，但是，每次分类错误带来的损失是不一样的，例如：•要判断某人是正常(ω1)还是肺病患者(ω2),于是在判断中可能出现以下情况：•第一类，判对(正常→正常)λ11；第二类，判错(正常→肺病)λ21；•第三类，判对(肺病→肺病)λ22；第四类，判错(肺病→正常)λ12。第二类和第四类属于分类错误。•显然，第四类错误带来的损失大于第二类错误带来的损失。地震预报。，耽误早期诊断和治疗将异常划为正常，漏诊恐慌；人增加精神负担，造成将正常划为异常，给病生了，要遭受损失。预报为无震，但地震发没有发生；，要付出代价，但地震预报为有震，要作准备细胞识别2、最小风险贝叶斯分类：为评估分类错误的风险，引入以下概念：•行动αi：表示把模式x判决为ωi类的一次动作。•损失函数λij=λ(αi|ωj)：表示模式x本来属于ωj类错判为ωi所受损失•条件平均风险（也叫条件期望损失）：对未知x采取一个判决行动αi(x)所冒的风险（或所付出的代价）).(,...,2,1,1MaaixPExRjMjjijii•对于实际问题，最小风险的贝叶斯决策可按如下步骤进行：1.根据Pr（ωj），p(x|ωj)，j=1，2，…，c，以及给出的x，计算后验概率2.计算条件风险cjωPωpωPωpωPciirijrjjr，，，，21xxx1miωPωaaRcjjrjii，，，，，211xx即若，则采用决策。3.从得到的m个条件风险中，选最小的。xximikaRminaR，，，21ka2、最小风险贝叶斯分类：•最小风险贝叶斯判别规则：kiikxxRxR则若,minc,...,2,1分类器。这时便得到最小错误率最大，最小，就相当于后验概率时时函数用)()()(1)()()()()(,1,0)(:10i1xPxRxPxPxPxPxRjijiiiijjjijijjjiMiiijjj2、最小风险贝叶斯分类：作用。较大，决策损失起决定＝因类风险大。因决策异常细胞因为条件风险：概率：由上例中计算出的后验，曲线上查的从类条件概率密度分布异常为概率为例：已知正常细胞先验6,)()(818.0)()(092.1)()()(182.0)(,818.0)(0,1,6,04.0)(,2.0)(,1.0)(,9.0)(1212112122121211212221121121xxRxRxPxRxPxPxRxPxPxPxPPPjjjii3、最大似然比贝叶斯分类：在最小错误率贝叶斯分类中，P(ωk|x)＝max｛P(ωj|x)｝，则x∈ωkj＝1,2,……c则有：P(ωk|x)P(ωj|x),j=1,2,….c,j≠k;即)x()x(jkpp)()(kjPP,j=1,2,….c,j≠k;,j=1,2,….c,j≠k;)x()(kkpP)x()(jjpP,j=1,2,….c,j≠k;)x()x()(jjppP)x()x()(kkppP3、最大似然比贝叶斯分类：定义：)x()x(Ljiijpp＝)()(ijijPP＝似然比判别阈值则最大似然比贝叶斯分类的判别规则可以表达为：若Lijθij，则x∈ωk，i、j=1,2,….c,三正态分布决策理论1、正态分布判别函数为什么采用正态分布：a、正态分布在物理上是合理的、广泛的。b、正态分布数学上简单，N(μ,σ²)只有均值和方差两个参数。单变量正态分布：)()()(,)()(:),(21exp21)(22222方差，均值或数学期望其中dxxPxxEdxxxPxENxxP1)()(,0)(dxxPxxP列关系：概率密度函数应满足下)(xPX2295.01三、正态分布决策理论1、正态分布判别函数为什么采用正态分布：正态分布在物理上是合理的、广泛的。正态分布数学上简单，N(μ,σ²)只有均值和方差两个参数。单变量正态分布：)()()(,)()(:),(21exp21)(22222方差，均值或数学期望其中dxxPxxEdxxxPxENxxP三、正态分布决策理论1)()(,0)(dxxPxxP列关系：概率密度函数应满足下)(xPX2295.01（多变量）多维正态分布（1）函数形式：的行列式为的逆阵，为维协方差矩阵，为维均值向量，维特征向量其中121211212),...,,(,,...,,:21exp21)(nnnnxxxxxxxPTnTnTniiiiidxxPxxE)()(nnnnnn