模式识别郝旷荣Chap2(MSSB-HKR)

1§2.1引言§2.2几种常用的决策规则§2.3正态分布时的统计决策§本章小节§本章习题第二章贝叶斯决策理论与统计判别方法2本章要点1.机器自动识别出现错分类的条件，错分类的可能性如何计算，如何实现使错分类出现可能性最小——基于最小错误率的Bayes决策理论2.如何减小危害大的错分类情况——基于最小错误风险的Bayes决策理论3.模式识别的基本计算框架——制定准则函数，实现准则函数极值化的分类器设计方法第二章贝叶斯决策理论与统计判别方法3本章要点4.正态分布条件下的分类器设计5.判别函数、决策面、决策方程等术语的概念6.Bayes决策理论的理论意义与在实践中所遇到的困难第二章贝叶斯决策理论与统计判别方法4本章难点：1.三种概率：先验概率、类概率密度函数、后验概率的定义2.三种概率之间的关系——Bayes公式3.描述随机变量分布的一些定义，如期望值、方差、尤其是协方差、协方差矩阵，其定义、计算方法及内在含义，透彻掌握其含义才会做到灵活运用。第二章贝叶斯决策理论与统计判别方法5§2.1引言模式识别是一种分类问题：根据识别对象所呈现的观察值，将其分到某个类别中去。统计决策理论是处理模式分类问题的基本理论之一，对模式分析和分类器的设计起指导作用。贝叶斯决策理论是统计模式识别中的一个基本方法，我们先讨论这一决策理论，然后讨论涉及统计判别方法的一些基本问题。6§2.1引言待识别的物理对象的描述问题特征：假设一个待识别的物理对象用其d个属性观察值描述，称之为d个特征；特征空间：这组成一个d维的特征向量，而这d维待征所有可能的取值范围则组成了一个d维的特征空间。7§2.1引言贝叶斯决策理论方法所讨论的问题：1.对c类不同的物理对象，以及各类在这d维特征空间的统计分布，ωi=1,2,…,c的先验概率P(ωi)及类条件概率密度函数p(x|ωi)已知的条件下，如何对某一样本按其特征向量分类的问题。2.所观察到的某一样本的特征向量为X，在c类中又有不止一类可能呈现X值，这种可能性可用P(ωi|X)表示。3.接着要分析正态分布时统计决策的问题以及错误概率等问题。由于这种决策理论以已知概率分布为前提，因此在本章还要讨论概念密度函数的估计问题。8§2.1引言机器实现自动分类有两大类方法：一种是模板匹配方法，而另一种就是对特征空间划分为子空间(每类的势力范围)的方法。本章是针对第二种方法的。核心问题是：样本为特征向量X时，它属于哪一类可能性有多大，如能确定属于各个类别的百分比(概率)分类决策就有了依据。例如某个样本的特征向量为X，X属于第一类样本的可能性为60％，而第二类的可能性为40％。在没有任何样本信息的情况下，则应将样本决策为第一类以使错分类可能性小(40％)。9§2.2几种常用的决策规则本节将讨论几种常用的决策规则。不同的决策规则反映了分类器设计者的不同考虑，对决策结果有不同的影响。最有代表性的是基于最小错误率的贝叶斯决策与基于最小风险的贝叶斯决策，下面分别加以讨论。102.2.1基于最小错误率的贝叶斯决策一般说来，c类不同的物体应该具有各不相同的属性，在d维特征空间，各自有不同的分布。当某一特征向量值X只为某一类物体所特有，问题在于出现模棱两可的情况。此时，任何决策都存在判错的可能性。这一节讨论的是使错误率为最小的决策方法，称为基于最小错误率的贝叶斯决策理论112.2.1基于最小错误率的贝叶斯决策最小错误率是在统计意义上的含义。条件概率概念。P(*|#)是条件概率的通用符号，在“|”后边出现的#为条件，之前的*为某个事件，即在某条件#下出现某个事件*的概率。P(ωK|X)指在X出现条件下，样本为ωK类的概率。一个事物在某条件下出现的概率P(*|#)与该事件在不带任何条件下出现的概率(写成P(*))是不相同的。例如全世界人口有60亿。因此你见到一个人在不带任何条件下，有20%的可能性是中国人P(*)=0.2，但是当有条件时（地理条件），这个值会改变。122.2.1基于最小错误率的贝叶斯决策例——癌细胞的识别假设每个要识别的细胞已作过预处理，并抽取出了d个特征描述量，用一个d维的特征向量X表示，识别的目的是要依据该X向量将细胞划分为正常细胞ω1或者异常细胞ω2。类别的状态是一个随机变量。概率的估计包含两层含义，一是由统计资料表明，正常细胞与异常细胞在统计意义上的比例，这称为先验概率P(ω1)及P(ω2)，另一种则分别表示所检查细胞呈现出不同属性的概率密度函数P(x|ω1)和P(x|ω2)。132.2.1基于最小错误率的贝叶斯决策例——癌细胞的识别显然在一般情况下正常细胞占比例大，即P(ω1)P(ω2)，因此如果我们不对具体的细胞化验值作仔细观察，我们作出该细胞是正常细胞的判决，在统计的意义上来说，也就是平均意义上说，错判可能性比判为异常细胞时小。但是仅按先验概率来决策，就会把所有细胞都划归为正常细胞，并没有达到将正常细胞与异常细胞区分开的目的。这表明由先验概率所提供的信息太少。142.2.1基于最小错误率的贝叶斯决策例——癌细胞的识别还必须利用所抽取到的d维观测向量。为简单起见，假定d=1，并已知这两类的类条件概率密度函数分布已知，如图2.1所示，其中P(x|ω1)是正常细胞的属性分布，P(x|ω2)是异常细胞的属性分布。那末，当观测向量为X值时，它属于各类的概率又是多少呢?为此我们可以利用贝叶斯公式,来计算这种条件概率，称之为状态的后验概率P(ωi|X)。1516Bayes(贝叶斯)公式联合概率：同时出现两个事件X及ωi的概率为P(x,ωi)。它是某个条件出现的概率(如P(ωi)),以及在此条件下某事件出现概率(P(x|ωi))的乘积，在此写为：P(x,ωi)=P(x|ωi)P(ωi)=P(ωi|x)P(x)。先验概率是针对ωi，I＝1,2,…,c,这c个事件出现的可能性而言的，不考虑其它任何条件。类条件概率密度函数P(x|ωi)：是指ωi条件下在一个连续的函数空间出现X的概率密度，在我们这里指第ωi类样本他的属性X是如何分布的。2.2.1基于最小错误率的贝叶斯决策17在得到一个待识别量的观测状态X后，可以通过先验概率P(ωi)及类别条件概率密度函数P(x|ωi)，得到呈现状态X时该样本分属各类别的概率，这个概率值可作为识别对象判属的依据。表示的类条件概率可用式(2-1)换算成如图2.2所示的后验概率分布。可以看出，在X值小时，细胞被判为正常是比较合理的，判断错误的可能性小。基于最小错误概率的贝叶斯决策理论又可以写成如下几种等价形式：(1)如果,则(2-2)2.2.1基于最小错误率的贝叶斯决策18(2)如用先验概率及类条件概率密度函数表示，则有：如果,则(2-3)2.2.1基于最小错误率的贝叶斯决策19(3)以比值的方式表示(似然比)，如果，则，否则(2-4)(4)(2-4)式还可改写成为对数形式，若则，否则(2-5)2.2.1基于最小错误率的贝叶斯决策20例2.1假设在某地区切片细胞中正常(ω1)和异常(ω２)两类的先验概率分别为P(ω1)=0.9，P(ω2)=0.1。现有一待识别细胞呈现出状态x，由其类条件概率密度分布曲线查得p(x|ω1)=0.2，p(x|ω２)=0.4，试对细胞x进行分类。解：利用贝叶斯公式，分别计算出状态为x时ω1与ω２的后验概率2.2.1基于最小错误率的贝叶斯决策21尽管类别ω２呈现出状态x的条件概率要高于ω1类呈现此状态的概率，但是考虑到P(ω1)远大于P(ω２)，因此状态x属于类别ω1的可能性远比属于类别ω２的可能性大。将该细胞判为正常在统计的意义上讲出错率要小得多。两对概率，一对是P(ω1|x)和P(ω２|x)，另一对是P(x|ω1)和P(x|ω2)。前一对是在同一条件x下，比较ω1与ω2出现的概率，如果我们只考虑两类ω1和ω2，则有P(ω1|x)+P(ω2|x)=1。而对两者进行数值上的比较，如P(ω1|x)P(ω2|x)则可以下结论，在x条件下，事件ω1出现的可能性大。2.2.1基于最小错误率的贝叶斯决策22对P(x|ω1)和P(x|ω2)来说，与第一对完全不同，因为它们是在不同条件下讨论的问题因此比较两者没有意义，而且即使只有两类ω1与ω2，P(x|ω1)+P(x|ω1)≠1。这里要特别强调一点是P(x|ω1)与P(x|ω2)两者没有联系，都是指各自条件下出现x的可能性，不能仅因为前者比后者大，就认为x是第一类事物的可能性较大，只有考虑先验概率这一因素，才能决定x条件下，ω1类还是ω2类的可能性比较大。2.2.1基于最小错误率的贝叶斯决策23为什么后验概率要利用Bayes公式从先验概率和类条件概率密度函数计算获得。在估计先验概率与类条件概率密度函数时都可搜集到大量样本，而对某一特定事件(如x)要搜集大量样本是不太容易的。因此只能借助Bayes公式来计算得到。对基于最小错误率的贝叶斯决策来说，以后验概率值的大小作判据是最基本的方法，而其它形式的作用都基本相同，但使用时更方便些。2.2.1基于最小错误率的贝叶斯决策24在两类别问题中，按(2-2)式给出的决策规则，当P(ω2|x)＞p(ω1|x)时决策为ω2。显然这个决策意味着，对观测值x有P(ω1|x)概率的错误率。例如在上例中所作的w1决策，实际上包含有P(ω2|x)=0.182的错误概率。在两类别的情况下，可以将p(e|x)表示成当如果我们把作出ω1决策的所有观测值区域称为R1，则在R1区内的每个x值，条件错误概率为p(ω2|x)。另一个区R2中的x,条件错误概率为p(ω1|x)。2.2.1基于最小错误率的贝叶斯决策25因此平均错误率P(e)可表示成(2-8)由于在R1区内任一个x值都有P(ω2|x)＜P(ω1|x)，同样在R2区内任一个x值都有P(ω1|x)＜P(ω2|x)错误率在每个x值处都取小者，因而平均错误率P(e)也必然达到最小，这就证明了按(2-2)式作出的决策，其平均错误率为最小。2.2.1基于最小错误率的贝叶斯决策262.2.1基于最小错误率的贝叶斯决策27为了形象地说明以上证明，图2.3表示了在某种概率分布下R1与R2区的分布情况，该图分别画出p(x｜ω1)P(ω1)及p(x｜ω2)P(ω2)的分布情况，由于P(e)也可以(2-8)式写成(2-9)因此错误率为图中两个划线部分之和，显而易见只有这种划分才能使对应的错误率区域面积为最小。2.2.1基于最小错误率的贝叶斯决策282.2.1基于最小错误率的贝叶斯决策在C类别情况下，很容易写成相应的最小错误率贝叶斯决策规则：如果,(2-10)也可将其写成用先验概率与类条件概率密度相联系的形式，得：(2-11)292.2.1基于最小错误率的贝叶斯决策至于计算多类别决策过程中的错误率，需把特征空间分割成R1，R2，…，Rc个区域，在每个区域Ri统计将所有其它类错误划为该区域对应的i类的概率，则每个区域共有c-1项错误率，总共有c(c-1)计算项，计算是很繁琐的。为此，可以改成计算平均正确分类概率P(c)即由于上式中只有c项，计算要简单得多。然后通过式子P(e)=1-P(c)，就可计算出平均错误率。302.2.1基于最小错误率的贝叶斯决策例应用贝叶斯决策的肤色提取312.2.1基于最小错误率的贝叶斯决策例利用贝叶斯原理，可以建立简单的肤色模型，并用来从图像中提取手部、脸部肤色，进而得到人的身体姿势。使用的方法是：1．先在一副训练图象中手工描绘出肤色区域，2．然后统计每种颜色点在肤色区域中出现的次数和在区域外出现的次数的比值，作为这种颜色是肤色的概率322.2.1基于最小错误率的贝叶斯决策3．这样就得到了一张查找表，表中的每个元素是这个点是肤色的概率。我们就得到了一个点是不是肤色的概率分布。4．再加上域值限制之后，认为只有概率大于一定域值的才是肤色。这样，对图中任意一点，查找表中对应的概率，就可以很快的知道它是不是肤色了。332.2.2基于最小风险的贝叶斯决策基于最小错误概率