哈工大模式识别第2章.

第2章贝叶斯决策理论§2.1引言模式识别是一种分类问题，即根据识别对象所呈现的观察值，将其分到某个类别中去。统计决策理论是处理模式分类问题的基本理论之一，对模式分析和分类器的设计起指导作用。贝叶斯决策理论是统计模式识别中的一个基本方法。物理对象的描述----特征及特征空间假设一个待识别的物理对象用其d个属性观察值描述，称之为d个特征，每个观察值即是一个特征。这d个特征组成一个d维的向量，叫特征向量。记为x=[x1,x2,…,xd]Td维待征所有可能的取值范围则组成了一个d维的特征空间。例：鲈鱼特征：长度：L=0~30cm宽度：W=10cm~25cm亮度：G=0~10特征向量：A=(L，W，G)A的各分量所占的三维空间就是对鲈鱼进行度量的特征空间。几种常用的决策规则不同的决策规则反映了分类器设计者的不同考虑，对决策结果有不同的影响。最有代表性的是：1.基于最小错误率的贝叶斯决策2.基于最小风险的贝叶斯决策3.在限定一类错误率条件下使另一类错误率为最小的两类别决策(Neyman-pearson准则)4.最小最大决策2.2基于最小错误率的贝叶斯决策分类识别中为什么会有错分类？–当某一特征向量值X只为某一类物体所特有，即对其作出决策是容易的，也不会出什么差错–问题在于出现模棱两可的情况–任何决策都存在判错的可能性。基于最小错误率的贝叶斯决策基本思想–分类准则：使错误率为最小–称之为基于最小错误率的贝叶斯决策条件概率P(*|#)是条件概率的通用符号–即在某条件#下出现某个事件*的概率–P(ωK|X):X出现条件下,样本为ωK类的概率P(*|#)与P(*)不同–例:*表示待识别的目标是敌人的导弹#表示目前处于战争状态–则P(*|#)与P(*)不同含义不同几个重要概念先验概率–P(ω1)及P(ω2)条件概率密度函数–p(x|ωi)后验概率–P(ωi|X)先验概率、后验概率、概率密度函数–假设总共有c类物体，用ωi(i=1,2,…,c)标记每个类别，x=[x1,x2,…,xd]T，是d维特征空间上的某一点，则–P(ωi)是先验概率–p(x|ωi)是ωi类发生时的条件概率密度函数–P(ωi|x)表示后验概率贝叶斯决策理论贝叶斯决策理论前提–各类别总体的概率分布是已知的;–要决策分类的概率分布是已知的。贝叶斯决策理论方法所讨论的问题是：–已知:总共有c类物体，以及先验概率P(ωi)及类条件概率密度函数p(x|ωi)–问题:如何对某一样本按其特征向量分类的问题。基于最小错误率的贝叶斯决策例：癌细胞的识别–假设每个要识别的细胞已作过预处理，并抽取出了d个特征描述量，用一个d维的特征向量X表示，–识别的目的是要依据该X向量将细胞划分为正常细胞或者异常细胞。–这里我们用ω１表示是正常细胞，而ω２则属于异常细胞。先验概率–P(ω1)和P(ω2)–含义:每种细胞占全部细胞的比例–P(ω1)+P(ω2)=1–一般情况下正常细胞占比例大，即P(ω1)P(ω2)先验概率–根据先验概率决定–这种分类决策没有意义–表明由先验概率所提供的信息太少121122()(),()(),PPxPPx概率密度函数–利用对细胞作病理分析所观测到的信息，也就是所抽取到的d维观测向量。–为简单起见，我们假定只用其一个特征进行分类，即d=1–得到两类的类条件概率密度函数分布p(x|ω1)是正常细胞的属性分布p(x|ω2)是异常细胞的属性分布类条件概率密度函数后验概率–我们的问题:当观测向量为X值时,应该把该细胞分为哪个类别呢？–最小错误率的贝叶斯决策该细胞属于正常细胞的概率P(ω1|x)该细胞属于异常细胞的概率P(ω2|x)–它属于各类的概率又是多少呢?(后验概率)Bayes公式(,)(|)()(|)()iiiiPXpXPPXpX(|)()(|)()(|)()(|)()iiiiiciiipXPPXpXpXPpXP1根据先验概率和概率密度函数可以计算出后验概率先验概率，后验概率，概率密度函数之间关系后验概率(|)()(|)(|)()iiiciiipXPPXpXP1类条件概率和后验概率–后验概率:P(ω1|x)和P(ω２|x)同一条件x下，比较ω1与ω2出现的概率两类ω1和ω2，则有P(ω1|x)+P(ω2|x)=1如P(ω1|x)P(ω2|x)则可以下结论，在x条件下，事件ω1出现的可能性大–类条件概率:P(x|ω1)和P(x|ω2)是在不同条件下讨论的问题即使只有两类ω1与ω2，P(x|ω1)+P(x|ω2)≠1P(x|ω1)与P(x|ω2)两者没有联系为什么后验概率要利用Bayes公式从先验概率和类条件概率密度函数计算获得？–计算概率都要拥有大量数据–估计先验概率与类条件概率密度函数时都可搜集到大量样本–对某一特定事件(如x)要搜集大量样本是不太容易–只能借助Bayes公式来计算得到基于最小错误概率的贝叶斯决策基于最小错误概率的贝叶斯决策理论就是按后验概率的大小作判决的1、后验概率,(|)max(|)ijjPXPX12如果则iX(3)用比值的方式表示-----似然比jjj12,(|)()max(|)()iipXPpXP若：iX则：(2)如用先验概率及类条件概率密度函数表示，则有(|)()()(|)()pXPlxpXP1221如果则：X1(4)对数似然比（似然比处理器）hxlxPpXpXP()ln[()]()ln(|)ln(|)ln()1122则：X1例2.1假设在某地区切片细胞中正常(ω1)和异常(ω２)两类的先验概率分别为P(ω1)=0.9，P(ω2)=0.1。现有一待识别细胞呈现出状态x，由其类条件概率密度分布曲线查得p(x|ω1)=0.2，p(x|ω２)=0.4，试对细胞x进行分类。解：利用贝叶斯公式，分别计算出状态为x时ω1与ω２的后验概率(|)()..(|).....(|)()iiipXPPXpXP111210209081802090401(|)-(|)..PXPX211108180182(|).(|).PXPX1208180182因此判定该细胞为正常细胞比较合理最大后验概率即是最小错误率的证明平均错误率，以P(e)表示P(e,x)：错误决策为e,观测值为x的联合概率密度P(e|x)：观测值为x时的条件错误概率密度函数P(x)：x值出现的概率–分析两类别问题按贝叶斯决策规则，当P(w2|x)＞P(w1|x)时决策为w2。显然这个决策意味着，对观测值x有P(w1|x)概率的错误率。上例中所作的w1决策，实际上包含有P(w2|x)=0.182的错误概率(正确率只有0.818)两类别问题当p(w2|x)＞p(w1|x)时决策为w2，对观测值x有P(w1|x)概率的错误率则：RRRRPePxpxdxPxpxdxpxPdxpxPdx()(|)()(|)()(|)()(|)()2112221112如果我们把作出w1决策的所有观测值区域称为R1，则在R1区内的每个x值，条件错误概率为p(w2|x)。另一个区R2中的x,条件错误概率为p(w1|x)。pXPlxpXP(|)()(),(|)()1221如果X1RRRRPepXPdxpXPdxPpXdxPpXdxPPePPe()(|)()(|)()()(|)()(|)()()()()2211122211122211在R1区内任一个x值都有P(w2|x)＜P(w1|x)，在R2区内任一个x值都有P(w1|x)＜P(w2|x)错误率在每个x值处都取小者，因而平均错误率P(e)也必然达到最小因而，按最大后验概率作出的决策，其平均错误率为最小。C类别情况,...,(|)max(|)ijjcPXPX1如果:iX则：也可写成先验概率与条件概率密度形式：,...,:(|)()max(|)()iijjjcpXPpXP1如果iX则：多类别决策过程中的错误率计算：1、把特征空间分割成R1，R2，…，Rc，C个区域2、在每个区域Ri统计将所有其它类错误划为该区域对应的类的概率，则每个区域共有c-1项错误率，总共有c(c-1)项。（计算复杂）正确率：所以：P(e)=1-P(c)（可见：每次决策，正确率最大，即：P(C）最大，所以，错误率最小）2.3基于最小风险的贝叶斯决策基本思想–使错误率最小并不一定是一个普遍适用的最佳选择。–癌细胞分类两种错误:–癌细胞→正常细胞–正常细胞→癌细胞两种错误的代价(损失)不同–宁可扩大一些总的错误率，但也要使总的损失减少。–引进一个与损失有关联的，更为广泛的概念——风险。–在作出决策时，要考虑所承担的风险。–基于最小风险的贝叶斯决策规则正是为了体现这一点而产生的。基于最小风险的贝叶斯决策最小错误率贝叶斯决策规则实际上，C类中的每一类都有一定的样本的特征向量取值X，只不过可能性大小不同而已。若引入风险（或损失）：表示:X本属于ωj类，但作出决策ωj时所造成的损失（风险）ijijcPXPXX,,...,:(|)max(|)如果12分类准则是使风险最小：ijijcRXRXX,,...,:()min()如果12()()(|)ciijjjRXPX1则：本属于第j类，但决策为第i类的风险为因此，若取值为X的样本决策为第i类的平均风险为：ijjPX()(|)两类情况举例:有没有癌细胞–ω1表示正常，ω2表示异常–P(ω1|X)与P(ω2|X)分别表示了两种可能性的大小–X是癌细胞(ω2)，但被判作正常(ω1)，则会有损失，这种损失表示为:λ2(1)【漏警】–X确实是正常(ω1)，却被判定为异常(ω2)，则损失表示成:λ1(2)【虚警】–另外为了使式子写的更方便，我们也可以定义λ1(1)和λ2(2)–是指正确判断也可有损失两种决策X被判正常(ω1)的代价(损失)X被判癌细胞(ω2)的代价(损失)()()()(|)(|)RXPXPX1111122()()()(|)(|)RXPXPX2221122作出哪一种决策就要看是R1(X)小还是R2(X)小这就是基于最小风险的贝叶斯决策的基本出发点一般情况：多类(1)自然状态与状态空间。自然状态：指待识别对象的类别:ωi状态空间Ω：由所有自然状态所组成的空间Ω={ω1，ω2，…，ωc}(2)决策与决策空间。对分类问题所作的判决，称之为决策，αi。由所有决策组成的空间称为决策空间。A={α1,α2,…..,αa}决策不仅包括根据观测值将样本划归哪一类别(状态)，还可包括其它决策，如“拒绝”等，因此决策空间内决策总数a可以不等于类别数c(3)损失函数λ(αi|ωj)(或写成λ(αi,ωj))。它明确表示对自然状态ωj，作出决策αi时所造成的损失。就是前面我们引用过的(4)观测值X条件下的期望损失R(αi|X),i=1,2,…,aRi：称为条件风险。最小风险贝叶斯决策规则最小风险贝叶斯决策规则可写成：所有样本的期望风险R（平均风险）iRRXpXdX(|)()jiiKjifRXRXthenX,,...,(|)min(|)12（1）根据贝叶斯公式计算后验概率（2）利用后验概率及损失函数计算条件风险（3）按条件风险最小进行决策。若：则：最小风险贝叶斯决策的步骤jX48ciijjjRXPXiK(|)(,)(|),,...,112jiiKRXRX,,...,(|)min(|)12例2.2在例2.1条件的基础上–假设在某地区切片细胞中正常(ω1)和异常(ω２)两类的先验概率分别为P(ω1)=0.9，P(ω2)=0.1。现有一待识别细胞呈现出状态x，