第四章-统计判别

第四章统计判别随机模式分类识别，通常称为Bayes(贝叶斯)判决。（基础复习）第四章统计判决主要依据类的概率、概密，按照某种准则使分类结果从统计上讲是最佳的。准则函数不同，所导出的判决规则就不同，分类结果也不同。本章主要论述分类识别的一般原理、几种重要的准则和相应的判决规则，正态分布模式类的判决函数以及它们的性能。Bayes公式：设实验E的样本空间为S，A为E的事件，B1,B2,…,Bn为S的一个划分，且P(A)0，P(Bi)0，(i=1,2,…,n)，则:)()()|()()|()()|()|(1APBPBAPBPBAPBPBAPABPiinjjjiii“概率论”有关概念复习)()()()(iiiBAPBPABPAP条件概率“概率论”有关概念复习)()()()(iiixpPxPxp)()()()(iiiBAPBPABPAP先验概率：P(i)表示类i出现的先验概率，简称类i的概率。后验概率：P(i|x)表示x出现条件下类i出现的概率,称其为类别的后验概率，对于模式识别来讲可理解为x来自类i的概率。类概密：p(x|i)表示在类i条件下的概率密度，即类i模式x的概率分布密度，简称为类概密。对于两类1，2问题，直观地，可以根据后验概率做判决：121122(|)(|)(|)(|)pωxpωxxpωxpωxx若则若则21(|)()(|)()(|)()(|)()iiiiiiiipxPpxPpxpxpxP式中，p(x|i)又称似然函数(likelihoodfunctionofclassi)，可由已知样本求得。Bayes法则－最大后验概率准则根据Bayes公式，后验概率可由类i的先验概率P(i)和条件概率密度来表示，即(/)ipx(/)ipx将P(i|x)代入判别式，判别规则可表示为1122111222(|)()(|)()(|)()(|)()pxωPpxωPxpxωPpxωPx若则若则或改写为212122112112122112)()()|()|()()()|()|(xPPxpxplxPPxpxpl则则l12称为似然比（likelihoodratio），12称为似然比的判决阀值。原则：要确定x是属于ω1类还是ω2类，要看x是来自于ω1类的概率大还是来自ω2类的概率大。已知：（统计结果）先验概率：P(1)=1/3（鲈鱼出现的概率）P(2)=1-P(1)=2/3（鲑鱼出现的概率）条件概率：p(x|1)见图示（鲈鱼的长度特征分布概率）p(x|2)见图示（鲑鱼的长度特征分布概率）求：后验概率：P(|x=10)=?（如果一条鱼x＝10，是什么类别？）解法1：111111122(10|)()(|10)()(|)()(|)()(|)()0.051/30.0480.051/30.502/3pxPPxpxpxPpxPpxP10101010利用Bayes公式写成似然比形式1122212112122(|)0.05100.1(|)0.50()2/32()1/3,,pxlxpxPPlxx10（）10判决阀值（10）即是鲑鱼。解法2：例题1图示)(1xP)(2xPx条件概率密度分布)(ixP鲈鱼鲑鱼100.050.55.58.5例题1图示)(1xP)(2xPx2.04.06.08.00.1后验概率分布)(xPi10最小误判概率准则判决最小损失准则判决最小最大损失准则N-P(Neyman—Pearson)判决第四章统计判决4·1最小误判概率准则判决第四章统计判决图例：最小误判概率准则P(x/w1)p(w1)P(x/w2)p(w2)tΩ1Ω2P(w2)ε21P(w1)ε12x)()(11Pxp)()(22Pxp212)(P121)(P最小误判概率准则下的判决规则：如果，则判)()(11xpP)()(22xpP21x12x)()()(2112xpxpxl)()(12PP或等价地，如果，则判)(1xP)(2xP21x另一个等价形式是：如果则判)()()()(iiixpPxPxp由贝叶斯定理4.2最小损失准则判决第四章统计判决最小错误率最小损失率合格药品与不合格药品分类4.2.1损失概念、损失函数与平均损失,,,,21c设模式空间中存在c个类别:,,,,21a决策空间由a个决策:决策j常指将模式x指判为某一类wj或者是拒判。ijij)(对一个实属i类的模式采用了决策j所造成的损失记为：ac,,,,,,2121于是就有空间中的二元函数，称其为损失函数。决策-损失表12…c1(1/1)(1/2)…(1/c)2(2/1)(2/2)…(2/c)……c(c/1)(c/2)…(c/c)c+1(c+1/1)(c+1/2)…(c+1/c)决策j指将模式x指判为wj或者是拒判。ijjijiij100-1损失函数令决策的数目a等于类数c，如果决策j定义为判属于j类，那么对于给定的模式在采取决策j的条件下损失的期望为条件平均风险xExPxRxRijiciiijjj1)()()(),,2,1(cjxx条件期望损失刻划了在模式为、决策为j条件下的平均损失，故也称为条件平均损失或条件平均风险（Risk）。由贝叶斯公式，上式可以写为x)(xRj)(xRj)()()()(1xpPxpxRiiciijj)()()()(11iciiiiciijPxpPxp)()()()()()()()(111iciiiiciijiiciijjPxpPxpxpPxpxR求上式Rj(x)关于x的数学期望:cjciiiijjxdPxp11)()(cicjiiijjxdPxpx11)()()|)((ciiiixdxpxP1)()|)(()(ciiiixEP1)|)(()())((xExdxpxRRj)()(cjjjxdxpxR1)()(平均损失可以将最小条件平均损失判决规则表示为如果则判4.2.2最小损失准则判决)(min)(xRxRiijjx定理：使条件平均损失最小的判决也必然使总的平均损失最小。所以最小条件平均损失准则也称为最小平均损失准则或最小平均风险准则，简称为最小损失准则。)()()()()()(222111111xpPxpPxpxR)()()()()()(222211122xpPxpPxpxR对于两类问题，)()()()()()()()(111iciiiiciijiiciijjPxpPxpxpPxpxR如果)(1xR)(2xR21x则：这时最小损失判决规则可以表为：)()()()(22211111PxpPxp)()()()(22221112PxpPxp)()()()(22211111PxpPxp)()()()(22221112PxpPxp经整理可得：)()()()()()(111112222221PxpPxp两类问题的最小损失准则的似然比形式的判决规则为：))(())(()()(111212221221PPxpxp如果21x则判若记似然比阈值)()()()(111222211212PP注意，若1212)(xl我们规定任判或拒判。)(12xl1221x则两类问题的判决规则为：如果则判：)(12xl1221x如果则判：损失函数如何确定依赖于实际问题和经验，有时为了方便，对于一般的c类问题，令jijiij,1,0（0-1损失函数）)()()()(111222211212PP)()(1212PP此时：此即为最小误判概率准则的判决规则取0-1损失函数时，最小损失准则等价于最小误判概率准则，此时的平均损失就是误判概率，使平均损失最小即使误判概率最小。这也表明，最小误判概率准则是最小损失准则的特例。4.2.3含拒绝判决的最小损失判决拒绝判决可以作为最小损失判决中的一个可能判决，1c“拒绝判决”。)()(1xRxRjc如果j=1,2,…,c则作出拒绝判决。设(c+1(x)|i)=r，(i=1,2,…,c)，（即各类的拒判损失相同）rciirciircxPxPxR111)|()|()|(则又设(j(x)|i)=e，(ji，i，j=1,2,…,c)，（即各误判损失相同）x（即各正确判决损失相同）(i()|i)=c，(i=1,2,…,c)，且通常有cre)|()|()|(1xpxRiciijj)|()()|(1xPxpjceicie)|()(xPjcee)()|(λjixωpjc当包含)|()|(1xRxRjcx如果，(j=1,2,…c)，则对做拒绝判决。)|()(xPjceercecrcerejxP1)|(=1-t这里cecrt称之为拒判门限。因为cre，故0t1。210t对于两类问题，存在拒判决策的条件是：当t1-1/c时,1-t1/c,上式恒成立,不存在拒判问题,即存在拒判决策的条件应该是:t≤1-1/c判决规则如下：cecrttPtPxpxp)()1)(()()(1221如果1x则判)1)(()()()(1221tPtPxpxp如果2x则判)()()(2112xpxpxl)()(12PP12x最小误判概率准则))(())(()()(111212221221PPxpxp21x最小损失准则tPtPxpxp)()1)(()()(12211x)1)(()()()(1221tPtPxpxp2xtPtPxpxptPtP)()1)(()()()1)(()(122112拒判拒绝判决的最小损失