模式识别 第四章 统计判决

第四章统计判决•最小误判概率准则判决•最小损失准则判决•最小最大损失准则•N-P(Neyman—Pearson)判决例子——癌症普查：•1癌症患者：11268•2正常者：2242282•总人数：n=2253550•对每一类的概率做一个估计（先验概率）11()0.005nPn22()0.995nPn4·1最小误判概率准则判决•对人们测量细胞的特征向量•代表的某个人属于第i类的后验概率：•决策规律：()iPx例子——癌症普查（续1）：xx121122(|)(|)(|)(|)PωxPωxxPωxPωxx若则若则•若已知两类特征向量分布的类条件概率密度函数•贝叶斯公式、全概率公式()iPx(|)()(|)()iiipxPPxpx21(|)()(|)()iiiiipxPpxP例子——癌症普查（续2）：将P(i|x)代入判别式，判别规则可表示为1122111222(|)()(|)()(|)()(|)()PxωPPxωPxPxωPPxωPx若则若则或改写为121212121121212221(|)()(|)()(|)()(|)()pxPlxpxPpxPlxpxP则则l12称为似然比（likelihoodratio），12称为似然比的判决阀值。例子——癌症普查（续3）：概念和符号•---总概率•---后验概率•---类概密，表示在类i条件下的概率密度，即类i模式x的概率分布密度•---先验概率，表示类i出现的先验概率，简称类i的概率()Px()iPx()ipx()iP例：对一批人进行癌症普查，1:患癌症者;2:正常人。模式特征x=x(化验结果),x=1：阳性；x=0：阴性。已知：（统计结果）先验概率：P(1)=0.005P(2)=1-P(1)=0.995条件概率：p(x=阳|1)=0.95p(x=阴|1)=0.05p(x=阳|2)=0.01求：呈阳性反映的人是否患癌症？解：利用Bayes公式111111122(|)()(|)()(|)()(|)()(|)()0.950.0050.3230.950.0050.010.995pxPPxpxpxPpxPpxP阳阳阳阳阳阳因为，P(2|x=阳)=1-P(1|x=阳)=1-0.323=0.677P(1|x=阳)P(2|x=阳)故判决：(x=阳)2，即正常。写成似然比形式1122212112122(|)0.9595(|)0.01()0.995197()0.005,,pxlxpxPPlxx阳（阳）阳判决阀值（阳）即正常。最小误判概率准则判决域示意图12xp(x|1)P(1)p(x|2)P(2)12P(1)21P(2)2121()pxdx1212()pxdx该规则使得分类的错误率最小•两种错误•设和类出现的概率分别为和，则总的误判概率是•误判概率最小等价于使正确分类概率最大，即2121()pxdx1212()pxdx11()P112221()()()PePP211212()()()()PpxdxPpxdx121212()()()()()maxPcPpxdxPpxdx()Pc22()P()Pe多类问题，最小误判概率准则有如下几种等价的判决规则(1)if()(),thenijiPxPxjixif()max[()]thenijijPxPxxif(|)()(|)(),theniijjipxPpxPjixif(|)()max[(|)()]theniijjjipxPpxPx(2)多类问题，最小误判概率准则有如下几种等价的判决规则()(|)if(),(|)()thenjiijijjiiPpxlxpxPjixifln(|)ln()ln(|)ln(),theniijjipxPpxPjix(3)(4)12xp(x|1)P(1)p(x|2)P(2)p(x|3)P(3)334.1.2正态模式最小误判概率判决准则的具体形式在c类问题中，属于i类的n维模式的正态分布密度函数为式中，为均值矢量，为协方差x112211()exp()()2(2)iiiinipxxxiiEx()()iiiiExxi类的判决函数可以表为去掉与类别无关的项并不影响分类判决结果，故可简化为11()ln()ln(2)ln221()()2iiiiiindxPxx11()ln()ln21()()2iiiiiidxPxx决策-损失表4.2.1损失概念、损失函数与平均损失()jiij对一个实属i类的模式采用了决策j所造成损失记为……c(c/1)(c/2)…(c/c)c+1(c+1/1)(c+1/2)…(c+1/c)12…c1(1/1)(1/2)…(1/c)2(2/1)(2/2)…(2/c)条件平均风险令决策的数目a等于类数c，如果决策j定义为判属于j类，那么对于给定的模式在采取决策j的条件下损失的期望为条件期望损失刻划了在模式为、决策为j条件下的平均损失，故也称为条件平均损失或条件平均风险（Risk）。（做决策j的平均损失）x1()()()cjjijiijiiRxRxPxEx(1,2,,)jc()jRx()jRxxx•由贝叶斯公式，上式可以写为•平均损失或平均风险111()()()()()()()()cccjijiijiiiiiiiiRxpxPpxpxPpxP1()()()()jcjjjRRxpxdxRxpxdx11()()jccijiijipxPdx11(())()()jccjiiiijxpxPdx1()(())()ciiiiPxpxdx,(())iixEx平均风险该式表明，R是损失函数关于各类及的的数学期望，故称其为（总）平均损失或平均风险。()ijjix4.2.2最小损失准则判决•可以将最小条件平均损失判决规则表为如果则判定理使条件平均损失最小的判决也必然使总的平均损失最小。所以最小条件平均损失准则也称为最小平均损失准则或最小平均风险准则，简称为最小损失准则。()min()jiiRxRxjx对于两类问题两类问题的最小损失准则的似然比形式的判决规则为如果则判111121212()[()()()()]()RxpxPpxPpx212122212()[()()()()]()RxpxPpxPpx122122112112()()()()()()pxPpxP12x1212()()ifRxRxthenxelsex111212121222121211()()()()()()()()ifpxPpxPpxPpxPthenxelsex若记似然比阈值则两类问题的判决规则为如果则判0-1损失（ii=0,ij=1）条件下最小损失判决最小错误判决221221211211()()()()PP12()lx1212x例4.2.2：设,正常细胞1，异常细胞2，已知P(1)=0.9,P(2)=0.1；；11=0,12=1,21=6,22=0。试用最小误判概率准则和最小损失准则判断该细胞是正常的还是异常?解(1)由贝叶斯定理可以分别算出1和2的后验概率。因为，所以把归于正常细胞。11121()()0.20.9()0.8180.20.90.40.1()()iiipxPPxpxP21()1()0.182PxPx12(|)(|)PxPxx12(|)0.2,(|)0.4pxpx(2)当依据损失进行判决时，计算条件平均损失由于,因此判。之所以这两个判决结果相反，是因为21取得较大的缘故。2112121()()(|)1.092iiiRxPxPx2221211()()(|)0.818iiiRxPxPx12()()RxRx2x4.2.3含拒绝判决的最小损失判决拒绝判决可以作为最小损失判决中的一个可能判决。设c+1=“拒绝判决”。令表示模式实属类但拒绝作出判决所造成的损失，于是在模式条件下拒绝判决的平均损失为如果，j=1,2,…,c，则作出拒绝判决。1()cixi111()()()ccciiiRxPx1()()cjRxRxx设,,这时要使即亦即1(,)icr(,)iic(,)ije1()()cjRxRx()()reecjPx()11errcjececPxtrcectcre11()()()()()()()()ccjjiieieciiieeciRxPxPxPxPx一般有：1111()()()()cccciiririiRxPxPx含拒判决策的最小损失判决规则为如果，则对拒判；如果，则判。当即时恒成立，故此时不存在拒判。max()1jjPxtmax()()1jijPxPxtxix11tc1max()1jjPxtc11tc对于两类问题，存在拒判决策的条件是判决规则如下：如果，则判；如果，则判；如果，则对拒判。1212()()(1)()()pxPtpxPt1x1212()()()()(1)pxPtpxPt2x212112()()()(1)()(1)()()pxPtPtPtpxPtx102rcect4·3最小最大损失准则实际中，类先验概率P(i)往往不能精确知道或在分析过程中是变动的，从而导致判决域不是最佳的。所以应考虑如何解决在P(i)不确知或变动的情况下使平均损失变大的问题。第四章统计判决对于两类问题，设一种分类识别决策将特征空间分划为两个子空间1和2，记ij为将实属i类的模式判为j的损失函数，各种判决的平均损失为1212112122212111111212212112(()|)()(()|)()(()|)()(|)()(|)()()(|)()(|)()(|)iiiiiiiiRRxxpxdxRxxpxdxRxxpxdxpxPdxpxPdxPpxdxPpxdxPpxdx2222()(|)Ppxdx利用则平均损失可写为由于0P(1)1，所以平均损失值有aRa+b1221()1()(|)1(|)iiPPpxdxpxdx12122212221112212111222121()(|)()[()()](|)()(|)()defRpxdxPpxdxpxdxabP121222122211221211122212()(|)[()()](|)()(|)apxdxbpxdxpxdx