模式识别第二章贝叶斯理论

11贝叶斯决策理论2大纲•基于最小错误率的贝叶斯判别法•基于贝叶斯公式的几种判别规则•正态分布模式的统计决策23第二章贝叶斯决策理论模式识别的分类问题就是根据待识客体的特征向量值及其它约束条件将其分到各个类别中去。贝叶斯决策理论是处理模式分类问题的基本理论之一。贝叶斯分类器在统计模式识别中被称为最优分类器。贝叶斯分类器分类器必须满足下列两个先决条件：1，要决策分类的类别数是一定的；2，类先验概率和类条件概率已知。435647基于最小错误率的贝叶斯判别法8基于最小错误率的贝叶斯判别法Bayes分类器—最优分类器、最佳分类器一、两类问题例如：细胞识别问题ω1正常细胞，ω2异常细胞某地区，经大量统计获先验概率P(ω1),P(ω2)若取该地区某人细胞x属何种细胞，只能由先验概率决定。这种分类器决策无意义221121),()(),()(xPPxPP59对x再观察：有细胞光密度特征,其类条件概率密度:P(x/ωί)ί=1,2,…。如图所示，（也称为后验概率）21)()()()()(jjjiiiPxPPxPxP通过对细胞的再观察，就可以把先验概率转化为后验概率，利用后验概率可对未知细胞x进行识别。利用贝叶斯公式：)(1xP)(2xPx条件概率密度分布)(ixP221121),()(),()(xxPxPxxPxP则若则若)(1xP)(2xPx2.04.06.08.00.1后验概率分布)(xPi106113、决策面方程：x为一维时，决策面为一点，x为二维时决策面为曲线，x为三维时，决策面为曲面，x大于三维时决策面为超曲面。例：某地区细胞识别；P(ω1)=0.9，P(ω2)=0.1未知细胞x，先从类条件概率密度分布曲线上查到：解：该细胞属于正常细胞还是异常细胞，先计算后验概率：0)(xgP(x/ω1)=0.2，P(x/ω2)=0.4用。所以先验概率起很大作因为属正常细胞。因为),()(),()(182.0)(1)(818.01.04.09.02.09.02.0)()()()()(211211221111PPxxPxPxPxPPxPPxPxPjjj12多类情况713二、多类情况：ωί=(ω1,ω2,…,ωm)，x=(x1,x2,…,xn)1.判别函数：M类有M个判别函数g1(x),g2(x),…,gm(x).每个判别函数有上面的四种形式。2.决策规则：),...,2,1(,)()(max)()()(1MixPxPPxPxgijjMjiiiiijMjiiixPxPPxPxg)(ln)(lnmax)(ln)(ln)(1另一种形式：3、决策面方程：0)()(),()(xgxgxgxgjiji即14g1(x)Maxg(x)nxxxX...21特征向量判别计算决策ixg2(x)gn(x)最大值选择器...4、分类器设计：贝叶斯公式可以有几种形式的判别法则，针对具体问题可以选取合适的形式。不管选取何种形式，其基本思想均是要求判别归属时依概率最大作出决策，这样的结果就是分类的错误率最小。贝叶斯分类器遵循最小错误贝斯决策规则815很明显，各类别在多维特征空间中为决策面或界面所分割。这些决策面是特征空间中的超曲面。相邻的两个类别在决策面上的判别函数值是相等的。如果ωi和ωj是相邻的，则分割它们的决策面就应为di(x)=dj(x)或di(x)-dj(x)=0对于两类问题，决策面方程：P(x|ω1)P(ω1)-P(x|ω2)P(ω2)=016§2.2基于贝叶斯公式的几种判别规则一、基于最小风险的贝叶斯决策在某些情况下，引入风险的概念，以求风险最小的决策则更为合理。例如对癌细胞的识别，要判断某人是正常(ω1)还是患者(ω2),在判断中可能出现以下情况：第一类，判对(正常→正常)λ11；第二类，判错(正常→异常)λ21；第三类，判对(异常→异常)λ22；第四类，判错(异常→正常)λ12。风险的概念比错误率似乎更恰当。因为识别的正确与否，直接关系到病人的身体甚至生命。风险的概念常与损失相联系，损失则用损失函9171.损失函数：损失函数公式：mjaiwji,2,1,,2,1,,ji意义：表示当处于状态时采取决策为所带来的损失。损失函数λii=λ(αi/ωi)表示模式X本来属于ωi类而决策为ωi所受损失。因为这是正确判决，故损失最小。损失函数λij=λ(αi/ωj)表示模式X本来属于ωj类决策为ωi所受损失。因为这是错误判决，故损失较大。18……αα…………αi…………α2……α1ωm…ωj…ω2ω1状态损失决策11,表示：在决策论中，常以决策表表示各种情况下的决策损失。12,1,i1,21,22,2,i2,j,1j,2ji,j,m,1m,2mi,m,1019204.最小风险贝叶斯决策思想：分类识别决策时，根据类的概率和概率密度，考虑误判的损失代价。决策应是统计意义上使由于误判而蒙受的损失最小。如果在采取每一个决策或行动时，都使其条件风险最小，则对所有的x作出决策时，其期望风险也必然最小。（条件平均损失最小的判决也必然使总的平均损失最小。）1121221223两类情况241325二类问题：把x归于ω1时风险：把x归于ω2时风险：作用。较大，决策损失起决定＝因类风险大。因决策异常细胞因为条件风险：概率：由上例中计算出的后验，曲线上查的从类条件概率密度分布异常为概率为例：已知正常细胞先验6,)()(818.0)()(092.1)()()(182.0)(,818.0)(0,1,6,04.0)(,2.0)(,1.0)(,9.0)(1212112122121211212221121121xxRxRxPxRxPxPxRxPxPxPxPPPjjjii)()()()()()(22212122121111xPxPxRxPxPxR26分类器。这时便得到最小错误率最大，最小，就相当于后验概率时时函数用最小风险分类规则：)()()(1)()()()()(,1,0)(:10)()()()()(1121221211121121xPxRxPxPxPxPxRjijixxPxxRxRiiijjjijijijjMiiijjj1427二、聂曼——皮尔逊决策法（N-P判决）1.问题的提出：(1)某些二类判决问题，某一种错误较另一种错误更为重要—危害更为严重。(2)先验概率未知。2.基本思想：严格限制较重要的一类错误概率，在令其等于某常数的约束下使另一类误判概率最小。28•例如在癌细胞识别中，我们已经认识到把异常误判为正常的损失更为严重，常常要求这种误判为错误率P2(e)很小，即P2(e)=是一个很小的常数，在这种条件下再要求P1(e)即把正常误判为异常的错误率尽可能地小。所以这样的决策可看成是在P2(e)=0条件下，求P1(e)极小值的条件极值问题。00,152930•由此式分别对x和求导，令dxxPxPdxxPdxxPLRRR120021||1||1120Lx0L有163132N-P决策规则如果：则：21||xPxP21xN-P决策规则归结为找阈值。最小一定这时可确定，为常数时，的函数在取为的分界线作时当1222t222121,)(.,)()(dxxPxPxP17334.最小错误率贝叶斯决策规则与N-P决策聂曼——皮尔逊决策规则与最小错误率贝叶斯决策规则都是以似然比为基础的，所不同的只是最小错误率决策所用的阈值是先验概率之比P(ω2)/P(ω1)，而聂曼——皮尔逊决策所用的阈值则是Lagrange乘子。34例：两类的模式分布为二维正态协方差矩阵为单位矩阵∑1=∑2=I，设ε2＝0.09求聂曼皮尔逊准则.解：TT0,1,0,12121exp212exp21)(21exp212exp21)(22212222221111xxxxxPxxxxxPTT同理：所以因为是两类正态1835如图所示：时为最小错误率小但大小大但小大如图所示：的不同直线。判别边界是平行于对于不同式有了判别边界和判别形即判别式为：判别边界为：如右图所示.1,;,,ln212exp2exp2exp)()(:121222112111121xxxxxxxxPxP4212141111x2x12345.07.0345.07.036所以此时聂曼——皮尔逊分类器的分界线为：2111345.0,69.02lnln,ln21xxx所以因为由图可知为保证ε2足够小，边界应向ω1一侧靠，则ε1↑λ与ε2的关系表如右：最小的判别规则。时使这就是在给定最小上式使此时判别式为：由表查得给定12122121209.0,2)()(209.0xxPxP的关系表与20.040.090.160.250.38ε2421½¼λ1937三、最小最大决策如果对给定的x，其P(ωi)不变，按照贝叶斯决策规则，可以使错误率最小或风险最小。但如果P(ωi)是可变的，或事先对先验概率毫无所知，若再按某个固定的P(ωi)条件下的决策规则来进行决策就往往得不到最小错误率或最小风险。最小最大决策讨论在P(ωi)变化时如何使最大可能风险最小。38二类问题:假定损失函数—当时，决策为的损失，—当时，决策为的损失，则为时决策和的损失。通常作出错误决策总是比作出正确决策所带来的损失要大，即•再假定两类区域Ω1和Ω2已确定，则风险R与先验概率P(ω1)关系:111x1x121x2x2122,2x1x2x22121121,2039.)(,11)(12122212111212211122212221121222211212212111121122122121的线性函数就是被确定，风险一旦，对二类情况有：关系：与风险PRdxxPdxxPPdxxPRdxxPdxxPPPdxxPPxPPdxxPPxPPdxxPxxRdxxPxxRdxxPxxRRPRi先验概率P(ω1)与风险R间的变化关系如下：401222221211121221122212221dxxPdxxPbdxxPabPaR其中：)(1xP)(2xP12X1X12风险值在（a,a+b）的范围内变化，其最大风险为a+b。2141这样，就得出最小风险与先验概率的关系曲线，如图所示：