第3章Bayes决策理论

第三章Bayes决策理论最小错误概率的Bayes决策最小风险的Bayes决策Neyman-Pearson决策Bayes分类器和判别函数正态分布时的Bayes决策法则引言模式特征的不确定性进行模式识别，首先要提取和选择模式特征，使这些特征组成的特征向量能很好地代表这个事物。但是，在实际问题中，由于技术或经济上的原因，使得提取和选择的特征不一定能准确地描述这个模式。比如，特征选择的不合适，特征的数量不当，特征测量的不准确，等等，使模式具有不确定性。因此，我们应当把模式向量看成随机变量。处理随机变量用什么方法呢？概率论与数理统计1.概率频率：如果在n次重复试验中，事件A发生了次，则称比值是事件A在这n次试验中发生的频率。记作概率：在相同条件下重复进行同一试验，如果随着试验次数n的增加，事件A的频率仅在某个数附近有微小变化，则称是事件A的概论，实际上，是不容易得到的，常用n较大时的频率作为A的概率n/nAfn)(nAfn)(ppAP)(pp2.条件概率设A，B是试验E的两个事件，则称为在事件B发生条件下事件A的条件概率。3.Bayes公式含义：假设是某个过程的n个事件，是各事件出现的概率，称为先验概率。如果这个过程得到一个结果B，由于B的出现，而对各事件的概率要做出重新认识。)|(BAPnjjjiiiABPAPABPAPBAP1)|()()|()()|(ni,,2,1)(iAP)(iAPniAi,,2,1,3.1最小错误概率的Bayes决策1.用先验概率决策假设某个工厂生产两种尺寸和外形都相同的螺钉,一种是铁的,一种是铜的,两种产品混在一起,要求对它们进行自动分类。设铁的类别状态用表示；铜的类别状态用表示；因为事先类别状态是不确定的，所以是随机变量。假设铁螺钉有7万个，铜螺钉有3万个，那么铁螺钉出现的概率，铜螺钉出现的概率1212,170.710P230.310P如果用概率和来决策，规则为：如果则螺钉如果则螺钉因为，所以螺钉。所有螺钉都分到铁螺钉这一类，决策错误概率为0.3。用先验概率决策存在的问题？与待识别对象的特征没有建立联系，没有利用待识别对象本身的信息1P2P12PP112PP2120.70.3PP12.用后验概率决策先用一个模式特征来分类，如果这个特征对分类是有效的，那么的概率分布就与类别状态是有联系的。例如：铜螺钉和铁螺钉的表面亮度是不同的，以亮度作为特征，亮度用“亮度计”来测量，每个螺钉的亮度在亮度计上可以在一定范围内连续取值。由于每个螺钉的亮度可能是不同的，所以是一个连续的随机变量。xx,1,2iixx对的概率分布记为对的概率分布记为那么和的差别反映了和的类别状态的差别反映了两类模式的差别。概率密度P（x|w1)P（x|w2)亮度x1x2x11|pxx22|px1|px2|px12X有对属于铜螺钉的分布，也有对属于铁螺钉的分布假设已经知道了，，，如何求利用Bayes公式：式中Bayes公式表明,可以通过特征的观察值，把先验概率转化为后验概率。||jjjpxPPxpx1|ciiipxpxP|jpxjP|jPx1P2P1|px2|px1(|)Px2(|)Px图3.1表示了当(a)所示时，后验概率随亮度的变化情况。因此，可以用后验概率进行决策。|jPx概率密度P（x|w1)P（x|w2)亮度Bayes公式概率xP(w1|x)P(w2|x)w1w2决策规则：如果，则决策；如果，则决策；这个决策规则被称为最小错误概率的Bayes决策。为什么说这个决策规则具有最小错误概率呢？12||PxPx21||PxPx123.最小错误概率的解释在用上述规则决策时,有两种可能发生的错误分类将真实属于分到将真实属于分到观察到的x值不同,那么后验概率就不同,从而分类错误概率也不同,所以分类错误概率是随机变量x的函数.也是随机变量.122112(|)(|)(|)PxPexPx)|(xeP)|(xeP对于观察到的大量x,对它们作出分类决策的平均错误率应当是的数学期望.由概率论可知,若已知连续随机变量x的概率密度函数,可以计算出的数学期望如果对于每次观察到的特征值x,尽可能小的话,则上式的积分也必定是尽可能小的.)(eP)|(xePdxxpxePeP)()|()()(xp)|(xeP)(eP)|(xeP假设H为两类的分界面,相应于和,将x轴分为两个区域,在发生分类错误时,总的错误概率为：1R2R122112,,PePxRPxR所以总的错误概率是两种分类错误概率的加权和。2112,,PePxRPxR1122()()PP211122(|)()(|)()RRpxPdxpxPdx211122()(|)()(|)RRPpxdxPpxdx由于和是任意取的，所以错误概率不一定是最小的。当把决策面左移时，我们可以减小代表误分类的三角形区域的面积，从而减小分类错误概率。若选取决策面H使得：则可消除面积A，从而得到最小的分类错误概率。这正是上述决策规则得到的结果。1R2RHA1122||pxPpxP如果对于某个x，有则把x分到R2中可以使得x对积分贡献增大，而对积分的贡献减小，相当于使H左移。2211(|)()(|)()pxPpxP211(|)()RpxPdx122(|)()RpxPdx证明：假设R1是类的决策域，R2是类的决策域，对X分类，这时有两种可能发生的分类错误：X的真实状态是，却分到R1，X的真实状态是，却分到R2，错误率：由Bayes公式有：122112()(,)(,)PePxRPxR12211122(|)()(|)()RRpxPdxpxPdx(|)()(|)()jjjpxPPxpx111(|)()(|)()pxPpxpx222(|)()(|)()pxPpxpx则在整个特征空间，有所以，当时，把x分到R1，增加积分值，可以使错误率减小。2112()(|)()(|)()RRPePxpxdxPxpxdx12111(|)()(|)()()RRPxpxdxPxpxdxP21111(|)()()(|)()RRPxpxdxPPxpxdx11112()()(|)()(|)()RRPePPxpxdxPxpxdx1112()[(|)(|)]()RPPxPxpxdx12(|)(|)PxPx同理可得：当时，把x分到R2，可以使错误率减小。2221()()[(|)(|)]()RPePPxPxpxdx21(|)(|)PxPx对于一般情况，即模式向量是维向量，要求在类模式情况下进行决策时，最小错误概率的Bayes决策法则可表达为：设是个类别状态的有限集合，特征向量是维随机向量，是模式向量在状态下的条件概率密度，是的先验概率，则根据Bayes法则,后验概率就是式中,这时决策与上述二类一维模式相似：如果对于一切成立，则决策。nc12,,...,ccXd|jpXXjjPjX|jPX||jjjpXPPXpX1|ciiipXpXP||ijPXpXiji3.2最小风险的Bayes决策1决策错误的损失与风险对于两类别决策，存在两种可能的分类错误：（1）把真实状态为的模式分到类；（2）把真实状态为的模式分到类。显然，由于分类错误，其结果都会带来损失，但是对于有的问题来说损失是不同的。1122比如，以癌变细胞的分类识别为例，把正常细胞识别成癌变细胞给正常人带来精神负担；把癌变细胞识别成正常细胞使早期患者失去治疗机会，延误治疗，缩短生命。因此，在决策时就要把由分类错误而引起的损失考虑进去。一般情况，设是个可能的决策集合是个自然状态集合表示当自然状态为时，采取决策所造成的损失。决策表损失的数值一般由专家根据经验给出。01,,...,aAa12,,...,ss|ijji2.最小风险的Bayes决策设是X在自然状态为下的条件概率，是自然状态为的先验概率，则由Bayes公式可求得后验概率(|)jpXjX1(|)pX2(|)pX3(|)pX()jPj(|)jPX由Bayes公式，后验概率是：式中假定观察到一个，同时决定采取决策，如果真正的状态为，就会导致产生损失。因为是自然状态为的概率，所以与采取的决策有关的损失的数学期望就是：||jjjpXPPXpX1|ciiipXpXPXij|ij|jPXji1|||siijjjRXPX是一个平均损失，称为条件风险。每当观察到一个X时，我们总可以选取使条件风险极小的决策。如果选取的决策使得平均损失对每一个具体的X都能尽可能小，则总风险也会达到极小。最小风险的Bayes决策规则：为了使风险最小，应对于计算条件风险并选择决策，使得最小。|iRX1|||siijjiRXPX1,2,...,ia|iRX对于二类问题，相当于决策“真正状态为”，而相当于决策“真正状态为”。记为当真正状态为而把误作真正状态时所受到的损失。有1122|ijijji1111122|||RXPXPX2211222|||RXPXPX这时最小风险的Bayes决策法则就是：如果，则判定为真正的状态；否则为真正的状态。或：如果，则判定为真正的状态；否则为真正的状态。上式与最小错误概率的Bayes决策比较，有何不同？在后验概率上分别乘以一个损失差作为比例因子。12||RXRX122111112222()|()|PXPX12最小风险的Bayes决策和最小错误概率的Bayes决策的关系：(1)在二类问题中，若有即所谓对称损失函数的情况，二者一致。(2)一般的多类问题中，在0-1损失函数的情况时，即提示：问题的一般性和特殊性。122221110,(|)1,,,1,2,,ijijijijc条件风险为：使极小，即使极大。两种决策的结果相同(|)1(|)jijiPXPX正确时的条件概率i(|)iPX1(|)(|)(|)ciijjjRXPX(|)iRX3.3Neyman-Pearson决策对于两类别决策，存在两种可能的分类错误：（1）把真实状态为的模式分到类；（2）把真实状态为的模式分到类。两种错误的概率分别为：决策应该使都为最小。如何做？1122211(|)RpXdX122(|)RpXdX12Neyman-Pearson决策所要解决的问题：对于二类模式识别问题，保持一种错误概率为常数，例如，而使另一种错误概率达到极小。这个问题可以看成在条件下求的极小值问题。用什么方法呢？0201201采用Lagrange乘数法，约束条件为，构造Lagrange函数：我们的目的就是使达到极小。即min200120()LL21120||RRLpXdXpXdX对于二类问题，有所以，1211||1RRpXdXpXdX21120||RRLpXdXpXdX