第2章Bayes决策理论

第2章Bayes决策理论•2.1最小错误概率的Bayes决策•2.2最小风险的Bayes决策•2.3Neyman-Pearson决策•2.4最小最大决策•2.5Bayes分类器和判别函数•2.6正态分布时的Bayes决策法则•2.7离散情况的Bayes决策•实际上因为试验的样本是从总体中随机抽取的，不能保证用过去的抽取的样本训练得到的分类边界对新的模式样本也能较好地分类。因此，考虑样本不确定性的模式识别方法是非常重要的。另外，还有特征选择不完善所引起的不确定性，模式数据采集和预处理和特征抽取过程中干扰和噪声引起的不确定性。综上，我们引出统计决策的方法。返回本章首页•对模式识别的主要统计方法是Bayes决策理论，它是用概率论的方法研究决策问题，要求•（1）各类别先验概率以及条件概率密度均为已知，即各类别总体的概率分布是已知的；•（2）要决策分类的类别是一定的；返回本章首页2.1最小错误概率的Bayes决策•在模式识别问题中，感兴趣的往往是尽量减小分类错误的概率。为此，我们可以建立一个能得到最小错误率的决策方法。看一个简单的例子。•假设某工厂生产两种大小，外形都相同的螺丝钉，一种是铜的，一种是铁的。两种产品混在一起，要求对它们自动分类。分两种情况讨论：•（1）先验概率已知；•（2）先验概率和条件概率密度函数均已知。返回本章首页•先验概率已知•铁螺丝出现的概率——•铜螺丝出现的概率——•它们反映了我们在下一个样品出现前对它的类别可能性的先验知识，称这种先于事件的概率为先验概率。•合理的决策规则：•决策错误的概率：返回本章首页1()P2()P121122()()()()PPPP12()min[(),()]PePP•先验概率和条件概率密度函数均已知•铁螺丝出现的概率——•铜螺丝出现的概率——•铁螺丝出现的概率——•铜螺丝出现的概率——•——螺丝背光源照射后反射光的亮度特征•求取后验概率：返回本章首页1()P2()P1()Px2()Px21()()()()()jjjjjjpPPpPxxxx•对待分类模式的特征我们得到一个观察值，合理的决策规则：•决策错误的条件概率（随机变量的函数）：•模式特征是一个随机变量，在应用Bayes法则时，每当观察到一个模式时，得到特征，就可利用后验概率作出分类的决策，同时也会带来一定的错误概率。若观察到大量的模式，对它们作出决策的平均错误概率应是的数学期望。返回本章首页121122()()()()PPPPxxxxx1221()()()PPePxxxxxx()Pex()Pe•平均错误概率从式可知，如果对每次观察到的特征值，是尽可能小的话，则上式的积分必定是尽可能小的这就证实了最小错误率的Bayes决策法则。下面从理论上给予证明。以两类模式为例。返回本章首页()()()PePepdxxx1()Pex返回本章首页21211221112211221122()(,)(,)()()()()()()()()()()()()RRPePxRPxRPxRPPxRPpxPdxpxPdxPPePPe返回本章首页结束放映1R2RHA11()()pPx22()()pPx122()()RpPdxx211()()RpPdxx3.2最小风险的Bayes决策•在上一节我们介绍了最小错误率的Bayes决策，并且证明了应用这种决策法则时，平均错误概率是最小的。但实际上有时需要考虑一个比错误率更为广泛的概念——风险，举例说明。毋庸置疑，任何风险都会带来一定损失。看一个一般的决策表。返回本章首页返回本章首页损失23451123411(,)12(,)13(,)14(,)15(,)21(,)22(,)23(,)24(,)25(,)31(,)32(,)33(,)34(,)35(,)41(,)42(,)43(,)44(,)45(,)自然状态状态分类决策551(,)52(,)53(,)54(,)55(,)返回本章首页12345,,,,x——观察或测量到的d维模式特征向量；12345,,,,——状态或模式类空间——决策空间(,)1,2,,51,2,,5ijij——损失函数，表示真实状态为而所采取的决策为时所带来的某种损失。根据Bayes公式，后验概率为：ji51()()()1,2,,5()()jjjiiipPPjpPxxx返回本章首页对于刚才的决策表考虑如下的一个条件期望损失，即给定，我们采取决策情况下的条件期望损失（条件风险）：采取那种决策呢？最小风险Bayes决策规则：51()(,)()(,)1,2,,5iijjijjRPEixxix1,2,,()min()kikiaRRxx12345,,,,返回本章首页综上，可知该规则的进行步骤为：（1）根据已知，计算出后验概率；（2）利用计算出的后验概率及决策表（专家根据经验确定），计算条件风险（3）最小风险决策1()()()()()()()jjjjjciiiPpPpPpPxxxxx1()(,)()1,2,,ciijjjRPiaxx1,2,,()min()kiiaRRxx返回本章首页这样按最小风险的Bayes决策规则，采取的决策将随的取值而定，引入函数，表示对的决策。对整个特征空间上所有的取值采取相应的决策所带来的平均风险显然，我们对连续的随机模式向量按最小风险Bayes决策规则采取的一系列决策行动可以使平均风险最小。到此为止，我们已经分析了两种分别使错误率和风险达到最小的Bayes决策规则，下面分析一下两种决策规则的关系。(())()RRpdxxxxx()xxx()x返回本章首页两类情况下的最小风险Bayes决策损失状态211211122122自然状态分类决策(,)ijij11111221212211222122()()()()()()()()()()RPPRRRPPRRxxxxxxxxxx2121111221222111112222121111122222()()()()()()()()()()()()()()RRPPPPPPxxxxxxxx返回本章首页2111112222121111122222121122()()()()()()()()()()()()PPPPPPPPxxxxxxxx在两类问题中，若有，决策规则变为这时最小风险的Bayes决策和最小错误率的Bayes决策规则是一致的。21111222返回本章首页一般的多类问题中，设损失函数为0-1损失函数0(,),1,2,,1ijijijcij11()(,)()()cciijjjjjijRPPxxx1,2,,1()min()()ckijicjijRRPxxx返回本章首页1111,2,,1,2,,11,2,,1,2,,()()()1()()()min()min()min1()max()cjjcjjcjiiikiiccjicjjiiiicicpPPpPRRPPPxxxxxxxx3.3Neyman—Pearson决策•Neyman—Pearson决策即限定一类错误率条件下使另一类错误率为最小的两类别决策。返回本章首页1R2RHA11()()pPx22()()pPx122()()RpPdxx211()()RpPdxx返回本章首页21211111222211220()()()()()()()()()()()()RRRRpxPdxPPepxPdxPPePepxdxPepxdx120()()PePe用Lagrange乘子法建立其数学模型返回本章首页12211201111()()()()1()1()RRRRPePepxdxpxdxpxdxpxdx2111111120120021021()()1()()1()()1()()RRRRRRRpxdxpxdxpxdxpxdxpxdxpxdxpxpxdx返回本章首页10212122112122111221121()()()()0min()()0()()0()()0()()()()RpxpxdxpxpxxRpxpxxRpxpxxpxpxxpxxpxpxxpx返回本章首页1122012()0()0()()()RptppxdxRtRttt取得极小值的边界条件与最小错误率的Bayes决策的比较122112()()()()pxxpxpxxpx121122()()()()PPPPxxxx3.4最小最大决策•有时我们必须设计在整个先验概率范围上都能很好的进行操作的分类器。比如，在我们的有些分类问题中可能设想尽管模式的有些物理属性恒定不变，然而先验概率可能变化范围很大，并且以一种不确定的方式出现。或者，我们希望在先验概率不知道的情况下使用此分类器，那么一种合理的设计分类器的方法就是使先验概率取任何一种值时所引起的总风险的最坏的情况尽可能小，也就是说，最小化最大可能的总风险。以二类模式识别问题为例，进行讨论。返回本章首页返回本章首页以两类情况下的最小风险Bayes决策为例进行讨论损失状态211211122122自然状态分类决策(,)ijij11111221212211222122()()()()()()()()()()RPPRRRPPRRxxxxxxxxxx(())()RRpdxxxx总风险公式返回本章首页1212()()()()RRRRpdRpdxxxxxx假定决策域已经确定，我们以表示分类器判为时的特征空间中的区域，同样有和，于是总风险用条件风险的形式表示为1R12R212111122211222()()()()()()RRRPPpdPPpdxxxxxxxx11111222211222()()()()()()RPPRPPxxxxxx返回本章首页121111122221112222()()()()()()()()RRRPpPpdPpPpdxxxxxx122111()1()()()1RRPPpdpdxxxx1212212222111222111112222()()()()()()()()RRRRpdPpdpdxxxxxx返回本章首页1211221222211222111112222(