第2章贝叶斯决策理论

第2章贝叶斯决策理论Chapter2:Bayesiandecisiontheory本章主要内容2.1基于最小错误率的贝叶斯决策2.3正态分布时的贝叶斯统计决策2.2基于最小风险的贝叶斯决策2.4分类器的错误率问题(重点)(重点)(了解)(熟悉)2.1基于最小错误率的贝叶斯决策2.1.1预备知识用向量来表示模式12345转化成列向量0101000123353433010011“1”模式：一些供比对用的、“标准”的样本。特征提取35模式“1”的图片1122,Txxxxx高维积分xPdxx已知模式（样本）：Pxdx1212,Pxxdxx一维积分：高维积分：二重积分：若推广1122,Txxxxx2.1.1预备知识（续）贝叶斯公式贝叶斯公式DP|ww|DPwP后验似然（样本信息）先验||PDPPDPD贝叶斯推理贝叶斯公式的另一种形式：1||||iiiiiniiiPDPPDPPDPDPDP预备知识（续）||iiiPDPPDPD由贝叶斯公式衍生出贝叶斯决策、贝叶斯估计、贝叶斯学习等诸多理论体系，进而形成一个贝叶斯学派；贝叶斯公式：（1763年提出）贝叶斯公式由于其权威性、一致性和典雅性而被列入最优美的数学公式之一；贝叶斯公式的两个创新点：（1）用概率表示所有形式的不确定性；（2）例如天气预报时，“今天下雨的概率是85%”比直接预测“今天下雨”要更科学；引入了“先验”与“后验”的概念；先验与后验2.1.1预备知识（续）贝叶斯公式：||PDPPDPDwpDpwwMPw例：利用贝叶斯公式求的最大值：x先验后验先验概率：是指根据历史资料或主观判断所确定的事件发生的概率，该类概率没有经过实验证实，属检验前的概率。（争议点）后验概率：进行实验后，事件发生的概率。贝叶斯公式在推理中融入了先验，即融入了对事物既有的一些认识：2.1.1预备知识（续）条件概率密度若有两个随机变量X和Y，它们的联合概率密度为，(,)fxy变量X和Y各自的边缘概率密度为和，则在条件()Xfx()YfyY=y下，X的条件概率密度为|,(|)(|)XYYfxyfxyfxyfy2.1.1预备知识（续）分类错误率x分类错误率=被错分的样本数/样本总数分类方案一分类方案二在分类中，希望分类错误率尽可能地小。2.1.2最小错误率贝叶斯决策的前提1w2w（1）要决策分类的类别数是一定的；前提：（2）每一类出现的“先验概率”已知；类类1Pw2Pw即已知（3）每一类的“类条件概率密度”已知；1|Pwx2|Pwx即已知x待解决的分类问题：与1w2w类类x待解决的分类问题：2.1.3最小错误率贝叶斯决策规则决策规则（样本只有两类时）：12||PwPwxx21||PwPwxx1wx2wx如果如果则则||iiiPwPwPwPxxx先验概率已知类条件概率密度已知1,2ix可能属于类也可能属于类。1w2w2.1.4最小错误率贝叶斯决策规则应用实例例：细胞识别假设在某个局部地区细胞识别中，正常()和异常()两类的先验概率分别为正常状态：P()=0.9;异常状态：P()=0.1.现有一待识别的细胞，其观察值为，从类条件概率密度分布曲线上查得P(x|)=0.2,P(x|)=0.4.试对该细胞x进行分类。解：利用贝叶斯公式，分别计算出及的后验概率。P(|x)=P(|x)=1-P(|x)=0.18221818.01.04.09.02.09.02.0)()|()()|(2111jjjPxpPxp1212211212w类1w类xx2.1.4最小错误率贝叶斯决策规则应用实例（续）类条件概率密度（已知）1|Pwx2|Pwx后验概率密度（待求）1|Pwx2|Pwx2w类1w类xxx根据上图决策2.1.4最小错误率贝叶斯决策规则应用实例（续）为什么类条件概率密度是已知的x“类条件概率密度”是指系统位于某种类型条件下，模式样本的概率密度函数。一般而言，同一类事物的某个属性都有一定的变化范围，在这个变化范围内的分布密度可用一种函数形式表示。2w类1w类例如对于细胞识别而言，假设是血红素浓度，则表示正常血细胞的血红素浓度的分布情况。该分布可以事先测定，因此是已知的。正常血细胞异常血细胞x1|Pwx2.1.4最小错误率贝叶斯决策规则应用实例（续）为什么先验概率是已知的例如在某个局部地区（比如一个县）细胞识别中，要根据血红素浓度的测量值判定其为正常血细胞或者是异常血细胞（例如白血病血细胞）。2w类1w类正常血细胞异常血细胞1Pw2Pwx该县正常人的比例；该县白血病患者的比例；上述比例关系可根据往年病历资料统计大致得到，因此可以看作是已知的。上述比例关系尽管可能是近似的，但对决策准确程度的影响并不是直接的，这也是贝叶斯决策的一个优点。2.1.5决策规则使错误率最小的理论证明前面给出了最小错误率贝叶斯决策规则，但尚未证明按这种决策规则进行分类确实能使分类错误概率最小。下面以一维情况完成证明，其结果不难推广到多维。()()()PePexpxdx平均错误率：()Pex（是的期望）的概率密度x对进行分类（决策）时的错误x决策规则（两类时）：12||PwxPwx21||PwxPwx1xw2xw如果如果则则(2-6)7)-(2,,6)-(2,212121xPxPxPxPxPxPxePdxxpxePdxxePeP当当2.1.5决策规则确实使错误率最小的理论证明（续）t页最小？书为什么决策规则使）得）代入（是两类的分界面，将（设12)(,,627211221122112221122111221221ePePPePPdxxpPdxxpPPRxPPRxPRxPRxPePdxPxpdxPxpdxxpxPdxxpxPePtRRttttx决策错误率在每个x值处都取小者，因而平均错误率P(e)也必然达到最小。()Pex2.1.6最小错误率贝叶斯决策规则向多类的推广决策规则（样本只有两类时）：12||PwPwxx21||PwPwxx1wx2wx如果如果则则()()ijPPXX决策规则（样本有多类时）：1w2w类类x1w2w类类x3w类如果ij对于一切成立，iwx则2.2基于最小风险的贝叶斯决策2.2.1为什么要引入基于风险的决策基于最小错误率的贝叶斯决策错误率12||PwPwxx21||PwPwxx1wx2wx如果如果则则误判为：误判为：2wx1wx错误率：2|Pwx错误率：1|Pwx基于最小错误率的贝叶斯决策只关注错误率，并不关注因误判而带来的风险。但在实际应用中考虑风险是很重要的。例：细胞识别2w类1w类正常血细胞异常血细胞把正常血细胞误判为异常血细胞会给人带来不必要的痛苦；但若将异常血细胞误判为正常血细胞，则会使病人因失去及早治疗的机会而遭受极大的损失。“风险”的适用范围比错误率更广泛，它引入了“损失”的概念。即考虑了因误判而带来的损失。2.2.1为什么要引入基于风险的决策（续）基于最小风险的贝叶斯决策风险1wx2wx本来误判为：误判为：2wx1wx错误率：2|Pwx错误率：1|Pwx本来造成的损失：造成的损失：21,w12,w,ijw把模式判决为类的一次决策；xiw模式属于类，现却将之判决为类而带来的损失；xjwiw2.2.2一般决策表与条件风险状态损失决策ω1ω2α1α211,w12,w21,w22,w,ijw把模式判决为类的一次决策；xiw模式属于类，现却将之判决为类而带来的损失；xjwiw状态空间：决策空间：12,,,n一般决策表2.2.2一般决策表与条件风险（续）1|,|ciijjjRwPwxx条件风险：模式属于类，现却将之判决为类而带来的损失；xjwiw模式属于类的概率（可能性）；xjw例：计算条件风险状态损失决策ω1ω2α1α2006112||0.5PwPwxx（正常类）（异常类）（正常）（异常）已知112|1,1|1,2|3RPwPwxxx212|2,1|2,2|0.5RPwPwxxx12||RRxx2wx所以这意味着：把异常类血细胞判别为正常类细胞所冒风险太大，所以宁肯将之判别为异常类血细胞。（2-15）2.2.3基于最小风险的贝叶斯决策应用实例例：细胞识别假设在某个局部地区细胞识别中，正常()和异常()两类的先验概率分别为正常状态：P()=0.9;异常状态：P()=0.1.现有一待识别的细胞，其观察值为，从类条件概率密度分布曲线上查得P(x|)=0.2,P(x|)=0.4.且因误判而带来的风险如下页表所表示，试对该细胞x进行分类。解：（1）利用贝叶斯公式，分别计算出及的后验概率。P(|x)=P(|x)=1-P(|x)=0.18221818.01.04.09.02.09.02.0)()|()()|(2111jjjPxpPxp1212211212w类1w类xx若贝叶斯决策1wx2.2.3基于最小风险的贝叶斯决策应用实例（续）状态损失决策ω1ω2α1α20061（正常类）（异常类）（正常）（异常）（2）计算条件风险（3）基于最小风险进行决策（将判决为第类的风险）（将判决为第类的风险）xx12模式属于类的概率（可能性）；xjw12||RRxx2wx所以两类决策结果正好相反，这是因为影响决策结果的因素又多了一个“损失”。由于两类错误决策所造成的损失相差很悬殊，因此“损失”在这里起了主导作用。2.2.4基于最小风险的贝叶斯决策规则与决策步骤kiaikRR则,xminx,...,2,1决策步骤：决策规则：kiaikcjjjiijjjRRPRPcjpP则计算后验概率和及已知,xminx)4(x,x)3(x)2(Mx,...,2,1,x,)1(,...,2,11（根据贝叶斯公式计算）（计算条件风险）（决策）在实践中如何给出决策表：2.2.4基于最小风险的贝叶斯决策规则与决策步骤（续）状态损失决策ω1ω2α1α20061（正常类）（异常类）（正常）（异常）状态损失决策ω1ω2α1α211,w12,w21,w22,w在实践中要列出合适的决策表很不容易，往往要根据所研究的具体问题，分析错误决策造成损失的严重程度，与有关专家共同商讨来确定。（教材P15）（即需要具体问题具体分析）2.2.5最小错误率与最小风险贝叶斯决策的联系状态损失决策ω1ω2α1α20011（正常类）（异常类）（正常）（异常）11,w12,w21,w22,w0,()1,,,1,2,,ijijijijc若采用0-1损失函数：例：两类样本的分类1|,|ciijjjRwPwxx根据条件风险公式：则两类决策的风险为11111222|,|,||RwPwwPwPwxxxx22112221|,|,||RwPwwP