模式识别-贝叶斯决策理论和应用

武汉大学电子信息学院第二章贝叶斯决策理论模式识别理论及应用PatternRecognition-MethodsandApplication内容目录第二章贝叶斯决策理论2.1引言2.2基于判别函数的分类器设计2.3基于最小错误率的Bayes决策2.4基于最小风险的Bayes决策2.5正态分布的最小错误率Bayes决策2.6讨论模式识别与神经网络第二章Bayes决策理论32.1引言数据获取预处理特征提取与选择分类决策分类器设计信号空间特征空间第二章Bayes决策理论4基本概念模式分类：根据识别对象的观测值确定其类别样本与样本空间：12,,,TnnxxxRxx12,,,,ic类别与类别空间：c个类别（类别数已知）第二章Bayes决策理论5决策把x分到哪一类最合理？理论基础之一是统计决策理论决策：是从样本空间S，到决策空间Θ的一个映射，表示为D:S--Θ引言第二章Bayes决策理论6决策准则引言评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下“最优”的决策。Bayes决策常用的准则：•最小错误率准则•最小风险准则•在限定一类错误率条件下使另一类错误率为最小的准则•最小最大决策准则第二章Bayes决策理论72.2基于判别函数的分类器设计判别函数(discriminantfunction)：相应于每一类定义一个函数，得到一组判别函数gi(x),i=1,2,…,c决策区域与决策面(decisionregion/surface)：第二章Bayes决策理论9决策规则(decisionrule)()maixfthen()jijiggxxxargmax()iijgx规则表达1规则表达2第二章Bayes决策理论10分类器设计分类器是某种由硬件或软件组成的“机器”：•计算c个判别函数gi(x)•最大值选择MAXg1...g2gc...x1x2xna(x)判别函数多类识别问题的Bayes最小错误率决策：gi(x)=P(ωi|x)第二章Bayes决策理论112.3Bayes最小错误率决策以两类分类问题为例：已知先验分布P(ωi)和观测值的类条件分布p(x|ωi)，i=1,2问题：对某个样本x，x∈ω1?x∈ω2？()(|)iigPxx即选择P(ω1|x)，P(ω2|x)中最大值对应的类作为决策结果该决策使得在观测值x下的条件错误率P(e|x)最小。Bayes决策理论是最优的以后验概率为判决函数：决策规则：argmax(|)iijPx第二章Bayes决策理论12后验概率P(ωi|x)的计算Bayes公式：假设已知先验概率P(ωi)和观测值的类条件分布p(x|ωi)，i=1,2(,)(|)()()(|)()(|)iiiijjjPPpPpPpxxxxx最小错误率决策第二章Bayes决策理论13公式简化比较大小不需要计算p(x)：argmax(|)(|)()argmaax()rgmax(|)()iiiiiiiiPpPPppxxxx最小错误率决策第二章Bayes决策理论14公式简化对数域中计算，变乘为加：ln(|)()ln(|)ln()iiiipPpPxx最小错误率决策判别函数中与类别i无关的项，对于类别的决策没有影响，可以忽略第二章Bayes决策理论15Bayes最小错误率决策例解两类细胞识别问题：正常(ω1)和异常(ω2)根据已有知识和经验，两类的先验概率为：•正常(ω1)：P(ω1)=0.9•异常(ω2)：P(ω2)=0.1•对某一样本观察值x，通过计算或查表得到：p(x|ω1)=0.2，p(x|ω2)=0.4如何对细胞x进行分类？最小错误率决策第二章Bayes决策理论16Bayes最小错误率决策例解（2）利用贝叶斯公式计算两类的后验概率：最小错误率决策11121()(|)0.90.2(|)0.8180.90.20.10.4()(|)jjjPpPPpxxx22221()(|)0.40.1(|)0.1820.20.90.40.1()(|)jjjPpPPpxxxargmax(|)1iijPx1x决策结果第二章Bayes决策理论17图解最小错误率决策p(x|ω1)p(x|ω2)p(ω1|x)p(ω2|x)类条件概率密度函数后验概率第二章Bayes决策理论18决策的错误率条件错误率：(|)Pex()((|))(|)()PeEPePepdxxxx最小错误率决策（平均）错误率是条件错误率的数学期望（平均）错误率：第二章Bayes决策理论19决策的错误率（2）最小错误率决策条件错误率P(e|x)的计算:以两类问题为例，当获得观测值x后，有两种决策可能：判定x∈ω1，或者x∈ω2。条件错误率为：211122(|)1(|)(|)(|)1(|)1max(|)iiPPPePPPxxxxxxxx若决定若决定第二章Bayes决策理论20决策的错误率（3）Bayes最小错误率决策使得每个观测值下的条件错误率最小因而保证了（平均）错误率最小。Bayes决策是一致最优决策。最小错误率决策第二章Bayes决策理论21决策的错误率（4）设t为两类的分界面，则在特征向量x是一维时，t为x轴上的一点。两个决策区域:R1~(-∞，t)和R2~(t，+∞)12122121212122112211()(,)(,)()(|)()(|)()(|)()(|)()()()()RRPePxRPxRPPxRPPxRPpxdxPpxdxPPePPe最小错误率决策第二章Bayes决策理论232.4基于最小风险的Bayes决策决策的风险：•做决策要考虑决策可能引起的损失。•以医生根据白细胞浓度判断一个人是否患血液病为例：没病(ω1)被判为有病(ω2)，还可以做进一步检查，损失不大；有病(ω2)被判为无病(ω1)，损失严重。第二章Bayes决策理论24损失矩阵损失的定义：(N类问题)做出决策D(x)=ωi，但实际上x∈ωj，受到的损失定义为：损失矩阵或决策表：,(()|),1,2,,ijijDijNx,*()ijNN最小风险决策第二章Bayes决策理论25期望条件风险与期望风险期望条件风险：获得观测值x后，决策D(x)造成的损失对x实际所属类别的各种可能的平均，称为条件风险R(D(x)|x)(()|)((),)(()|)(|)iiiiRDEDDPxxxxx(())[(()|)](()|)()RDERDRDpdxxxxxxx最小风险决策期望风险：条件风险对观测值x的数学期望第二章Bayes决策理论26基于最小风险的Bayes决策基于最小风险的Bayes决策：决策带来的损失的（平均）风险最小Bayes最小风险决策通过保证每个观测值下的条件风险最小，使得它的期望风险最小，是一致最优决策。最小风险决策ˆ()argmin(()|)argmin((),)(|)DiiDiDRDDPxxxxx决策规则：第二章Bayes决策理论27最小风险决策的计算给定损失矩阵，算出每个决策的条件风险，取最小的。某些特殊问题，存在简单的解析表达式。最小风险决策第二章Bayes决策理论28两类问题最小风险Bayes决策11111222211222(()|)(|)(|)(()|)(|)(|)RDxxPxPxRDxxPxPx最小风险决策用Bayes公式展开，最小风险Bayes决策得到：11222212211112(|)()()()f(|)()()()otherwisepxPDxipxPDx第二章Bayes决策理论29Bayes最小风险决策例解两类细胞识别问题：正常(ω1)和异常(ω2)根据已有知识和经验，两类的先验概率为：•正常(ω1)：P(ω1)=0.9•异常(ω2)：P(ω2)=0.1•对某一样本观察值x，通过计算或查表得到：p(x|ω1)=0.2，p(x|ω2)=0.4•λ11=0，λ12=6，λ21=1，λ22=0，按最小风险决策如何对细胞x进行分类？最小风险决策第二章Bayes决策理论30Bayes最小风险决策例解（2）后验概率：P(ω1|x)=0.818，P(ω2|x)=0.18221112212222111(|)(|)(|)1.092(|)(|)(|)0.818jjjjjjRPPRPPxxxxxxargmin(|)2iijRx2x决策结果最小风险决策第二章Bayes决策理论31最小风险决策的一般性基于最小错误率的Bayes决策可作为最小风险Bayes决策的一种特殊情形。只需要定义损失为：,1(,),1,2,,1(,)0ijijijNijijij最小风险决策决策正确时，损失为0决策错误时，损失为1第二章Bayes决策理论322.5正态分布的最小错误率Bayes决策Bayes决策中，类条件概率密度的选择要求：•模型合理性•计算可行性常用概率密度模型：正态分布•观测值通常是很多种因素共同作用的结果，根据中心极限定理，服从正态分布。•计算、分析最为简单的模型。第二章Bayes决策理论33一元正态分布222221()()exp()22()()()()xpxExxpxdxExxpxdx正态分布Bayes决策一元正态分布及其两个重要参数：•均值（中心）•方差（分散度）第二章Bayes决策理论34多元正态分布1121/2/21212*1()exp(()())(2)(,,...,)()(,,...,),()()()()()()TnTnTniiTijnnijiijjpxxxEExEExxxxμxμxμxxμxμ观测向量：实际应用中，可以同时观测多个值，用向量表示。多元正态分布：正态分布Bayes决策第二章Bayes决策理论35多元正态分布的性质参数μ和Σ完全决定分布不相关性等价于独立性边缘分布和条件分布的正态性线性变换的正态性线性组合的正态性正态分布Bayes决策第二章Bayes决策理论36正态分布的最小错误率Bayes决策观测向量的类条件分布服从正态分布：(|)(,)1,2,...,iiipNicxμ判别函数的计算：11212()ln((|)())()()lnln()ln22iiiTiiiiigpPdPxxxμxμ正态分布Bayes决策判别函数中与类别i无关的项，对于类别的决策没有影响，可以忽略第二章Bayes决策理论37最小距离分类器与线性分类器第一种特例：2,()(),1,2,...,iijIPPijc判别函数的简化计算：22211()()()22Tiiiigxxμxμxμ正态分布Bayes决策020221()(2)211,2TTTiiiiiiTiiiiigwwxμxμμwxwμμμ最小距离分类器线性分类器第二章Bayes决策理论38最小距离分类器与线性分类器第二种特例：,()(),1,2,...,iijPPijc判别函数的简化计算：12()()()(,)Tiiiigmxxμxμxμ正态分布Bayes决策0110()1,2TiiiTiiiiigwwxwxwμμμMahalanobis距离线性分类器第二章Bayes决策理论39正态模型的Bayes决策面两类问题正态模型的决策面：•决策面方程：g1(x)=g2(x)•两类的协方差矩阵相等，决策面是超平面。•两类的协方差矩阵不等，决策面是超二次曲面。11