2第二章+贝叶斯决策理论

内容纲要研究目的和意义425130011001010101101000101001011第二章贝叶斯决策理论01内容纲要研究目的和意义2.1Bayes决策的基本概念2.2基于最小错误率的Bayes决策2.3基于最小风险的Bayes决策2.4Bayes决策比较2.5基于二值数据的Bayes分类实现2.6基于最小错误率的Bayes分类实现2.7基于最小风险的Bayes分类实现2.8本章小结2.9课后作业第二章贝叶斯决策理论第二章内容纲要02内容纲要研究目的和意义2.1Bayes决策的基本概念第二章贝叶斯决策理论03内容纲要研究目的和意义2.1.1Bayes决策所讨论的问题第二章贝叶斯决策理论04内容纲要研究目的和意义（1）当分类器的设计完成后，对待测样品进行分类，一定能正确分类吗？（2）如果有错分类情况发生，是在何种情况下出现的？错分类的可能性会有多大？2.1Bayes决策的基本概念第二章贝叶斯决策理论05内容纲要研究目的和意义2.1Bayes决策的基本概念第二章贝叶斯决策理论06例：某制药厂生产的药品检验识别目的：说明Bayes决策所要解决的问题！！内容纲要研究目的和意义如图4-1所示，正常药品“＋“，异常药品”-”。识别的目的是要依据X向量将药品划分为两类。2.1Bayes决策的基本概念第二章贝叶斯决策理论07内容纲要研究目的和意义对于图4-1来说，可以用一直线作为分界线，这条直线是关于X的线性方程，称为线性分类器。2.1Bayes决策的基本概念第二章贝叶斯决策理论08内容纲要研究目的和意义问题在于出现模棱两可的情况，如图4-2所示。2.1Bayes决策的基本概念第二章贝叶斯决策理论09内容纲要研究目的和意义此时，任何决策都存在判错的可能性。即所观察到的某一样品的特征向量X，在M类中又有不止一类可能呈现这一X值，无论直线参数如何设计，总会有错分类发生。2.1Bayes决策的基本概念第二章贝叶斯决策理论10内容纲要研究目的和意义如果以错分类最小为原则分类，则图中A直线可能是最佳的分界线，它使错分类的样品数量为最小。2.1Bayes决策的基本概念第二章贝叶斯决策理论11内容纲要研究目的和意义如果将一个“－“样品错分为”＋“类所造成的损失要比将”＋“分成”－“类严重。偏向使对”－“类样品的错分类进一步减少，可以使总的损失最小，那么B直线就可能比A直线更适合作为分界线。2.1Bayes决策的基本概念第二章贝叶斯决策理论12内容纲要研究目的和意义分类器参数的选择或者学习过程得到的结果取决于设计者选择什么样的准则函数。不同准则函数的最优解对应不同的学习结果，得到性能不同的分类器。2.1Bayes决策的基本概念第二章贝叶斯决策理论13内容纲要研究目的和意义错分类往往难以避免，这种可能性可用表示。如何做出合理的判决就是Bayes决策所要讨论的问题。其中最有代表性的是:2.1Bayes决策的基本概念第二章贝叶斯决策理论)|(XPi14基于错误率的Bayes决策基于最小风险的Bayes决策内容纲要研究目的和意义1）基于最小错误率的Bayes决策指出了机器自动识别出现错分类的条件；错分类的可能性如何计算；如何实现使错分类出现可能性最小。2.1Bayes决策的基本概念第二章贝叶斯决策理论15内容纲要研究目的和意义2）基于最小错误风险的Bayes决策引入了“风险”与“损失”概念，希望做到使风险最小，减小危害大的错分类情况。2.1Bayes决策的基本概念第二章贝叶斯决策理论16内容纲要研究目的和意义从图4－2可见，错分类有不同情况，两种错误造成的损失不一样，不同的错误分类造成的损失会不相同，后一种错误更可怕，因此就要考虑减小因错分类的危害损失。2.1Bayes决策的基本概念第二章贝叶斯决策理论17内容纲要研究目的和意义2.1.2Bayes公式第二章贝叶斯决策理论18内容纲要研究目的和意义2.1Bayes决策的基本概念第二章贝叶斯决策理论对于待测样品，Bayes公式可以计算出该样品分属各类别的概率，叫做后验概率。看X属于哪个类的可能性最大，就把X归于可能性最大的那个类，后验概率作为识别对象归属的依据。19内容纲要研究目的和意义2.1Bayes决策的基本概念第二章贝叶斯决策理论Bayes公式如下：njjjiiiPXPPXPXP1)()|()()|()|(Bayes公式体现了先验概率、类概率密度函数、后验概率三者之间的关系。20)(iP)|(iXP先验概率类条件概率密度函数后验概率)|(XPi内容纲要研究目的和意义2.1Bayes决策的基本概念第二章贝叶斯决策理论)(iP)(iP1、先验概率先验概率针对M个事件出现的可能性而言，不考虑其他任何条件。21内容纲要研究目的和意义2.1Bayes决策的基本概念第二章贝叶斯决策理论)(iP1n2n1、举例说明：什么是先验概率？，异常药品数为由统计资料表明总药品数为n，其中正常药品数为则nnP11)(nnP22)(先验概率!显然在一般情况下正常药品占比例大，即)()(21PP22由先验概率所提供的信息太少！！！内容纲要研究目的和意义2.1Bayes决策的基本概念第二章贝叶斯决策理论)|(iXP类条件概率密度函数)|(iXP是指在已知某类别的特征空间中，出现特征值X的概率密度，i即第类样品它的属性X是如何分布的。232、类条件概率密度函数内容纲要研究目的和意义2.1Bayes决策的基本概念第二章贝叶斯决策理论假定只用某一个特征进行分类，即d＝1。并已知这两类的类条件概率函数分布，如图4－3所示。24概率密度函数)|(1XP是正常药品的属性分布，概率密度函数)|(2XP是异常药品的属性分布。内容纲要研究目的和意义2.1Bayes决策的基本概念第二章贝叶斯决策理论如果采用正态密度函数作为类条件概率密度的函数形式，则函数内的参数（如期望和方差）是未知的，那么问题就变成了如何利用大量样品对这些参数进行估计。)|(iXP也就确定了。25在工程上的许多问题中，统计数据往往满足正态分布规律。正态分布简单，分析简单，参量少，是一种适宜的数学模型。只要估计出这些参数，类条件概率密度函数内容纲要研究目的和意义2.1Bayes决策的基本概念第二章贝叶斯决策理论单变量正态分布概率密度函数为：])(21exp[21)(2xxP为数学期望（均值）dxxxPxE)()(2为方差：dxxPxxE)()(])[(22226内容纲要研究目的和意义2.1Bayes决策的基本概念第二章贝叶斯决策理论多维正态概率密度函数为：)]()(21exp[||)2(1)(12/12/XSXSXPTN),...,,(21NxxxX为N维特征向量；为N),...,,(21N]))([(TXXES维均值向量；为N维协方差矩阵；1S是S的逆矩阵；||S是S的行列式。27内容纲要研究目的和意义2.1Bayes决策的基本概念第二章贝叶斯决策理论在大多数情况下，类条件概率密度函数可以采用多维变量的正态概率密度函数类模拟，即||ln212ln2)()(21)]()(21exp[||)2(1ln)|(112/12/iiiTiiiTiiNiSNXSXXSXSXP28内容纲要研究目的和意义2.1Bayes决策的基本概念第二章贝叶斯决策理论3、后验概率29后验概率是指呈现状态X时，该样品分属各类别的概率，这个概率值可以作为识别对象归属的依据。内容纲要研究目的和意义2.1Bayes决策的基本概念第二章贝叶斯决策理论由于属于不同类的待识别对象存在着呈现相同观察值的可能，即所观察到的某一样品的特征向量为X，而在M类中又有不止一类可能呈现这一X值，它属于各类的概率又是多少呢？这种可能性可用)|(XPi表示！！30后验概率！！内容纲要研究目的和意义2.1Bayes决策的基本概念第二章贝叶斯决策理论njjjiiiiPXPPXPXP1)()|()()|()|()|(XPi是表示在X出现条件下，样品为i类的概率。在这里要弄清楚条件概率这个概念。31内容纲要研究目的和意义2.1Bayes决策的基本概念第二章贝叶斯决策理论4、)|(1XP和)|(2XP与)|(1XP和)|(2XP的区别①)|(1XP和)|(2XP是在同一条件X下，比较1和2出现的概率。32内容纲要研究目的和意义2.1Bayes决策的基本概念第二章贝叶斯决策理论①如)|()|(21XPXP则可以下结论，在X条件下，事件1出现的可能性大。两类情况下，则有1)|()|(21XPXP33如图4－4所示。内容纲要研究目的和意义2.1Bayes决策的基本概念第二章贝叶斯决策理论②)|(1XP与)|(2XP两者之间没有联系，比较两者没有意义。34都是指各自条件下出现X的可能性，内容纲要研究目的和意义2.2基于最小错误率的Bayes决策第二章贝叶斯决策理论35内容纲要研究目的和意义2.2基于最小错误率的Bayes决策第二章贝叶斯决策理论假定得到一个待识别量的特征X后，每个样品X有N个特征，即TNxxxX),...,,(21通过样品库，计算先验概率)(iP及类条件概率密度函数)|(iXP，得到呈现状态X时，该样品分属各类别的概率，36显然这个概率值可以作为识别对象判属的依据。内容纲要研究目的和意义2.2基于最小错误率的Bayes决策第二章贝叶斯决策理论基于最小错误概率的贝叶斯决策就是按后验概率的大小做判决的。这个规则又可以根据类别数目，写成不同的几种等价形式。37从后验概率分布图4－4可见，在X值小时，药品被判为正常是比较合理的，判断错误的可能性小。内容纲要研究目的和意义第二章贝叶斯决策理论1.两类问题若每个样品属于1，2类中的一类，已知两类的先验概率分别为)(1P和)(2P，两类的类条件概率密度分别为)|(1XP和)|(2XP则任给一X，判断X的类别。382.2基于最小错误率的Bayes决策由Bayes公式可知：)(/)()|()|(XPPXPXPjjj由全概率公式可知：MjjjPXPXP1)()|()(其中M为类别。内容纲要研究目的和意义第二章贝叶斯决策理论对于两类问题)()|()()|()(2211PXPPXPXP所以用后验概率来判别为：2121)|()|(XXPXP392.2基于最小错误率的Bayes决策内容纲要研究目的和意义第二章贝叶斯决策理论判别函数还有另外两种形式，即似然比形式：211221)()()|()|()(XPPXPXPxl其中，式中的)(xl在统计学中称为似然比。)()(12PP称为似然比阈值，其对数形式：212112)(/)(ln)|(ln)|(lnXPPXPXP三种判别函数是一致的。也可以用后验概率来表示判别函数。402.2基于最小错误率的Bayes决策内容纲要研究目的和意义第二章贝叶斯决策理论判别函数的一般形式，如图4－5所示。412.2基于最小错误率的Bayes决策2.多类问题内容纲要研究目的和意义第二章贝叶斯决策理论若样品分为M类M,...,,21各类的先验概率分别为)(1P)(2P…)(MP各类的类条件概率密度分别为)|(1XP)|(2XP…)|(MXP就有M个判别函数。422.2基于最小错误率的Bayes决策2.多类问题内容纲要研究目的和意义第二章贝叶斯决策理论在取得一个观察特征X之后，在特征X的条件下，看哪个类的概率最大，应该把X归于概率最大的那个类。432.2基于最小错误率的Bayes决策因此对于任一模式X，可以通过比较各个判别函数来确定X的类别。ijjMjiiXXPPXPP)|()()|()(max1其中，Mi,...,2,1把X