第3讲 统计分类(一)--贝叶斯分类器

011、全概率公式和贝叶斯公式（1）条件概率：设A、B是两个事件，且P(B)0，则称为在事件B发生的条件下事件A发生的条件概率。（2）全概率公式设某试验E的样本空间为S，A为E的事件，B1，B2，…，Bn为S的一个划分，且P(Bi)0(i=1,2,……,n)，则P(A)=P(A|B1)P(B1)+P(A|B2)P(B2)+…＋P(A|Bn)P(Bn)称为全概率公式一、数理统计基础)()()|(BPABPBAP2(3)贝叶斯（Bayes）公式设试验E的样本空间为S，A为E的事件，B1，B2，…，Bn为S的一个划分，且P(A)0，P(Bi)0(i=1,2,……,n)，则)()()|()()|()()|()|(1APBPBAPBPBAPBPBAPABPiinjjjiii一、数理统计基础•贝叶斯公式表达了两个相关事件在先后发生时的推理关系32、随机变量的概念设E是随机试验，它的样本空间是S＝{e}。如果对于每一个，都有一个实数X(e)与之对应，这样就得到一个定义在S上的单值实值函数X=X(e)，称为随机变量。随机变量可分为离散型随机变量和连续型随机变量。SeeX(e)S一、数理统计基础43、离散型随机变量及其分布（1）概念如果随机变量的全部取值是有限个或可列无限多个，则称为离散型随机变量（2）离散型随机变量的概率分布设离散型随机变量X所有可能取的值为xk（k＝1，2，…），X取各个可能值的概率，即事件{X=xk}的概率，为P{X=xk}=pk，k＝1，2，…如果pk满足下面两个条件k＝1，2，…则称上式为离散型随机变量X的概率分布,1,01kkkpp一、数理统计基础5（3）几种重要的分布（0－1）分布k=0,1(0p1)二项分布泊松分布kkppkXP1)1(}{nkqpknkXPknk,.....,2,1,0,}{，，2,1,0!}{kkekXPk一、数理统计基础64、随机变量的分布函数（1）概念设X是一个随机变量，x是任意实数，函数称为X的分布函数。（2）性质（a）F（x）是一个不减函数（b）}{)(xXPxF1)(lim)(0)(lim)(,1)(0xFFxFFxFxx且一、数理统计基础75、连续型随机变量的概率密度（1）概念对于随机变量X的分布函数F(x)，存在非负函数f(x)，使对于任意实数x有则称X为连续型随机变量，其中f(x)称为X的概率密度函数。（2）概率密度函数的性质xdttfxF)()().()(')(4)()()(}{3;1)(20)(1o1221ooo21xfxFxxfdxxfxFxFxXxPdxxfxfxx处连续，则有在点、若；、、；、一、数理统计基础8（3）两种重要的连续型随机变量均匀分布设连续型随机变量X具有概率密度则称X在区间（a，b）上服从均匀分布。其分布函数为其它,0,,1)(bxaabxf.,1,,,,0)(bxbxaabaxaxxF一、数理统计基础9正态分布设连续型随机变量X具有概率密度则称X服从参数为μ，σ的正态分布或高斯分布。其分布函数为xexfx,21)(222)(dtexFxt222)(21)(一、数理统计基础106、n维随机向量及其概率分布（1）设E是一个随机实验，它的样本空间是S＝{e}，设X1＝X1(e)，X2＝X2(e)，…，Xn＝Xn(e)是定义在S上的随机向量，由它们构成的一个n维向量(X1,X2,…,Xn)叫做n维随机向量或n维随机变量。（2）对于任意n个实数x1,x2,…,xn，n元函数称为n维随机变量(X1,X2,…,Xn)的分布函数或随机变量X1,X2,…,Xn的联合分布函数},...,,{),...,,(221121nnnxXxXxXPxxxF一、数理统计基础117、随机向量的独立性设n维随机变量为,若任意实数有则称随机变量是相互独立的。nXXX,,21nxxx,,21),()()(),,,(22112211nnnnxXPxXPxXPxXxXxXPnXXX,,21一、数理统计基础128、随机变量的数字特征（1）数学期望设离散型随机变量的分布律为若级数绝对收敛，则称其和为随机变量的数学期望或平均值，简称期望或均值,记为，即,,2,1,)(kpxXPkk1kkkpxX)(XE)(XE1kkkpxX一、数理统计基础13设连续型随机变量的密度函数为。若积分绝对收敛，称该积分值为随机变量的数学期望或平均值，简称期望或均值，记为，即dxxxf)(.)()(dxxxfXE)(XEX)(xf设X、Y为任意两个随机变量，则有设X、Y为相互独立的随机变量，则有).()()(YEXEXYE).()()(YEXEYXE一、数理统计基础14（2）方差设X是一个随机变量。若存在，则称为X的方差，记为D(X)，即与X具有相同量纲的量称为X的均方差或标准差，记为方差表示随机变量X与其数学期望的偏离程度2)]([XEXE2)]([)(XEXEXD)(XDx2)]([XEXE一、数理统计基础15（3）协方差和相关系数设是一个二维随机变量。若存在，则称它是随机变量X与Y的协方差，记为，即而当时，称为随机变量与的相关系数。协方差和相关系数是用来描述X与Y之间相互关系的数字特征),(YX)]()][([YEYXEXE),cov(YX)]()][([),cov(YEYXEXEYX,0)(XD0)(YD)()(),cov(YDXDYXXYXY一、数理统计基础169、参数估计（1）概念：就是要从样本出发去构造一个统计量作为总体中某未知参数的一个估计量。（2）点估计：若总体X的分布函数的形式为已知，但它的一个或多个参数未知，则由总体X的一个样本去估计总体未知参数的值的问题就是参数的点估计问题。常用方法：矩估计法和极大似然估计法.评价标准：无偏性和有效性一、数理统计基础17（2）区间估计：在理论与实际应用中，不仅需要知道参数的近似值，还需要知道这种估计的精度是多少。这样就要求由样本构造一个以较大的概率包含真实参数的一个范围或区间，这种带有概率的区间称为置信区间，通过构造一个置信区间对未知参数进行估计的方法称为区间估计。一、数理统计基础181、确定性分类和随机性统计分类以两类分类问题来讨论，设有两个类别ω1和ω2，理想情况，ω1和ω2决定了特征空间中的两个决策区域。确定性分类：我们任取一个样本x，当它位于ω1的决策区域时，我们判别x∈ω1；当它位于ω2的决策区域时，我们判别x∈ω1。也可以说：当x位于ω1的决策区域时，它属于ω1的概率为1，属于ω2的概率为0。随机性统计分类：如我们任取一个样本x，当它位于ω1的决策区域时，它属于ω1的概率为小于1，属于ω2的概率大于0，确定性分类问题就变成了依照概率判决规则进行决策的统计判别问题。二、贝叶斯分类原理：192、先验概率、后验概率和类(条件)概率密度：先验概率：根据大量样本情况的统计，在整个特征空间中，任取一个特征向量x，它属于类ωj的概率为P(ωj),也就是说，在样本集中，属于类ωj的样本数量于总样本数量的比值为P(ωj)。我们称P(ωj)为先验概率。显然，有：P(ω1)＋P(ω2)＋……＋P(ωc)＝1后验概率：当我们获得了某个样本的特征向量x，则在x条件下样本属于类ωj的概率P(ωj|x)称为后验概率。后验概率就是我们要做统计判别的依据。类（条件）概率密度：是在某种类型条件下模式样本x条件下模式样本x出现的概率密度分布函数。二、贝叶斯分类原理：203、后验概率的获得：后验概率是无法直接得到的，因此需要根据推理计算由已知的概率分布情况获得。根据贝叶斯公式可得：其中：p(x|ωj)为类ωj所确定的决策区域中，特征向量x出现的概率密度，称为类条件概率密度。P(x)为全概率密度，可由全概率公式计算得到。niiijjjjjxpPxpPxPxpPxP1)()()()()()()()(二、贝叶斯分类原理：214、贝叶斯分类原理：根据已知各类别在整个样本空间中的出现的先验概率，以及某个类别空间中特征向量X出现的类条件概率密度，计算在特征向量X出现的条件下，样本属于各类的概率，把样本分类到概率大的一类中。利用贝叶斯方法分类的条件：各类别总体的概率分布是已知的；要分类的类别数是一定的二、贝叶斯分类原理：22例：细胞识别问题ω1正常细胞，ω2癌细胞经大量统计获先验概率P(ω1),P(ω2)。对任一细胞样本x观察：有细胞光密度特征,有类条件概率密度:P(x/ωί)ί=1,2,…。可以把先验概率转化为后验概率，利用后验概率可对未知细胞x进行识别。221121),()(),()(xxPxPxxPxP则若则若)(1xP)(2xPx2.04.06.08.00.1后验概率分布)(xPi二、贝叶斯分类原理：)(1xP)(2xPx条件概率密度分布)(ixP23三、几种贝叶斯分类判别规则：1、最小错误率贝叶斯分类：用ωj和ωj分别表示两种不同的类型，用P(ω1)和P(ω2)分别表示各自的先验概率，用p(x|ω1)和p(x|ω2)分别表示两个类概率密度。根据全概率公式，样本x出现的全概率密度为：根据贝叶斯公式，在样本x出现的条件下，两个类型的后验概率分别为：)()|()()|()(2211PxpPxpxP)()()|()|(111xPPxpxP)()()|()|(222xPPxpxP24这样，我们就规定样本x归属于后验概率较高的那种类型，即利用贝叶斯公式，可以得到最小错误率贝叶斯判别规则的等价形式：i2,1ix),|(max)|(则如果xPxPjjij2,1ix),()|(max)()|(则如果jjiPxpPxp三、几种贝叶斯分类判别规则：25例：某地区细胞识别；P(ω1)=0.9，P(ω2)=0.1未知细胞x，先从类条件概率密度分布曲线上查到：问该细胞属于正常细胞还是异常细胞？解：先计算后验概率：P(x/ω1)=0.2，P(x/ω2)=0.4.),()(),()(,182.0)(1)(818.01.04.09.02.09.02.0)()()()()(211211221111用所以先验概率起很大作因为属正常细胞。因为PPxxPxPxPxPPxPPxPxPjjj三、几种贝叶斯分类判别规则：262、最小风险贝叶斯分类：最小错误率贝叶斯分类只考虑分类错误的概率最小，但是，每次分类错误带来的损失是不一样的，例如：要判断某人是正常(ω1)还是肺病患者(ω2),于是在判断中可能出现以下情况：•第一类，判对(正常→正常)λ11；第二类，判错(正常→肺病)λ21；•第三类，判对(肺病→肺病)λ22；第四类，判错(肺病→正常)λ12。第二类和第四类属于分类错误。•显然，第四类错误带来的损失大于第二类错误带来的损失。三、几种贝叶斯分类判别规则：27为评估分类错误的风险，引入以下概念：•决策αi：表示把模式x判决为ωi类的一次行动。•决策空间：所有决策αi的集合。•损失函数：λij=λ(αi，ωj)表示模式x本来属于ωj类而采取的决策为αi时所带来的损失，这样就可以得到风险矩阵。•条件风险（也叫条件期望损失）：对未知x采取一个判决行动αi(x)所冒的风险（或所付出的代价）.,...,2,1,|,,|1aixPExRjcjjijiicjai,....,2,1;,...,2,1三、几种贝叶斯分类判别规则：28ω1ω2ωjωcα1α2αiαa….….….….….….….….….….….….….….….….….….….….….….