多元统计分析第六章课件第二部分

§6.3贝叶斯判别一、最大后验概率准则二、最小平均误判代价准则距离判别不合适的一个例子π1（校研究生组）：N1=2000,μ1=500π2（校本科生组）：N2=8000,μ2=400研究生组中x≥500的有1000人，本科生组中x≥500的有2000人。某学生的x=500，试判别该生归属哪一组。该例如采用距离判别法则显然不妥，应考虑利用如下的先验概率：12200080000.2,0.81000010000pp一、最大后验概率准则设有k个组π1,π2,⋯,πk，且组πi的概率密度为fi(x)，样品x来自组πi的先验概率为pi,i=1,2,⋯,k，满足p1+p2+⋯+pk=1。则x属于πi的后验概率为最大后验概率准则是采用如下的判别规则：112|,,,,iiikiiipfxPxikpfx1,|max|lliikxPxPx若例4设有π1、π2和π3三个组，欲判别某样品x0属于何组，已知p1=0.05，p2=0.65，p3=0.30，f1(x0)=0.10,f2(x0)=0.63，f3(x0)=2.4。现计算x0属于各组的后验概率如下：所以应将x0判为组π3。11010301220203013303030100501000501006506303024000500041134506506303611134503024063511345..|...........|....|..iiiiiiiiipfxPxpfxpfxPxpfxpfxPxpfx皆为正态组的情形设πi~Np(μi,Σi)，Σi0,i=1,2,⋯,k。这时，组πi的概率密度为fi(x）=(2π)−p/2|Σi|−1/2exp［−0.5d2(x,πi)］其中d2(x,πi)=(x−μi)′Σi−1(x−μi)是x到πi的平方马氏距离。以下各情形下后验概率的具体计算公式。当p1=p2=⋯=pk=1/k，Σ1=Σ2=⋯=Σk=Σ时，2211212exp,|exp,iikiidxPxdx当p1=p2=⋯=pk=1/k，而Σ1,Σ2,⋯,Σk不全相等时，当Σ1=Σ2=⋯=Σk=Σ，而p1,p2,⋯,pk不全相等时，当p1,p2,⋯,pk不全相等，Σ1,Σ2,⋯,Σk也不全相等时，2211212exp,ln|exp,lniiikiiidxΣPxdxΣ221122122exp,ln|exp,lniiikiiidxpPxdxp221122122exp,lnln|exp,lnlniiiikiiiidxΣpPxdxΣp上述各情形的后验概率可统一表达为称D2(x,πi)为x到πi的广义平方距离。2212212121201012121212exp,|,,,,exp,D,,ln,,,,2ln,,,1,2,,iikiiiiiiikikikikDxPxikDxxdxghΣΣΣΣgΣΣΣΣpppphpppkik其中，若不全相等,若,若不全相等,若在正态性假定下，上述判别规则也可等价地表达为当Σ1=Σ2=⋯=Σk=Σ时，上述后验概率公式可简化为其中Ii=Σ−1μi，ci=−0.5μi′Σ−1μi,i=1,2,⋯,k。此时判别规则等价于如果我们对x来自哪一组的先验信息一无所知，则一般可取p1=p2=⋯=pk=1/k。这时，判别规则简化为上节的线性判别。实际应用中，以上各式中的μi和Σi(i=1,2,⋯,k）一般都是未知的，需用相应的样本估计值代替。221,min,lliikxDxDx,若（）（）1expln|,1,2,,explniiiikiiiiIxcpPxikIxcp1,lnmaxlnllliiiikxIxcpIxcp若例5在例3中，已知破产企业所占的比例约为10%，即可取p1=0.1，p2=0.9，假定两组均为正态，且Σ1=Σ2=Σ，则未判企业x=(−0.16,−0.10,1.45,0.51)′的后验概率为由于P(π1|x)P(π2|x)，所以该企业被判为非破产企业，这与例3的结果正好相反，这正是先验概率的作用结果。111111122200222211122200003.73.73.163ˆˆexpln|ˆˆˆˆexplnexplnexp5.373ln.1e21.542.477exp5.373ln.1exp3.268ln.9ee45.183ˆˆexpln23|ˆˆˆˆexplnexplnIxcpPxIxcpIxcpIxcpPxIxcpIxcp0.641.52345.183二、最小平均误判代价准则例：π1：合格的药，π2：不合格的药对于新样品x该问题中，两种误判造成的损失一般是明显不同的，只是根据后验概率的大小进行判别是不太合适的。1.两组的情形2.多组的情形12|0.6,|0.4PPxx1.两组的情形设组π1和π2的概率密度函数分别为f1(x)和f2(x)，组π1和π2的先验概率分别为p1和p2，p1+p2=1。又设将来自πi的x判为πl的代价为c(l|i),l,i=1,2，代价矩阵表示为对于给定的判别规则，令R1={x：判别样品x∈π1}，R2={x：判别样品x∈π2}显然R1∩R2=Φ，R1∪R2=Ωx∈R1⟺判x∈π1，x∈R2⟺判x∈π2将π1中的样品x误判到π2的条件概率为类似地，将π2中的样品x误判到π1的条件概率为平均误判代价(expectedcostofmisclassification)，记为ECM，可计算为221121dRPPRfxxxx|｜11221dRPPRfxxxx|2｜12212111221211112112122122222112211221211212||,|,|,|,|,|,||||||||ECMEclicPilcPilcPilcPilcPxxRcPxxRcPxRxPxcPxRxPxcPpcPp最小平均误判代价准则是采用使ECM达到最小的判别规则，即为最小ECM准则需要三个比值：密度函数比、误判代价比和先验概率比。在这些比值中，误判代价比最富有实际意义，因为在许多应用中，直接确定误判代价会有一定困难，而确定误判代价比却相对容易得多。例6π1：应该做手术，π2：不应该做手术例7π1：中学毕业应继续攻读大学π2：中学毕业后应直接找工作121211222112211221|,|(*)|,|fxcpxfxcpfxcpxfxcp若若最小ECM准则的一些特殊情形(1)当p1=p2=0.5时，（*）式简化为实际应用中，如果先验概率未知，则它们通常被取成相等。1121221|2,2|11|2,2|1fcfcfcfcxxxxxx若若(2)当c(1|2)=c(2|1)时，（*）式简化为实践中，若误判代价比无法确定，则通常取比值为1。(3)当时，（*）式可进一步简化为这时，判别新样品x0的归属，只需比较在x0处的两个概率密度值f1(x0)和f2(x0)的大小。1112221122,,xpfxpfxxpfxpfx若若112212,,xfxfxxfxfx若若121|22|1cppc如将判别规则(3)用于例2中，则图2中的阈值点将移至两密度曲线相交点的正下方m处。图2方差不同时两组判别的阈值点例8设组π1和π2的概率密度函数分别为f1(x)和f2(x)，又知c(1|2)=12个单位，c(2|1)=4个单位，根据以往经验给出p1=0.6，p2=0.4，则最小ECM判别规则为假定在一个新样品x0处算得f1(x0)=0.36，f2(x0)=0.24，于是因此，判x0来自组π2。112122120.4,240.6120.4,240.6ffffxxxxxx若若10200.361.520.24ffxx在统计实践中，基于正态总体的判别方法居主导地位，此时的判别方法简单而高效。现假定πi~Np(μi,Σi),Σi0,i=1,2。当Σ1=Σ2=Σ时，（*）式可具体写成其中a=Σ−1(μ1−μ2)，。在p1=p2，c(1|2)=c(2|1)的条件下上式将退化为距离判别的线性判别。2112211|2ln2|11|2ln2|1cpxaxμcpcpxaxμcp,若,若＜1212μμμ当Σ1≠Σ2时，（*）式可写为其中d2(x,πi)=(x−μi)′Σi−1(x−μi),i=1,2。在|Σ1|=|Σ2|，p1=p2，c(1|2)=c(2|1)的条件下上式将化为距离判别中Σ1≠Σ2时的情形。22222221/2121121/211/212121/212|1(()2ln1|22|1(()2ln1|2cpΣxdxdxcpΣcpΣxdxdxcpΣ,若,）,,若,）,2.多组的情形设fi(x)为组πi的概率密度函数，i=1,2,⋯,k。令pi——组πi的先验概率，i=1,2,⋯,k。c(l|i)——将来自πi的x判为πl的代价,l,i=1,2,⋯,k，对l=i,c(i|i)=0。Rl——所有判为πl的x的集合，l=1,2,⋯,k。因而对l,i=1,2,⋯,k，将来自πi的样品x判为πl的条件概率为||dlliiRPliPxRxfxx平均误判代价11111111||,||||||kkililkkliiilkkkkiilililiECMEclicliPRcliPRPcliPlippcliPlixxxxx使ECM达到最小的判别规则是假定所有的误判代价都是相同的，不失一般性，可令c(l|i)=1,l≠i,l,i=1,2,⋯,k，则此时为所有误判概率之和，称之为总的误判概率。故此时的最小平均误判代价准则也可称为最小总误判概率准则，并且上式可简化为故最小总误判概率准则与最大后验概率准则是彼此等价的，或者说，最大后验概率准则等价于所有误判代价相同时的最小平均误判代价准则。111,|min|kkljjjjikjjjljixpfxcljpfxcij若1111||kkkiiiiiliECMpPlipPii1,maxllliiikxpfxpfx若注令B={误判}，Ai={样品来自πi}，i=1,2,⋯,k则利用全概率公式得总的误判概率为此外，总的正确判别概率为111||kkkiiiiiiliPBPAPBApPli11111111|||kkiiilikkiiiiPBPBpPlipPiipPii