厦门大学《应用多元统计分析》第04章-判别分析

第四章判别分析第一节引言第二节距离判别法第三节贝叶斯（Bayes）判别法第四节费歇（Fisher）判别法第五节实例分析与计算机实现第一节引言在我们的日常生活和工作实践中，常常会遇到判别分析问题，即根据历史上划分类别的有关资料和某种最优准则，确定一种判别方法，判定一个新的样本归属哪一类。例如，某医院有部分患有肺炎、肝炎、冠心病、糖尿病等病人的资料，记录了每个患者若干项症状指标数据。现在想利用现有的这些资料找出一种方法，使得对于一个新的病人，当测得这些症状指标数据时，能够判定其患有哪种病。又如，在天气预报中，我们有一段较长时间关于某地区每天气象的记录资料（晴阴雨、气温、气压、湿度等），现在想建立一种用连续五天的气象资料来预报第六天是什么天气的方法。这些问题都可以应用判别分析方法予以解决。把这类问题用数学语言来表达，可以叙述如下：设有n个样本，对每个样本测得p项指标（变量）的数据，已知每个样本属于k个类别（或总体）G1，G2，…，Gk中的某一类，且它们的分布函数分别为F1(x)，F2(x)，…，Fk(x)。我们希望利用这些数据，找出一种判别函数，使得这一函数具有某种最优性质，能把属于不同类别的样本点尽可能地区别开来，并对测得同样p项指标（变量）数据的一个新样本，能判定这个样本归属于哪一类。判别分析内容很丰富，方法很多。判断分析按判别的总体数来区分，有两个总体判别分析和多总体判别分析；按区分不同总体所用的数学模型来分，有线性判别和非线性判别；按判别时所处理的变量方法不同，有逐步判别和序贯判别等。判别分析可以从不同角度提出问题，因此有不同的判别准则，如马氏距离最小准则、Fisher准则、平均损失最小准则、最小平方准则、最大似然准则、最大概率准则等等，按判别准则的不同又提出多种判别方法。本章仅介绍常用的几种判别分析方法：距离判别法、Fisher判别法、Bayes判别法和逐步判别法。第二节距离判别法一马氏距离的概念二距离判别的思想及方法三判别分析的实质一、马氏距离的概念设p维欧氏空间pR中的两点12(,,,)pXXXX和12(,,,)pYYYY，通常我们所说的两点之间的距离，是指欧氏距离，即22211(,)()()ppdXYXYXY（4.1）在解决实际问题时，特别是针对多元数据的分析问题，欧氏距离就显示出了它的薄弱环节。第一、设有两个正态总体，X~),(21N和Y~)4,(22N，现有一个样品位于如图4.1所示的A点，距总体X的中心2远，距总体Y的中心3远，那么，A点处的样品到底离哪一个总体近呢？若按欧氏距离来量度，A点离总体X要比离总体Y“近一些”。但是，从概率的角度看，A点位于1右侧的x2处，而位于2左侧y5.1处，应该认为A点离总体Y“近一些”。显然，后一种量度更合理些。图4.1第二、设有量度重量和长度的两个变量X与Y，以单位分别为kg和cm得到样本)5,0(A，)0,10(B，)0,1(C，)10,0(D。今按照欧氏距离计算，有12551022AB；10110122CD如果我们将长度单位变为mm，那么，有2600501022AB；10001100122CD量纲的变化，将影响欧氏距离计算的结果。为此，我们引入一种由印度著名统计学家马哈拉诺比斯（Mahalanobis,1936）提出的“马氏距离”的概念。设X和Y是来自均值向量为μ，协方差为)0(Σ的总体G中的p维样本，则总体G内两点X与Y之间的马氏距离定义为21(,)()()DXYXYΣXY(4.2)定义点X到总体G的马氏距离为21(,)()()DGXXμΣXμ(4.3)这里应该注意到，当IΣ（单位矩阵）时，即为欧氏距离的情形。二、距离判别的思想及方法1、两个总体的距离判别问题问题：设有协方差矩阵∑相等的两个总体G1和G2，其均值分别是1和2，对于一个新的样品X，要判断它来自哪个总体。一般的想法是计算新样品X到两个总体的马氏距离D2（X，G1）和D2（X，G2），并按照如下的判别规则进行判断这个判别规则的等价描述为：求新样品X到G1的距离与到G2的距离之差，如果其值为正，X属于G2；否则X属于G1。2211222212,(,)(,),(,)(,)GDGDGGDGDGXXXXXX如果如果（4.4）我们考虑2212(,)(,)DGDGXX111122111111111222111211122()()()()2(2)2()XμΣXμXμΣXμXΣXXΣμμΣμXΣXXΣμμΣμXΣμμμΣμμΣμ11211212112122()()()2()22()2()XΣμμμμΣμμμμXΣμμXμααXμ其中)(2121μμμ是两个总体均值的平均值，)(211μμΣα，记()()WXαXμ（4.5）则判别规则（4.4）式可表示为12,()0,()0GWGWXXXX如果如果（4.6）这里称()WX为两总体距离判别的判别函数，由于它是X的线性函数，故又称为线性判别函数，α称为判别系数。在实际应用中，总体的均值和协方差矩阵一般是未知的，可由样本均值和样本协方差矩阵分别进行估计。设1(1)(1)1,,nXX来自总体1G的样本，2(2)(2)1,,nXX是来自总体2G的样本，1μ和2μ的一个无偏估计分别为1(1)(1)111niinXX和2(2)(2)121niinXXΣ的一个联合无偏估计为12121ˆ()2nnΣSS这里()()()()1()(),1,2niiiSXXXX此时，两总体距离判别的判别函数为ˆˆ()()WXαXX其中(1)(2)1()2XXX，1(1)(2)ˆˆ()αΣXX。这样，判别规则为12ˆ,()0ˆ,()0GWGWXXXX如果如果（4.7）这里我们应该注意到：（1）当1p，1G和2G的分布分别为),(21N和),(22N时，221,,均为已知，且21，则判别系数为0221，判别函数为)()(xxW判别规则为12,,xGxxGx如果如果（2）当21μμ，21ΣΣ时，我们采用（4.4）式作为判别规则的形式。选择判别函数为*2212()(,)(,)WDGDGXXX11111222()()()()XμΣXμXμΣXμ它是X的二次函数，相应的判别规则为*1*2,()0,()0GWGWXXXX如果如果2、多个总体的距离判别问题问题：设有k个总体kGGG,,,21，其均值和协方差矩阵分别是kμμμ,,,21和kΣΣΣ,,,21，而且ΣΣΣΣk21。对于一个新的样品X，要判断它来自哪个总体。该问题与两个总体的距离判别问题的解决思想一样。计算新样品X到每一个总体的距离，即21(,)()()DGXXμΣXμ111122()CXΣXμΣXμΣμXΣXIX4.8）这里μΣI1，μΣμ121C，k,,2,1。由（4.8）式，可以取线性判别函数为()WCXIX，k,,2,1相应的判别规则为iGX如果1()max()ikWCXIX（4.9）针对实际问题，当kμμμ,,,21和Σ均未知时，可以通过相应的样本值来替代。设()()1,,nXX是来自总体G中的样本（k,,2,1），则μ（k,,2,1）和Σ可估计为()()11niinXX，k,,2,1和11ˆknkΣS，其中knnnn21同样，我们注意到，如果总体kGGG,,,21的协方差矩阵分别是kΣΣΣ,,,21，而且它们不全相等，则计算X到各总体的马氏距离，即21(,)()()DGXXμΣXμk,,2,1则判别规则为iGX如果221(,)min(,)ikDGDGXX（4.10）当kμμμ,,,21和kΣΣΣ,,,21均未知时，μ（k,,2,1）的估计同前，Σ（k,,2,1）的估计为1ˆ1nΣS，k,,2,1()()()()1()()niiiSXXXX，k,,2,1三、判别分析的实质我们知道，判别分析就是希望利用已经测得的变量数据，找出一种判别函数，使得这一函数具有某种最优性质，能把属于不同类别的样本点尽可能地区别开来。为了更清楚的认识判别分析的实质，以便能灵活的应用判别分析方法解决实际问题，我们有必要了解“划分”这样概念。设R1，R2，…，Rk是p维空间Rp的k个子集，如果它们互不相交，且它们的和集为Rp，则称R1，R2，…，Rk为Rp的一个划分。这样我们将会发现，判别分析问题实质上就是在某种意义上，以最优的性质对p维空间Rp构造一个“划分”，这个“划分”就构成了一个判别规则。这一思想将在后面的各节中体现的更加清楚。在两个总体的距离判别问题中，利用()()WXαXμ可以得到空间pR的一个划分12{:()0}{:()0}RWRWXXXX（4.11）新的样品X落入1R推断1GX，落入2R推断2GX。第三节贝叶斯（Bayes）判别法一Bayes判别的基本思想二Bayes判别的基本方法从上节看距离判别法虽然简单，便于使用。但是该方法也有它明显的不足之处。第一，判别方法与总体各自出现的概率的大小无关；第二，判别方法与错判之后所造成的损失无关。Bayes判别法就是为了解决这些问题而提出的一种判别方法。一、Bayes判别的基本思想问题：设有k个总体kGGG,,,21，其各自的分布密度函数)(,),(),(21xxxkfff互不相同的，假设k个总体各自出现的概率分别为kqqq,,,21（先验概率），0iq，11kiiq。假设已知若将本来属于iG总体的样品错判到总体jG时造成的损失为)|(ijC，kji,,2,1,。在这样的情形下，对于新的样品X判断其来自哪个总体。下面我们对这一问题进行分析。首先应该清楚0)|(iiC、0)|(ijC，对于任意的kji,,2,1,成立。设k个总体kGGG,,,21相应的p维样本空间为kRRR,,,21，即为一个划分，故我们可以简记一个判别规则为),,,(21kRRRR。从描述平均损失的角度出发，如果原来属于总体iG且分布密度为)(xif的样品，正好取值落入了jR，我们就将会错判为属于jG。故在规则R下，将属于iG的样品错判为jG的概率为xxdfRijPjRi)(),|(jikji,,2,1,如果实属iG的样品，错判到其它总体kiiGGGG,,,,111所造成的损失为)|(,)|1(),|1(,),|1(ikCiiCiiCiC，则这种判别规则R对总体iG而言，样品错判后所造成的平均损失为kjRijPijCRir1)],|()|([)|(ki,,2,1其中0)|(iiC由于k个总体kGGG,,,21出现的先验概率分别为kqqq,,,21，则用规则R来进行判别所造成的总平均损失为kiiRirqRg1),()(kikjiRijPijCq11),|()|(（4.12）所谓Bayes判别法则，就是要选择kRRR,,,21，使得（4.12）式表示的总平均损失)(Rg达到极小。二、Bayes判别的基本方法如果已知样品X来自总体Gi的先验概率为qi，，则在规则R下，由（4.12）式知，误判的总平均损失为设每一个总体iG的分布密度为)(xif，ki,,2,1，来自总体iG的样品X被错判为来自总体jG（kji,,2,1,）时所