模式识别 第三章 判别域代数界面方程法

1第三章判别域代数界面方程法3.1用判别域界面方程分类的概念3.2线性判别函数3.3判别函数值的鉴别意义、权空间及解空间3.4Fisher线性判别3.5一次准则函数及梯度下降法3.6二次准则函数及其解法3.9广义线性判别函数3.10二次判别函数3.12位势函数分类法有监督分类23.1用判别域界面方程分类的概念2x1x21o0)(32211wxwxwxd两类的分类问题，它们的边界线就是一个判别函数X轴Y轴两类问题中线性不可分的实例123边界2x1x三类的分类问题，它们的边界线也是一个判别函数63.1用判别域界面方程分类的概念第三章判别域代数界面方程法73.2线性判别函数第三章判别域代数界面方程法多类问题图例（第一种情况）xxxxx3()0dx21x2()0dx2x1()0dx13?不确定区域1、第一种情况（续）判别规则为：如果ijxdxdji0)(0)(则判ixxxxxx3()0dx21x2()0dx2x1()0dx13比如对图的三类问题,如果对于任一模式如果它的则该模式属于ω1类。0)(1xd0)(2xd0)(3xdx1、第一种情况（续）3123()0()0()0dxdxdx12123()0()0()0dxdxdx123()0()0()0dxdxdx4IR3IR1IR2IR1x2x1()0dx2()0dx3()0dx551如果某个X使二个以上的判别函数di0。则此模式X就无法作出确切的判决。如图另一种情况是IR2区域，判别函数都为负值。IR1，IR2，IR3，IR4。都为不确定区域。1、第一种情况（续）11221232()0()50()10dxxxdxxxdxx解：三个判别边界分别为：1、第一种情况（续）123()0,()0,()0dxdxdx结论：因为所以它属于ω2类。1、第一种情况（续）3123()0()0()0dxdxdx12123()0()0()0dxdxdx123()0()0()0dxdxdx1x2x1()0dx2()0dx3()0dx551212()0dx23()0dx13()0dx312、第二种情况（续）多类问题图例（第二种情况）d12(x)=-d21(x)=–x1–x2+5=0d12(x)为正两分法例题图示ji01234567899876543211x2xd21(x)为正d12(x)为正两分法例题图示ji01234567899876543211x2xd21(x)为正d23(x)=-d32(x)=–x1+x2=0d32(x)为正d23(x)为正d12(x)为正两分法例题图示ji01234567899876543211x2xd21(x)为正d32(x)为正d23(x)为正d13(x)=-d31(x)=–x1+3=0d31(x)为正d13(x)为正1类判别区域d12(x)0d13(x)02类判别区域d21(x)0d23(x)0d12(x)为正两分法例题图示ji01234567899876543211x2xd21(x)为正d32(x)为正d23(x)为正d31(x)为正d13(x)为正3类判别区域d31(x)0d32(x)0IR3、第三种情况（续）212()()dxdx23()()dxdx13()()dxdx13多类问题图例（第三种情况）。上述三种方法小结:方法⑶判别函数的数目和方法⑴相同，但没有不确定区，分析简单，是最常用的一种方法。3c时，ji法比ii法需要更多当的判别函数式，这是一个缺点。i类与其余的1c开，而ji法是将i类和j类分开，显然jiii法是将但是类区分法使模式更容易线性可分，这是它的优点。273.3判别函数值的鉴别意义、权空间及解空间第三章判别域代数界面方程法28此方程表示一超平面。它有以下三个性质:(1)系数矢量，是该平面的法矢量。(2)判别函数的绝对值正比于到超平面的距离。(3)判别函数值的正负表示出特征点位于哪个半空间中。π'012(,,....)n()dxx()0dx3.3判别函数值的鉴别意义、权空间及解空间第三章判别域代数界面方程法图3.3.1点面距离及界面的正负侧示意图x2x1xo0)(xdnppx0wpnxnpxndx)(pwwxww00000100wwxwwn)(10010xd证明：判别函数值的正负表示出特征点位于哪个半空间中。背向的半空间中时，x当在n010nwxw这说明判别函数值的正负表示出特征点位于哪个半空间中，或者换句话说，表示特征点位于界面的哪一侧。和00w，故)(pxn10nwxw同号。由于在n指向的半空间中时，010nwxwx即例3.3.1：利用判别函数的鉴别意义，试分析d(x1,x2)＝x1+x2+1。x1x2d(x1,x2)＝0＋－n×××××××××××××－－－－－－－－－－－－-1-1363.3.2权空间、解矢量与解空间3.3判别函数值的鉴别意义、权空间及解空间37(2)解矢量3.3.2权空间、解矢量与解空间3.3判别函数值的鉴别意义、权空间及解空间38(2)解矢量3.3.2权空间、解矢量与解空间3.3判别函数值的鉴别意义、权空间及解空间393.3.2权空间、解矢量与解空间3.3判别函数值的鉴别意义、权空间及解空间40(3)解空间3.3.2权空间、解矢量与解空间3.3判别函数值的鉴别意义、权空间及解空间先看一个简单的情况。设一维数据1，2属于1,-1，-2属于2求将1和2区分开的w0，w1。w0w141(3)解空间3.3.2权空间、解矢量与解空间3.3判别函数值的鉴别意义、权空间及解空间先看一个简单的情况。设一维数据1，2属于1,-1，-2属于2求将1和2区分开的w0，w1。w0w142(3)解空间3.3.2权空间、解矢量与解空间3.3判别函数值的鉴别意义、权空间及解空间先看一个简单的情况。设一维数据1，2属于1,-1，-2属于2求将1和2区分开的w0，w1。w0w143(3)解空间3.3.2权空间、解矢量与解空间3.3判别函数值的鉴别意义、权空间及解空间先看一个简单的情况。设一维数据1，2属于1,-1，-2属于2求将1和2区分开的w0，w1。w0w144(3)解空间3.3.2权空间、解矢量与解空间3.3判别函数值的鉴别意义、权空间及解空间先看一个简单的情况。设一维数据1，2属于1,-1，-2属于2求将1和2区分开的w0，w1。w0w145(3)解空间3.3.2权空间、解矢量与解空间3.3判别函数值的鉴别意义、权空间及解空间先看一个简单的情况。设一维数据1，2属于1,-1，-2属于2求将1和2区分开的w0，w1。w0w146(3)解空间3.3.2权空间、解矢量与解空间3.3判别函数值的鉴别意义、权空间及解空间473.3.2权空间、解矢量与解空间3.3判别函数值的鉴别意义、权空间及解空间w每一个训练模式都对解区提供一个约束，训练模式越多，解区的限制就越多，解区就越小，就越靠近解区的中心，解矢量就越可靠，由它构造的判别函数错分的可能性就越小。48(4)余量3.3.2权空间、解矢量与解空间3.3判别函数值的鉴别意义、权空间及解空间49(4)余量3.3.2权空间、解矢量与解空间3.3判别函数值的鉴别意义、权空间及解空间引入了余量可有效地避免量测的误差、引入的误差以及某些算法求得的解矢量收敛于解区的边界上，从而提高了解的可靠性。设一3类问题有如下判决函数d1(x)=-x1d2(x)=x1+x2-1d3(x)=x1-x2-1试画出下列各种情况的判决边界及各类的区域：（1）满足3.4.2节中的第一种情况；（2）满足3.4.2节中的第二种情况,且令d12(x)=d1(x)，d13(x)=d2(x)，d23(x)=d3(x)；（3）满足3.4.2节中的第三种情况。作业513.4Fisher线性判别第三章判别域代数界面方程法52二维模式向一维空间投影示意图uoxy53二维模式向一维空间投影示意图tyuoxy54二维模式向一维空间投影示意图tyoxyoxy55（1)求解Fish准则函数5657uSuuSSusss)(~~~2121222uSumumumumummsBB))(()~~(~21212212类间离差度为：58uSuuSussmmuJWBWWF2222121~~)~~()(并使其最大,上式称为Fisher准则函数。59利用二次型关于矢量求导的公式可得：2)()(2)(2uSuuSuSuuSuSuuSuuSuuuJWWBBWWBF（2)求解Fisher最佳鉴别矢量uSuuSuWB令uSuSWB可得：6061上式右边后两项因子的乘积为一标量，令其为，于是可得式中为一标量因子，其不改变轴的方向，可以取为1,于是有)(211mmSuW)(211mmSuWummmmSuSSuWBW))((21211162uSuuSuuJWBF)()()(21121mmSmmW此时的可使Fisher准则函数取最大值，即是n维空间到一维空间投影轴的最佳方向，由u)(211mmSuW))((2121mmmmSB和JF最大值为:)()()())(()(2111212112121121mmSSSmmmmSmmmmSmm’63即称为Fisher变换函数)()(21121mmSmmWxSmmyW121)(JF=64由于变换后的模式是一维的，因此判别界面实际上是各类模式所在轴上的一个点，所以可以根据训练模式确定一个阈值yt，于是Fisher判别规则为:21xyyxut2~~21mmyt（3)求解Fisher判别函数判别阈值可取两个类心在u方向上轴的投影连线的中点作为阈值，即:6566ijijijijiimuxuNyNm)()(11~（7）计算。im~2~~21mmyt（8）计算yt。21xyyxut（9）对未知模式x判定模式类。67以100元A面数据和50元A面数据为例100元A面:(64,76,99,84,98,95,88,83),…50元A面:(65,67,82,80,89,94,86,92),…N1=N2=60算得:m1=(69.3,61.9,83.5,70.8,97.7,91.5,87.6,82.4)m2=(59.2,55.5,81.9,63.9,95.1,91.0,91.1,86.5)68m1=(69.3,61.9,83.5,70.8,97.7,91.5,87.6,82.4)m2=(59.2,55.5,81.9,63.9,95.1,91.0,91.1,86.5)69m1=(69.3,61.9,83.5,70.8,97.7,91.5,87.6,82.4)m2=(59.2,55.5,81.9,63.9,95.1,91,91.1,86.5)70m1=(69.3,61.9,83.5,70.