作业二-基于Fisher准则线性分类器设计

作业二Fisher线性判别分类器一实验目的本实验旨在让同学进一步了解分类器的设计概念，能够根据自己的设计对线性分类器有更深刻地认识，理解Fisher准则方法确定最佳线性分界面方法的原理，以及Lagrande乘子求解的原理。二实验条件Matlab软件三实验原理线性判别函数的一般形式可表示成0)(wXWXgT其中dxxX1d21根据Fisher选择投影方向W的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向W的函数为：2221221~~)~~()(SSmmWJF)(211*mmSWW上面的公式是使用Fisher准则求最佳法线向量的解，该式比较重要。另外，该式这种形式的运算，我们称为线性变换，其中21mm式一个向量，1WS是WS的逆矩阵，如21mm是d维，WS和1WS都是d×d维，得到的*W也是一个d维的向量。向量*W就是使Fisher准则函数)(WJF达极大值的解，也就是按Fisher准则将d维X空间投影到一维Y空间的最佳投影方向，该向量*W的各分量值是对原d维特征向量求加权和的权值。以上讨论了线性判别函数加权向量W的确定方法，并讨论了使Fisher准则函数极大的d维向量*W的计算方法，但是判别函数中的另一项0W尚未确定，一般可采用以下几种方法确定0W如2~~210mmW或者mNNmNmNW~~~2122110或当1)(p与2)(p已知时可用2)(/)(ln2~~2121210NNppmmW当W0确定之后，则可按以下规则分类，2010XwXWXwXWTT四实验程序及结果分析%w1中数据点的坐标x1=[0.23311.52070.64990.77571.05241.19740.29080.25180.66820.56220.90230.1333-0.54310.9407-0.21260.0507-0.08100.73150.33451.0650-0.02470.10430.31220.66550.58381.16531.26530.8137-0.33990.51520.7226-0.20150.4070-0.1717-1.0573-0.2099];x2=[2.33852.19461.67301.63651.78442.01552.06812.12132.47971.51181.96921.83401.87042.29481.77142.39391.56481.93292.20272.45681.75231.69912.48831.72592.04662.02262.37571.79872.08282.07981.94492.38012.23732.16141.92352.2604];x3=[0.53380.85141.08310.41641.11760.55360.60710.44390.49280.59011.09271.07561.00720.42720.43530.98690.48411.09921.02990.71271.01240.45760.85441.12750.77050.41291.00850.76760.84180.87840.97510.78400.41581.03150.75330.9548];%将x1、x2、x3变为行向量x1=x1(:);x2=x2(:);x3=x3(:);%计算第一类的样本均值向量m1m1(1)=mean(x1);m1(2)=mean(x2);m1(3)=mean(x3);%计算第一类样本类内离散度矩阵S1S1=zeros(3,3);fori=1:36S1=S1+[-m1(1)+x1(i)-m1(2)+x2(i)-m1(3)+x3(i)]'*[-m1(1)+x1(i)-m1(2)+x2(i)-m1(3)+x3(i)];end%w2的数据点坐标x4=[1.40101.23012.08141.16551.37401.18291.76321.97392.41522.58902.84721.95391.25001.28641.26142.00712.18311.79091.33221.14661.70871.59202.93531.46642.93131.83491.83402.50962.71982.31482.03532.60301.23272.14651.56732.9414];x5=[1.02980.96110.91541.49010.82000.93991.14051.06780.80501.28891.46011.43340.70911.29421.37440.93871.22661.18330.87980.55920.51500.99830.91200.71261.28331.10291.26800.71401.24461.33921.18080.55031.47081.14350.76791.1288];x6=[0.62101.36560.54980.67080.89321.43420.95080.73240.57841.49431.09150.76441.21591.30491.14080.93980.61970.66031.39281.40840.69090.84000.53811.37290.77310.73191.34390.81420.95860.73790.75480.73930.67390.86511.36991.1458];x4=x4(:);x5=x5(:);x6=x6(:);%计算第二类的样本均值向量m2m2(1)=mean(x4);m2(2)=mean(x5);m2(3)=mean(x6);%计算第二类样本类内离散度矩阵S2S2=zeros(3,3);fori=1:36S2=S2+[-m2(1)+x4(i)-m2(2)+x5(i)-m2(3)+x6(i)]'*[-m2(1)+x4(i)-m2(2)+x5(i)-m2(3)+x6(i)];end%总类内离散度矩阵SwSw=zeros(3,3);Sw=S1+S2;%样本类间离散度矩阵SbSb=zeros(3,3);Sb=(m1-m2)'*(m1-m2);%最优解WW=Sw^-1*(m1-m2)'%将W变为单位向量以方便计算投影W=W/sqrt(sum(W.^2));%计算一维Y空间中的各类样本均值M1及M2fori=1:36y(i)=W'*[x1(i)x2(i)x3(i)]';endM1=mean(y)fori=1:36y(i)=W'*[x4(i)x5(i)x6(i)]';endM2=mean(y)%利用当P(w1)与P(w2)已知时的公式计算W0p1=0.6;p2=0.4;W0=-(M1+M2)/2+(log(p2/p1))/(36+36-2);%计算将样本投影到最佳方向上以后的新坐标X1=[x1*W(1)+x2*W(2)+x3*W(3)]';X2=[x4*W(1)+x5*W(2)+x6*W(3)]';%得到投影长度XX1=[W(1)*X1;W(2)*X1;W(3)*X1];XX2=[W(1)*X2;W(2)*X2;W(3)*X2];%得到新坐标%绘制样本点figure(1)plot3(x1,x2,x3,'r*')%第一类holdonplot3(x4,x5,x6,'bp')%第二类legend('第一类点','第二类点')title('Fisher线性判别曲线')W1=5*W;%画出最佳方向line([-W1(1),W1(1)],[-W1(2),W1(2)],[-W1(3),W1(3)],'color','b');%判别已给点的分类a1=[1,1.5,0.6]';a2=[1.2,1.0,0.55]';a3=[2.0,0.9,0.68]';a4=[1.2,1.5,0.89]';a5=[0.23,2.33,1.43]';A=[a1a2a3a4a5]n=size(A,2);%下面代码在改变样本时都不必修改%绘制待测数据投影到最佳方向上的点fork=1:nA1=A(:,k)'*W;A11=W*A1;%得到待测数据投影y=W'*A(:,k)+W0;%计算后与0相比以判断类别，大于0为第一类，小于0为第二类ify0plot3(A(1,k),A(2,k),A(3,k),'go');%点为rp对应第一类plot3(A11(1),A11(2),A11(3),'go');%投影为r+对应go类elseplot3(A(1,k),A(2,k),A(3,k),'m+');%点为bh对应m+类plot3(A11(1),A11(2),A11(3),'m+');%投影为b*对应m+类endend%画出最佳方向line([-W1(1),W1(1)],[-W1(2),W1(2)],[-W1(3),W1(3)],'color','k');view([-37.5,30]);axis([-2,3,-1,3,-0.5,1.5]);gridonholdoff实验结果和数据：首先根据求出最佳投影方向，然后按照此方向，将待测数据进行投影。数据的样本点分布如下：-2-10123-10123-0.500.511.5Fisher线性判别图像其中，红色的*是给出的第一类样本点，蓝色的五角星是第二类样本点。下方的实直线是最佳投影方向。待测数据投影在其上，圆圈是被分为第一类的样本点，十字是被分为第二类的样本点。使)(wJF取极大值的W=（-0.0798，0.2005，-0.0478）实验分析：W的比例因子对于Fisher判别函数没有影响的原因：在本实验中，最需要的是W的方向，或者说是在此方向上数据的投影，那么W的比例因子，即它是单位向量的多少倍长就无关紧要了，不管比例因子有多大，在最后求投影时都会被消掉而起不到实际作用。