2015模式识别期末考试

一：问答1.什么是模式？通过对具体个别事物进行观测所得到的具有时间和空间分布的信息称为模式。模式所指的不是事物本身，而是我们从事物中获得的信息。2.模式识别系统主要由哪些部分组成？信息获取，预处理，特征提取与选择，分类决策，后处理。3.最小错误率贝叶斯分类器设计过程？答：根据训练数据求出先验概率类条件概率分布利用贝叶斯公式得到后验概率如果输入待测样本X，计算X的后验概率根据后验概率大小进行分类决策分析。4.怎样利用朴素贝叶斯方法获得各个属性的类条件概率分布？答：假设各属性独立，P(x|ωi)=P(x1,x2,…,xn|ωi)=P(x1|ωi)P(x2|ωi)…P(xn|ωi)后验概率：P(ωi|x)=P(ωi)P(x1|ωi)P(x2|ωi)…P(xn|ωi)类别清晰的直接分类算，如果是数据连续的，假设属性服从正态分布，算出每个类的均值方差，最后得到类条件概率分布。均值：miximxmean11)(方差：2)^(11)var(1mixximx二：解答1.设有如下三类模式样本集ω1，ω2和ω3，其先验概率相等，求Sw和Sbω1：{(10)T,(20)T,(11)T}ω2：{(-10)T,(01)T,(-11)T}ω3：{(-1-1)T,(0-1)T,(0-2)T}答：由于三类样本集的先验概率相等，则概率均为1/3。多类情况的类内散度矩阵，可写成各类的类内散布矩阵的先验概率的加权和，即：ciiiTiiciiwCmxmxEPS11}|))(({)(其中Ci是第i类的协方差矩阵。其中31341m，3232-2m，34-31-3m则321S2/31/9-1/9-2/32/31/3-1/3-2/3312/31/31/32/3312/31/3-1/3-2/331类间散布矩阵常写成：TiiciibmmmmPS))(()(001其中，0m为多类模式（如共有c类）分布的总体均值向量，即：2,1),(iwPi2,1),|(iwxpi21)()|()()|()|(jjjiiiwPwxPwPwxPxwPcimPxEmiciii,,2,1,,)(}{1091-9131-31310m则TiiciibmmmmPS))(()(001=0.76540.16050.16050.76541.49380.54320.54320.1975310.60490.6049-0.6049-0.6049310.19750.54320.54321.4938312.设有如下两类样本集，其出现的概率相等：ω1：{(000)T,(100)T,(101)T,(110)T}ω2：{(001)T,(010)T,(011)T,(111)T}用K-L变换，分别把特征空间维数降到二维和一维。答：把1w和2w两类模式作为一个整体来考虑，故011100010001011100101011x0.5{}0.50.5mEx符合K-L变换进行特征压缩的最佳条件。因P(ω1)=P(ω2)=0.5，故协方差矩阵0.2500{()()}00.250000.25xCExmxm从题中可以看出，协方差矩阵xC已经是个对角阵，故xC的本征值1230.25其对应的特征向量为：1231000,1,0001（1）、将其降到二维的情况：选λ1和λ2对应的变换向量作为变换矩阵，在这里我们取1和2，得到100100。由yx得变换后的二维模式特征为1w：0111{,,,}00012w：0001{,,,}0111（2）、将其降到一维的情况：选λ1对应的变换向量作为变换矩阵，由yx得变换后的一维模式特征为1w：{0,1,1,1}2w：{0,0,0,1}三：编程：1.已知样本集呈现正态分布，采用基于最小错误率的贝叶斯决策方法，编程待定样本x=(2,0)T的类别，并画出分界线。训练样本号k123123特征x1112-1-1-2特征x210-110-1类别ω1ω2解：clearD1=[1,1,2;1,0,-1;];D2=[-1,-1,-2;1,0,-1;];u1=mean(D1,2);u2=mean(D2,2);c1=zeros(size(D1,1),size(D1,1));fori=1:size(D1,2)c1=c1+D1(:,i)*D1(:,i)';endc1=c1/size(D1,2)-u1*u1';c2=zeros(size(D2,1),size(D2,1));fori=1:size(D2,2)c2=c2+D2(:,i)*D2(:,i)';endc2=c2/size(D2,2)-u2*u2';I=eye(size(c1,1),size(c1,1));ic1=c1\I;ic2=c2\I;W1=-0.5*ic1;W2=-0.5*ic2;w1=ic1*u1;w2=ic2*u2;w10=-0.5*log(det(c1))-0.5*u1'*ic1*u1;w20=-0.5*log(det(c2))-0.5*u2'*ic2*u2;symsx1x2;x=[x1;x2];fprintf('决策界面方程为：')D=x'*(W1-W2)*x+(w1-w2)'*x+(w10-w20);pretty(D)fprintf('（2，0）代入决策面方程的值为：')value=subs(D,{x1,x2},[20])figureezplot(D)holdonplot(D1(1,:),D1(2,:),'bo')plot(D2(1,:),D2(2,:),'ks')plot(2,0,'rp')决策界面方程为：48x1-9x1conj(x2)-9x2conj(x1)（2，0）代入决策面方程的值为：value=96有运行结果看出x=(20)T属于第一类2.已知四个训练样本w1={(0,0),(0,1)}w2={(1,0),(1,1)}使用感知器固定增量法求判别函数设w0=(1,1,1,1)ρ=1要求编写程序，写出判别函数，并打出图表。解：clearallw=[001;011;-10-1;-1-1-1];W=[111];flag=1;flagS=zeros(1,size(w,1));rowk=1;k=0;whileflagfori=1:size(w,1)ifisempty(find(flagS==0))flag=0;break;endk=k+1;pb=w(i,:)*W';ifpb=0flagS(i)=0;W=W+rowk*w(i,:);elseflagS(i)=1;endendenddisp('W=')disp(W)disp('k=')disp(k)wp1=[00;01];wp2=[10;11];plot(wp1(:,1),wp1(:,2),'o')holdonplot(wp2(:,1),wp2(:,2),'*')holdony=-0.2:1/100:1.2;plot(1/3*ones(1,size(y)),y,'r-')axis([-0.251.25-0.251.25])结果：W=-301k=17判别函数为：13)(1xxg3.编程实现下列样本的fisher法分类：解：x1=[0111];y1=[0001];z1=[0010];x2=[0001];y2=[0111];z2=[1101];m1x=mean(x1(:));m1y=mean(y1(:));m1z=mean(z1(:));m1=[m1xm1ym1z];m2x=mean(x2(:));m2y=mean(y2(:));m2z=mean(z2(:));m2=[m2xm2ym2z];S1=zeros(3,3);fori=1:4S1=S1+([x1(i),y1(i),z1(i)]'-m1)*([x1(i),y1(i),z1(i)]'-m1)';endS2=zeros(3,3);fori=1:4S2=S2+([x2(i),y2(i),z2(i)]'-m2)*([x2(i),y2(i),z2(i)]'-m2)';endSw=S1+S2;W=(inv(Sw))*(m1-m2);x=0:.1:2.5;y=0:.1:3;[X,Y]=meshgrid(x,y);Z=(W(1)*X+W(2)*Y)/(-W(3));mesh(X,Y,Z)holdon;hiddenoff;Y1=0;fori=1:4Y1=Y1+W'*[x1(i),y1(i),z1(i)]';endM1=Y1/4;Y2=0;fori=1:412:000,100,101,110:001,011,010,111TTTTTTTTY2=Y2+W'*[x2(i),y2(i),z2(i)]';endM2=Y2/4;Y0=(M1+M2)/2;X1=[000]';ifW'*X1Y0disp('点X1(0,0,0)属于第一类')plot3(0,0,0,'or')elsedisp('点X1(0,0,0)属于第二类')plot3(0,0,0,'ob')endX2=[100]';ifW'*X2Y0disp('点X2(1,0,0)属于第一类')plot3(1,0,0,'or')elsedisp('点X2(1,0,0)属于第二类')plot3(1,0,0,'ob')endX3=[101]';ifW'*X3Y0disp('点X3(1,0,1)属于第一类')plot3(1,0,1,'or')elsedisp('点X3(1,0,1)属于第二类')plot3(1,0,1,'ob')endX4=[110]';ifW'*X4Y0disp('点X4(1,1,0)属于第一类')plot3(1,1,0,'or')elsedisp('点X4(1,1,0)属于第二类')plot3(1,1,0,'ob')endX5=[001]';ifW'*X5Y0disp('点X5(0,0,1)属于第一类')plot3(0,0,1,'or')elsedisp('点X5(0,0,1)属于第二类')plot3(0,0,1,'ob')endX6=[011]';ifW'*X6Y0disp('点X6(0,1,1)属于第一类')plot3(0,1,1,'or')elsedisp('点X6(0,1,1)属于第二类')plot3(0,1,1,'ob')endX7=[010]';ifW'*X7Y0disp('点X7(0,1,0)属于第一类')plot3(0,1,0,'or')elsedisp('点X7(0,1,0)属于第二类')plot3(0,1,0,'ob')endX8=[111]';ifW'*X8Y0disp('点X8(1,1,1)属于第一类')plot3(1,1,1,'or')elsedisp('点X8(1,1,1)属于第二类')plot3(1,1,1,'ob')end4.已知欧氏三维空间中两类9个训练样本1：用最近邻法编程求样本(00)T的分类，并画出分界线。2：用k近邻法编程求样本(00)T的分类，取K=5,7,912:10,20,21,21:11,20,11,21,22TTTTTTTTT解：（1）clearw1=[-10;-20;-21;-2-1];y1=ones(4,1);w2=[11;20;1-1;21;22];y2=-1*ones(5,1);w=[