参数估计及两分类问题

模式识别上机实验2：参数估计及两分类问题给定2维样本500个，存放在文件“500样本.txt”中，其中前300个是属于第一类的样本，接着200个是属于第二类的样本（第一列为样本的类别）。假设两类样本均来自正态总体，试分别估计其参数，求出决策函数和决策规则并对如下五个未知类别的样本进行分类。类别1x2x-1.02213.21555.000010.0002.43444.32103.19328.7089-0.62121.8253决策结果为：用马氏距离得到的结果1x2x到样本一的马氏距离到样本二的马氏距离马氏距离决策结果-1.02213.21551.78081.9772属于样本一5.000010.0001.93672.9772属于样本一2.43444.32100.4462.9741属于样本一3.19328.70891.90681.731属于样本二-0.62121.82530.99182.9054属于样本一用最小贝叶斯决策结果1x2xxg决策结果-1.02213.21550.1359属于样本一5.000010.0002.3234属于样本一2.43444.32104.0899属于样本一3.19328.7089-0.553属于样本二-0.62121.82533.4958属于样本一参数估计及两分类问题姓名：寸正雄学号：200819100731.问题分析该实验目的要通过也知道的300个一类和200个二类样本，由参数估计得到两类的正态函数，通过正态分布统计决策设计出分类器将实验中的五个数据进行分类。1.1．多元正态分布参数估计多元正态分布的概率密度定义如下：xxdTexf121221(1.1)其中，dxxxx,,,21是d维向量，d,,,21是d维均值向量，是dd维的协方差矩阵，1是的逆矩阵，是的行列式。在其密度函数中有和两组参数。而多元正态分布对于每一个ix得边缘分布都是一个一元的正态分布ii,，其密度函数为,,222221ixixxexfiii（1.2）由一元的正态分布参数估计可知222)(1,mXXnDXXXiiiiiii（1.3）这样可以得到哥分布函数，多元正态分布函数中参数由2i和各分布函数所有任意两两变量的协方差组成jixxxxjijjiijiiij,),cov(,2（1.4）可表示成TuxxE（1.5）1.2．Mahalanobis距离马氏距离是由印度统计学家马哈拉诺比斯(P.C.Mahalanobis)提出的，表示数据的协方差距离。它是一种有效的计算两个未知样本集的相似度的方法。对给定的两个样本dxxx,,,21和dyyy,,,21，为和的协方差矩阵，马氏距离定义如下1,R（1.6）表示是到的马氏距离。如图1.1所示，在椭圆中椭圆边上任意一点到中心的马氏距离是相等的。图1.11.3．多元正态概率型下的最小错误率贝叶斯判别最小错误率贝叶斯决策规则常有四种方法：（1）ijjwxxwPxwP则),|(max)|(2,11（2）ijjjiiwxwPwxpwPwxp则),()|(max)()|(2,1（3）211221,)()()|()|()(wwxwPwPorwxpwxpxl则（4）212211),(ln)|(ln)(ln)|(lnwwxwPwxporwPwxp则在多元正态函数中采用上述中方法（4），iiiwxp,~|，可得到多元正态型下的最小错误率贝叶斯判别函数为iiiiwPdxRxglnln212ln2,212（1.7）其中ixR,表示x到i的马氏距离，i是协方差矩阵，iwP为先验概率。决策面方程为xgxgji决策函数为xgxgxgjijijijiwPwPxRxRlnln21],,[2122（1.8）决策结果为0,0,xgwxgwxji(1.9)2.问题求解2.1.参数估计该题为二元正态分布，yxx,，其密度函数为xxTexf12121（2.1）即22222121212122121221121,yyxxeyxf（2.2）由二元正态参数估计可知DYDXYX2121,,,（2.3）EYYEXXEYX),cov((2.4)21（2.5）题所给的两个样本可得到各样本的密度函数参数见表2.1表2.111样本一1.64733.92875.71406.51986.519810.2668样本二0.68236.89522.11541.68271.68273.4679求出各参数就可以得到两个样本的分布密度函数，把其绘制成二维图像如下，其中*号代表的是第二类样本点，o号代表第一类样本点。-4-20246810-4-2024681012图2.1两个样本的二维图像2.2．求未知类别的样本到各样本的21,的马氏距离由上面1.2中公式（1.6）可以得到未知类别的样本到2.1中所求的两个样本的21,的马氏距离如下表，并用马氏距离的比较，到哪个样本的马氏距离小将其分为该类。表2.21x2x到样本一的马氏距离到样本二的马氏距离马氏距离决策结果-1.02213.21551.78081.9772属于样本一5.000010.0001.93672.9772属于样本一2.43444.32100.4462.9741属于样本一3.19328.70891.90681.731属于样本二-0.62121.82530.99182.9054属于样本一2.3．最小错误率贝叶斯判别设21,ww分别表示两个类别，)(1wP，)(2wP分别表示两类的先验概率，由上面1.3中决策函数（1.8）式，和决策结果（1.9）氏，就可以得到决策结果，但在（1.8）式中还有)(1wP，)(2wP是未知的，这里就假设他所选的两个样本与实际相符，两类的先验概率就假设为6.053)(1wP，4.052)(2wP，做此假设后并可求出xg值，再更具决策结果（1.9）式得到决策表如下表2.31x2xxg决策结果-1.02213.21550.1359属于样本一5.000010.0002.3234属于样本一2.43444.32104.0899属于样本一3.19328.7089-0.553属于样本二-0.62121.82533.4958属于样本一3.程序代码实验结果在上面个表中，实验中所需的MATLAB代码如下：3.1.样本yangbenzhi.myangben=[1.00002.18393.0859……2.0000-0.06948.1524];yangben1=yangben(1:300,:,:);yangben2=yangben(301:500,:,:);3.2.参数求解canshu.mfunction[US]=canshu(YB)X=YB(:,2);Y=YB(:,3);U=[mean(X);mean(Y)];S=cov(X,Y);3.3.正态密度函数f.mfunctionz=f(X,S,U)d=size(S);d=d(1);z=(2*pi)^(d/2)*sqrt(det(S))*exp(-1/2*(X-U)'*S^-1*(X-U));3.4.马氏距离mashijuli.mfunctionR=mashijuli(X,U,S)R=sqrt((X-U)'*S^-1*(X-U));3.5.用马氏距离判别MSJL.mYB=[-1.02213.21555.000010.0002.43444.32103.19328.7089-0.62121.8253];yangbenzhi;[U1S1]=canshu(yangben1);[U2S2]=canshu(yangben2);R=[];JG=[];fori=1:5R1=mashijuli(YB(i,:)',U1,S1);R2=mashijuli(YB(i,:)',U2,S2);R=[R;R1R2];ifR1R2JG=[JG;'属于样本二'];elseJG=[JG;'属于样本一'];endenddisp('马氏距离为：');disp(R);disp('马氏距离决策结果为：');disp(JG);3.6.绘制样本二维图像HZTX.myangbenzhi;X1=yangben1(:,2);Y1=yangben1(:,3);X2=yangben2(:,2);Y2=yangben2(:,3);plot(X1,Y1,'*',X2,Y2,'o');[U1S1]=canshu(yangben1);[U2S2]=canshu(yangben2);x=linspace(-5,9,200);y=linspace(-5,12,200);fori=1:200forj=1:200zf1(i,j)=f([x(i)y(j)]',S1,U1);zf2(i,j)=f([x(j)y(i)]',S2,U2);endendholdon;contour(x,y,zf1,16);contour(x,y,zf2,16);holdoff;3.7.最小错误率贝叶斯决策ZXBYS.mYB=[-1.02213.21555.000010.0002.43444.32103.19328.7089-0.62121.8253];PW1=0.6;PW2=0.4;yangbenzhi;[U1S1]=canshu(yangben1);[U2S2]=canshu(yangben2);JG=[];fori=1:5R1=mashijuli(YB(i,:)',U1,S1);R2=mashijuli(YB(i,:)',U2,S2);G(i)=-1/2*(R1^2-R2^2)-1/2*log(det(S1)/det(S2))+log(PW1/PW2);ifG(i)0JG=[JG;'属于样本一'];elseJG=[JG;'属于样本二'];endenddisp('G(X)为：');disp(G');disp('最小贝叶斯错误率决策结果为：');disp(JG);