Bayes(无程序)

实验一用身高和/或体重数据进行性别分类的实验实验名称：最小错误率Bayes分类器实验学时：6专业班级：2014级智能科学与技术1班姓名：陆奕诚学号：2220141445实验时间：2016.05一、实验目的1)加深对Bayes分类器原理的理解和认识2)掌握Bayes分类器的设计方法二、实验数据训练样本集FAMALE.TXT50个女生的身高、体重数据MALE.TXT50个男生的身高、体重数据测试样本集test1.txt35个同学的身高、体重、性别数据（15个女生、20个男生）test2.txt300个同学的身高、体重、性别数据（50个女生、250个男生）三、实验内容用FAMALE.TXT和MALE.TXT的数据作为训练样本集，建立Bayes分类器，用测试样本数据对该分类器进行测试。调整特征、分类器等方面的一些因素，考察它们对分类器性能的影响，从而加深对所学内容的理解和感性认识。具体做法：1．应用单个特征进行实验：以（a）身高或者（b）体重数据作为特征，在正态分布假设下利用‘最大似然法法’估计概率密度函数，建立最小错误率Bayes分类器，写出得到的决策规则；将该分类器应用到测试样本，考察测试错误情况。在分类器设计时可以考察采用不同先验概率（如0.5对0.5,0.75对0.25,0.9对0.1等）进行实验，考察对决策规则和错误率的影响。2．应用两个特征进行实验：同时采用身高和体重数据作为特征，假设二者不相关，在正态分布假设下估计概率密度函数，建立最小错误率Bayes分类器，写出得到的决策规则；将该分类器应用到训练/测试样本，考察训练/测试错误情况。在分类器设计时可以考察采用不同先验概率（如0.5vs.0.5,0.75vs.0.25,0.9vs.0.1等）进行实验，考察对决策和错误率的影响。3．应用两个特征进行实验：同时采用身高和体重数据作为特征，假设二者相关，在正态分布假设下估计概率密度函数，建立最小错误率Bayes分类器，写出得到的决策规则，将该分类器应用到训练/测试样本，考察训练/测试错误情况。比较相关假设和不相关假设下结果的差异。在分类器设计时可以考察采用不同先验概率（如0.5vs.0.5,0.75vs.0.25,0.9vs.0.1等）进行实验，考察对决策和错误率的影响。4．自行给出一个风险表，采用最小风险的Bayes决策重复上面的某个或全部实验。四、原理简述、程序流程图1、最小错误率Bayes分类器判别函数：1011()()()lnln()22TiiiiiiTTiiigxxxpxWxwxw111{,()()}2iiiiiWnnwn矩阵维列向量1011lnln()22TiiiiiiwP决策规则：001()maxTTiiiiTTjjjijmgxxWxwxwxWxwxwx2、具体步骤如下A）.算出各类别特征值的均值B）.求出特征值的协方差矩阵C）.将第二步所得矩阵代入判别函数g1(x)、g2(x)D）.将待测试样本集数据依次代入g1(x)-g2(x)，若g1(x)-g2(x)0，则判断其为第一类，反之为第二类。3、流程图五、实验结果1.只考虑身高的不同先验概率下男女判错统计表女生先验概率P1男生先验概率P2训练样本判错个数训练样本错误率测试样本1判错个数测试样本1错误率测试样本2判错个数测试样本2错误率0.50.51616%411.5%6622%0.250.751414%38.5%3210.7%0.10.91414%25.7%279%表2.只考虑体重的不同先验概率下男女判错统计表女生先验概率P1男生先验概率P2训练样本判错个数训练样本错误率测试样本1判错个数测试样本1错误率测试样本2判错个数测试样本2错误率0.50.51616%823%8127%0.250.751515%514.3%4214%0.10.91212%38.5%5317.7%表3.身高和体重相关情况下男女判错统计表女生先验概率P1男生先验概率P2训练样本判错个数训练样本错误率测试样本1判错个数测试样本1错误率测试样本2判错个数测试样本2错误率0.50.51212%12.9%3210.7%0.250.751616%38.6%144.7%0.10.92424%411.4%175.7%表4.身高和体重不相关情况下男女判错统计表女生先验概率P1男生先验概率P2训练样本判错个数训练样本错误率测试样本1判错个数测试样本1错误率测试样本2判错个数测试样本2错误率0.50.51212%12.9%299.7%0.250.751414%12.9%196.3%0.10.91919%38.6%165.3%最大似然法求出均值与协方分别代入判别函数确定特征及先验概率第一类第二类六、实验总结与体会本次实验使我们对加深贝叶斯最小错误率的理解。对于最大似然估计法,虽然老师上课有专门讲解过,但是具体操作的时候还是概念不太清晰,为此我们参考网络已有的资料又重新学习了一下，在先验概率的选择方面，通过多个不同先验概率的结果对比，得到了关于Bayes分类器的规律，虽然每个小实验都找到了最佳先验概率，但是我们得到的结果错误率较大。所以模式识别还有很多更优秀的算法等着我们去学习。