设计一--贝叶斯最小错误率分类器设计

实验报告课程名称模式识别实验名称贝叶斯实验仪器学院自动化班级姓名/学号实验日期成绩指导教师设计一贝叶斯最小错误率分类器设计一、实验目的（1）通过本次综合设计，了解模式识别的基本原理、贝叶斯最小错误率分类器的原理。（2）本实验旨在让同学对模式识别有一个初步的理解，能够根据自己的设计对贝叶斯决策理论算法有一个深刻地认识，理解二类分类器的。二、实验设备及条件matlab软件三、实验原理分类是一项非常基本和重要的任务，并有着极其广泛的应用。分类是利用预定的已分类数据集构造出一个分类函数或分类模型(也称作分类器)，并利用该模型把未分类数据映射到某一给定类别中的过程。分类器的构造方法很多，主要包括规则归纳、决策树、贝叶斯、神经网络、粗糙集、以及支持向量机(SVM)等方法。其中贝叶斯分类方法建立在贝叶斯统计学[v1和贝叶斯网络[s1基础上，能够有效地处理不完整数据，并且具有模型可解释、精度高等优点，而被认为是最优分类模型之一[9]。尤其是最早的朴素贝叶斯分类器[l0l虽然结构简单，但在很多情况下却具有相当高的分类精度，可以达到甚至超过其它成熟算法如c4.5[l’]的分类精度，而且对噪声数据具有很强的抗干扰能力。因此，对贝叶斯分类算法的深入研究，无论对其理论的发展，还是在实际中的应用，都具有很重要的意义。贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。目前研究较多的贝叶斯分类器主要有四种，分别是：NaiveBayes、TAN、BAN和GBN。贝叶斯网络是一个带有概率注释的有向无环图，图中的每一个结点均表示一个随机变量,图中两结点间若存在着一条弧，则表示这两结点相对应的随机变量是概率相依的，反之则说明这两个随机变量是条件独立的。网络中任意一个结点X均有一个相应的条件概率表(ConditionalProbabilityTable，CPT)，用以表示结点X在其父结点取各可能值时的条件概率。若结点X无父结点,则X的CPT为其先验概率分布。贝叶斯网络的结构及各结点的CPT定义了网络中各变量的概率分布。贝叶斯分类器是用于分类的贝叶斯网络。该网络中应包含类结点C，其中C的取值来自于类集合(c1,c2,...,cm)，还包含一组结点X=(X1,X2,...,Xn)，表示用于分类的特征。对于贝叶斯网络分类器，若某一待分类的样本D，其分类特征值为x=(x1,x2,...,xn)，则样本D属于类别ci的概率P(C=ci|X1=x1,X2=x2,...,Xn=xn)，(i=1,2,...,m)应满足下式：P(C=ci|X=x)=Max{P(C=c1|X=x),P(C=c2|X=x),...,P(C=cm|X=x)}而由贝叶斯公式：P(C=ci|X=x)=P(X=x|C=ci)*P(C=ci)/P(X=x)其中，P(C=ci)可由领域专家的经验得到,而P(X=x|C=ci)和P(X=x)的计算则较困难。应用贝叶斯网络分类器进行分类主要分成两阶段。第一阶段是贝叶斯网络分类器的学习，即从样本数据中构造分类器，包括结构学习和CPT学习；第二阶段是贝叶斯网络分类器的推理，即计算类结点的条件概率，对分类数据进行分类。这两个阶段的时间复杂性均取决于特征值间的依赖程度，甚至可以是NP完全问题，因而在实际应用中，往往需要对贝叶斯网络分类器进行简化。根据对特征值间不同关联程度的假设，可以得出各种贝叶斯分类器，NaiveBayes、TAN、BAN、GBN就是其中较典型、研究较深入的贝叶斯分类器。贝叶斯网络分类器是一种典型的基于统计方法的分类模型。它以贝叶斯定理为理论基础,巧妙地将事件的先验概率与后验概率联系起来,利用先验信息和样本数据确定事件的后验概率。错误率最小的贝叶斯分类器设计思想是寻找一种划分方式，使“错判”率最小。四、实验内容与步骤（1）实验内容：假定某个局部区域细胞识别中正常（）和非正常（）两类先验概率分别为正常状态：P（）=0.9；异常状态：P（）=0.1。现有一系列待观察的细胞，其观察值为：-3.9847-3.5549-1.2401-0.9780-0.7932-2.8531-2.7605-3.7287-3.5414-2.2692-3.4549-3.0752-3.99342.8792-0.97800.79321.18823.0682-1.5799-1.4885-0.7431-0.4221-1.11864.2532已知类条件概率的曲线如下图：类条件概率分布正态分布分别为（-2，0.25）（2,4）试对观察的结果进行分类。（2）最小风险贝叶斯决策可按下列步骤进行：(1)在已知P(Wi)，P(X|Wi)，i=1,…，c及给出待识别的X的情况下，根据贝叶斯公式计算出后验概率：j=1,…，x(2)利用计算出的后验概率及决策表，根据贝叶斯公式计算。(3)对(2)中得到的a个条件风险值,i=1,…，a进行比较，找出使其条件风险最小的决策，即则就是最小风险贝叶斯决策。五、实验报告要求1)用matlab完成基于最小错误率的贝叶斯分类器的设计，要求程序相应语句有说明文字，要求有子程序的调用过程。2)根据例子画出后验概率的分布曲线以及分类的结果示意图。3)如果是最小风险贝叶斯决策，决策表如下：最小风险贝叶斯决策表：状态决策α104α220请重新设计程序，完成基于最小风险的贝叶斯分类器，画出相应的条件风险的分布曲线和分类结果,并比较两个结果。4）根据课程设计结果，编写课程设计报告。在报告中应写出设计的方法、步骤、控制方案、实验接线图、实验结果。5）实验报告成绩评分标准（1)实验成绩：实验考勤（10%）+实验动手情况（20%）+实验报告（70%）；（2)实验报告评分标准：书面整洁规范（10%）+实验内容（90%）（3)实验内容：实验目的（5%）+实验器材（5%）+实验原理（10%）+实验步骤及方法（10%）+实验数据处理（40%）+思考题（30%）（4)实验数据处理：数据表（30%）+最小二乘法（30%）+图形（20%）+结论（20%）最小二乘法：手算（50%）+matlab编程（50%）图形：坐标纸画出离散点和拟合图形或用matlab生成图形打印（5)思考题：思考题：实验指导书（30%）+实验课堂留的（30%）+正确性（40%）六、思考题附参考算法代码和实验参考结果：运行结果示意：【实验分析与说明】类条件概率分布曲线根据事先给定的正态分布参数正常细胞（-2，0.25）及异常细胞（2,4）绘制。后验概率分布曲线由类条件概率分布曲线以及给定的先验概率，正常状态：P（A）=0.9；异常状态：P（B）=0.1，根据贝叶斯概率公式计算得出。风险曲线根据事先制定的决策表0660并根据最小风险贝叶斯决策公式计算每种状况的风险，选取最小风险的状况作为最终分类的输出。本次实验通过给定类条件概率密度及先验概率实现了最小风险贝叶斯决策理论在正常细胞与异常细胞中的应用。但在实际应用中，如果要进行分类的数据没有足够样本，无法确定类条件概率密度及先验概率时，贝叶斯决策理论通常无法被应用。