模式识别实验二

实验报告实验二用人工神经网络对二维样本分类一、实验目的1．掌握人工神经网络的运行机理、参数设置和模型选择等；2．熟悉感知器的原理、特性与功能；3．熟悉误差反传网的原理、特性与功能；4．熟悉径向基函数网的原理、特性与功能；二、实验内容1．观察人工神经元的输出随权值w与b的变化；2．生成两类样本，然后用感知器对两类样本进行分类；3．用误差反传网实现函数逼近，观察参数设置和拓扑结构对逼近性能的影响；4．用径向基函数网逼近任意函数；三、实验仪器、设备1．PC机－系统最低配置512M内存、P4CPU；2．Matlab仿真软件－7.0/7.1/2006a等版本的Matlab软件。四、实验原理1人工神经网络：人工神经网络（artificialneuralnetworks,ANN）学习，在模式识别领域占有重要地位。现在的计算机尽管有很高的计算速度与超大的存储容量，但它却缺乏感知、识别、联想、决策和适应环境等人脑具备的能力，因此能否让计算机象人脑那样工作多少年来一直是不同领域的学者试图认识并回答的问题。人脑是由极大量的的生物神经元经过复杂的相互连接而成的一种非线性并行信息处理系统，尽管单个生物神经元的反应速度比构成计算机的基本单元——逻辑门——慢五六个数量级，但人脑中神经元数目巨大且连接复杂，因此对有些问题的处理速度比计算机还快。由此看来人脑的组织结构和运行机制有其绝妙的特点，从模仿人脑出发，探究更接近人类智能的信息处理系统具有重大意义，这促使人们大力研究人工神经网络学习方法与模型。人工神经网络是用大量的简单计算-处理单元（神经元）构成的非线性系统，它具有学习能力、记忆能力、计算能力以及各种智能处理功能，在不同程度和层次上模仿人脑神经系统的信息处理、存储及检索功能。当然这种模拟是粗略而且简单的，无论是在规模上还是功能上都与人脑差得太远，但这并不妨碍它在一些实际工程应用领域显示出威力。2一个典型的人工神经元模型：生物神经元是生物神经系统总最基本的单元，是构成生物神经系统的基石。它由细胞体、树突和轴突组成，轴突与其它神经元形成功能性接触。当外界刺激达到一定阈值时，神经元处于兴奋状态并经轴突输出，否则处于抑制状态。人工神经元是生物神经元的某种简化和抽象，下面以M-P神经元为例介绍其基本原理。图2-1（a）是一个M-P神经元模型，它有d个输入结点，一个输出结点。若输入(1),,,Tidxxxx，则输出1diiiyfwxb，其中iw为第i个输入结点与输出结点间的连接权值，f为激活函数，d为激活阈值。abcdx1x1x1x2x2x2xdxdx1w2wnwy1ymy1wmwyKK图2-1神经网络模型拓扑结构图。（a）M-P神经元；（b）感知器；（c）径向基函数网3两个重要的学习规则：学习是神经网络最重要的特征之一。神经网络通过学习改变其内部状态，使输入与输出呈现出某种规律性。学习是按照一定的学习规则进行的，Hebb规则和误差修正规则是两种最重要的规则。Hebb规则可以归结为：如果神经网络中某一神经元与另一直接与其相连的神经元同时处于兴奋状态，那么这两个神经元间的连接强度（权值）应增强。假设第i和j个神经元的状态分别为iu和ju，则两个神经元间的权值修正量为jiijuuw，称为学习因子。误差修正规则的最终目的是使网络中某一神经元的实际输出在均方意义上最逼近于期望输出，令第j个神经元的期望输出为je，实际输出为jy，则第i个输入结点与第j个神经元间的权值修正量为iijjjweyx。4三种经典的网络模型：在神经网络的研究中经常提到神经网络学习模型的概念，神经网络模型是关于一个神经网络的综合描述，包括网络的拓扑结构、信息传递方式、学习方式和学习算法等。目前人们已提出了上百种神经网络模型，表2-1列出了其中最经典的三种。神经网络模型按学习方式可分为有监督学习和无监督学习；按拓扑结构可分为前向网和反馈网，前向网有明显的层次，信息的流向由输入层到输出层，反馈网没有明显的层次，存在输出单元到输入单元的反馈连接；按网络活动方式可分为确定型网和随机型网，确定型网由确定性输入经确定性作用函数，产生确定性输出，随机型网由随机输入或随机作用函数，产生遵从一定概率分布的随机输出。网络模型感知器误差反传网径向基函数网英文缩写——BPRBF提出时间195719861988学习方式有监督有监督有监督拓扑结构前向前向前向活动方式确定型确定型确定型表2-1三种经典的神经网络模型比较感知器感知器在神经网络乃至整个机器学习领域都有重要意义。即使是对其持激烈批评态度的Minsky，在1988年重版其名著《感知器》时也在扉页上写上了“仅以此纪念Rosenblatt”。图2-1（b）就是一个感知器示意图，它是一个双层网络，输入层有n个结点，输出层有m个计算单元，采用误差修正规则作为学习准则。误差反传网1988年Broomhead等将径向基函数（radialbasisfunction,RBF）首先用于神经网络设计，从而构成了RBF网。假设RBF网输入层有d个结点，隐层有m个结点，若输入(1),,,Tidxxxx，22,exp/2ccKxxxx，cx是基函数的中心，为基函数的宽度，则输出为2211,exp/2mmiciciiiyfwKfwxxxx。一个函数可以表示成一组基函数的加权和，因此RBF网可以看作是用隐层单元的输出函数构成的一组基去逼近一个函数。五、实验步骤1．在MATLAB命令行状态下，键入DEMO并按回车键；得到如图2-2所示的界面。然后点击“Toolboxes”，打开MATLAB工具箱。再点击“Neuralnetworks”，选定神经网络工具箱，如图2-3所示。图2-2打开MATLAB工具箱图2-3选定神经网络工具箱2．观察并记录人工神经元（Neurons）的特性与功能。首先在如图2-3所示界面上，将鼠标移至“simpleneuronandtransferfunction”并双击之，得到如图2-4所示界面。然后双击如图2-4所示界面上的文字“runthisdemo”,得到图2-5。NeuralNetworkDESIGNOne-InputNeuronAltertheweight,biasandinputbydraggingthetriangularshapedindicators.PickthetransferfunctionwiththeFmenu.Watchthechangetotheneuronfunctionanditsoutput.Chapter21pwbaInputLinearNeuron:a=purelin(w*p+b)F:-202w-202b-4-2024-4-2024pa图2-4选定神经元演示程序图2-5神经元演示模块3．观察并记录感知器（Perceptrons）的特性与功能。NeuralNetworkDESIGNDecisionBoundariesMovetheperceptrondecisionboundarybydraggingitshandles.Trytodividethecirclessothatnoneoftheiredgesarered.Theweightsandbiaswilltakeonvaluesassociatedwiththechosenboundary.Dragthewhiteandblackdotstodefinedifferentproblems.Chapter4W=1.411.41b=-2.12-3-2-10123-3-2-10123W4．观察并记录误差反传网（BackpropagationNetworks）的特性与功能。NeuralNetworkDESIGNGeneralizationClickthe[Train]buttontotrainthelogsig-linearnetworkonthedatapointsatleft.Usetheslidebartochoosethenumberofneuronsinthehiddenlayer.Chapter11NumberofHiddenNeuronsS1:419DifficultyIndex:319-2-1.5-1-0.500.511.5200.511.52InputTargetFunctionApproximation5．观察并记录径向基函数网（RadialBasisNetworks）的特性与功能。