人工神经网络分类器

通信工程学院题目人工神经网络分类器专业：自动化学号：52110608学生姓名：张继伟指导教师姓名：刘富日期：年月日人工神经网络分类摘要：80年代重新兴起的人工神经网络已成为世界人工智能研究的热门课题之一。本文介绍了人工神经网络的一般结构及其算法,介绍人工神经网络在模式识别方面的作用及用作模式识别的人工神经网络分类器。人工神经网络简介：人们对人工神经网络(ArtificialNeuralNet简作人NN,也称神经网络)的研究可追溯到40年前。初期人们致力于建立较为详细的、仿生的(模仿人的神经元)神经网络的数学模型。50年代至60年代有人便试图建立结构上类于人脑的计算机。但由于当时集成电路、计算机及人工智能等方面技术的限制使得这种尝试未获成功,’而且使这方面的工作几乎停顿了近20年.直到80年代,超大规格集成电路、人工智能、计算机技术及拓扑学算法的发展使得人工神经网络重新兴起并很快地蓬勃发展成了当今世界的一大热门课题.尤其是人们希望人工神经网络能在语音和图象识别(s,”chandimaseeRcogniton)方面达到完成人类的功能。使得人工神经网络在这方面有了不少应用成果。1987年6月在美国圣地亚哥召开的第一届国际神经网络年会(IcNN,nIentriatooaloCnferenceonNeuriaNetwork)重新揭开了人类向神经网络大规模进军的战幕,据有关人士预料,今后新一代计算机将是以神经网络为基础的,具有高度并行处理能力,具有自适应能力的新一代的计算机。从当前研究的热点看主要有下列几个方面:一是各种神经网络模型的研究,包括生物物理模型,数学模型等。二是在数字机上进行模拟以探讨各类模型的特点、性能等。三是各种训练、学习规则的研究。四是神经网络在工作中的自适应能力的研究。五是硬件实现。国际上在这几方面的研究都尚属初级阶段,尚有一些硬件实现和初步的应用成果。国内的研究则刚起步不久。本文介绍人工神经网络模型的一般结构及算法,同时在和传统分类器(oasifer)比较的基础上介绍用于模式识别的人工神经网络分类器的结构和工作过程[1]。人工神经网络的概念：人工神经网络（ArtificialNeuralNetworks,ANN），一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人工神经网络具有自学习和自适应的能力，可以通过预先提供的一批相互对应的输入－输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据来推算输出结果，这种学习分析的过程被称为“训练”。由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。人工神经网络研究的发展：1943年，提出形式神经元的数学模型，人工神经网络研究的开端。1949年，提出神经元的学习准则，为神经网络的学习算法奠定了基础。50年代，研究类似于神经网络的分布系统。50年代末提出感知模型，把神经网络的实现付诸工程实践。1982年，提出神经网络的数学模型，引入了能力的概念，研究了网络的动力学特性；设计出用电子线路实现网络的方案，大大促进了神经网络的研究。1986年，提出多层感知器的反向传播算法。现在神经网络的应用已渗透到智能控制、信号处理、优化计算、生物医学工程等领域[2]。人工神经网络基本内容：人工神经网络模型主要考虑网络连接的拓扑结构、神经元的特征、学习规则等。目前，已有近40种神经网络模型，其中有反传网络、感知器、自组织映射、Hopfield网络、波耳兹曼机、适应谐振理论等。根据连接的拓扑结构，神经网络模型可以分为：（1）前向网络网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示。这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。网络结构简单，易于实现。反传网络是一种典型的前向网络。（2）反馈网络网络内神经元间有反馈，可以用一个无向的完备图表示。这种神经网络的信息处理是状态的变换，可以用动力学系统理论处理。系统的稳定性与联想记忆功能有密切关系。Hopfield网络、波耳兹曼机均属于这种类型。学习是神经网络研究的一个重要内容，它的适应性是通过学习实现的。根据环境的变化，对权值进行调整，改善系统的行为。由Hebb提出的Hebb学习规则为神经网络的学习算法奠定了基础。Hebb规则认为学习过程最终发生在神经元之间的突触部位，突触的联系强度随着突触前后神经元的活动而变化。在此基础上，人们提出了各种学习规则和算法，以适应不同网络模型的需要。有效的学习算法，使得神经网络能够通过连接权值的调整，构造客观世界的内在表示，形成具有特色的信息处理方法，信息存储和处理体现在网络的连接中。根据学习环境不同，神经网络的学习方式可分为监督学习和非监督学习。在监督学习中，将训练样本的数据加到网络输入端，同时将相应的期望输出与网络输出相比较，得到误差信号，以此控制权值连接强度的调整，经多次训练后收敛到一个确定的权值。当样本情况发生变化时，经学习可以修改权值以适应新的环境。使用监督学习的神经网络模型有反传网络、感知器等。非监督学习时，事先不给定标准样本，直接将网络置于环境之中，学习阶段与工作阶段成为一体。此时，学习规律的变化服从连接权值的演变方程。非监督学习最简单的例子是Hebb学习规则。竞争学习规则是一个更复杂的非监督学习的例子，它是根据已建立的聚类进行权值调整。自组织映射、适应谐振理论网络等都是与竞争学习有关的典型模型。研究神经网络的非线性动力学性质，主要采用动力学系统理论、非线性规划理论和统计理论，来分析神经网络的演化过程和吸引子的性质，探索神经网络的协同行为和集体计算功能，了解神经信息处理机制。为了探讨神经网络在整体性和模糊性方面处理信息的可能，混沌理论的概念和方法将会发挥作用。混沌是一个相当难以精确定义的数学概念。一般而言，“混沌”是指由确定性方程描述的动力学系统中表现出的非确定性行为，或称之为确定的随机性。“确定性”是因为它由内在的原因而不是外来的噪声或干扰所产生，而“随机性”是指其不规则的、不能预测的行为，只可能用统计的方法描述。混沌动力学系统的主要特征是其状态对初始条件的灵敏依赖性，混沌反映其内在的随机性。混沌理论是指描述具有混沌行为的非线性动力学系统的基本理论、概念、方法，它把动力学系统的复杂行为理解为其自身与其在同外界进行物质、能量和信息交换过程中内在的有结构的行为，而不是外来的和偶然的行为，混沌状态是一种定态。混沌动力学系统的定态包括：静止、平稳量、周期性、准同期性和混沌解。混沌轨线是整体上稳定与局部不稳定相结合的结果，称之为奇异吸引子。一个奇异吸引子有如下一些特征：（1）奇异吸引子是一个吸引子，但它既不是不动点，也不是周期解；（2）奇异吸引子是不可分割的，即不能分为两个以及两个以上的吸引子；（3）它对初始值十分敏感，不同的初始值会导致极不相同的行为。人工神经网络四种基本特征：（1）非线性非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。（2）非局限性一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。（3）非常定性人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。（4）非凸性一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。例如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。人工神经网络是一种非程序化、适应性、大脑风格的信息处理，其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。它是涉及神经科学、思维科学、人工智能、计算机科学等多个领域的交叉学科。人工神经网络是并行分布式系统，采用了与传统人工智能和信息处理技术完全不同的机理，克服了传统的基于逻辑符号的人工智能在处理直觉、非结构化信息方面的缺陷，具有自适应、自组织和实时学习的特点。人工神经元的机制：1、生物神经元典型的神经元，即神经细胞结构：胞体、树突、轴突、突触胞体：神经细胞的本体，完成普通细胞的生存功能。树突：有大量的分枝，接受来自其他神经元的信号。轴突：用以输出信号。突触：神经元相联系的部位，对树突的突触为兴奋性的，使下一个神经元兴奋；对胞体的突触为抑制性的，阻止下一个神经元兴奋。神经元的两种工作状态：兴奋和抑制。动态极化原则：在每一个神经元中，信息以预知的确定方向流动，即从神经元的接收信息部分传到轴突的电脉冲起始部分，再传到轴突终端的突触，以与其它神经元通信。连接的专一性原则：神经元之间无细胞质的连续，神经元不构成随机网络，每一个神经元与另一些神经元构成精确的联接。信号的传递过程：接受兴奋电位；信号的汇集和传导；信号的输出。2、人工神经元人工神经元模型：xi：输入，神经元的输入值ωi：权值，突触的连接强度f：输出函数，非线性函数y：输出神经元动作：常用输出函数：阈值函数：阶跃函数：双曲正切函数：3、感知器模型f为阈值函数：设阈值：θ=-ω0W=(ω1,ω2,…,ωn,ω0)TX=(x1,x2,…,xn,1)T则：y=sgn(WTX)即：y=f(WTX)1niiinetwx这种神经元没有内部状态的转变，而且函数为阈值型。因此，它实质上是一种线性阈值计算单元。感知器是一个具有单层计算单元的人工神经网络。感知器训练算法就是由这种神经网络演变来的。感知器算法能够通过对训练模式样本集的“学习”得出判别函数的系数[3]。4、感知器训练算法算法描述用样本训练时，若x∈ωi，g(x)0，则w不变。若g(x)0，则修改w，直到所有样本都满足条件为止。通过上面的定义，感知器问题变成wi/wj两类问题。因此，感知器的自组织、自学习思想可以用于确定性分类器的训练——感知器训练方法。初始化：给定一个训练模式集{x1,x2,…xN}，其中每个类别已知，它们分属于ω1,ω2。xi＝(xi1,xi2,…xin)T为n维向量，增广为(n+1)维向量：xi＝(xi1,xi2,…xin,1)ω2类样本乘以－1。权向量w为(n+1)维向量。感知器算法步骤置步数k=1，令增量C为常数，且C0，分别赋予初始增广权矢量w(1)的各分量较小的任意值。输入训练模式xk，计算判别函数值wT(k)xk调整增广权矢量，规则是：如果wT(k)xk≤0,则w(k+1)=w(k)+Cxk如果wT(k)xk0,则w(k+1)=w(k)如果kN，令k=k+1，返至第二步。如果k=N，则检验判别函数wTx对x1,x2,…,xN，是否都能正确分类。若是，结束；若不是，令k=1，返至第二步。通常人工神经网络在能识别之前