神经网络课程大作业

目录摘要........................................................................................................................1Abstract..................................................................................................................11绪论....................................................................................................................21.1人工神经网络概述.................................................................................21.2人工神经网络的基本模型.....................................................................31.3人工神经网络的特点.............................................................................51.4人工神经网络的分类.............................................................................52神经网络发展....................................................................................................62.1早期阶段.................................................................................................62.2过渡阶段.................................................................................................62.3复兴时期.................................................................................................72.4发展时期.................................................................................................73神经网络基本原理............................................................................................93.1人工神经网络的工作机理.....................................................................93.2人工神经网络的互连方式.....................................................................94其他神经网络..................................................................................................124.1回归神经网络（RNN）........................................................................124.2卷积神经网络（CNN）........................................................................124.3模糊神经网络.......................................................................................135深度学习的发展与应用..................................................................................155.1深度学习在语音识别中的应用...........................................................155.2深度学习在语言处理中的应用...........................................................16总结......................................................................................................................17参考文献..............................................................................................................181摘要神经控制是一种新型的控制系统,其在动态模拟、建模和控制方面应用广泛。人工神经网络是人工智能的重要分支，具有自适应、自组织和自学习的特点。回顾了人工神经网络理论的发展历史，并介绍了其在信息、医学、经济、控制等领域的应用及研究现状。随着人们对人工神经网络不断地探索和研究，并将其与一些传统方法相结合，将推动人工智能的发展，在以后的生产生活中发挥更大的作用。关键词：人工神经网络；应用；现状；发展AbstractNeuralcontrolisanewtypeofcontrolsysteminthedynamicsimulation,modelingandcontrolapplications.Asanimportantbranchofartificialintelligence，artificialneuralnetworkownthecharacteristicsofself-adaption,self-organizationandself-learning.Reviewthedevelopmenthistoryofartificialneuralnetworktheoryanditsapplicationandresearchstatusinthefieldofinformation，medicine，economic，controlandothersareintroduced.Ascontinuousexploringandresearchingthecombinationofartificialneuralnetworkandsometraditionalmethodswillpromotethedevelopmentofartificialintelligenceandplayabiggerroleintheproductionandlivinglater.Keywords:ArtificialNeuralNetwork；application；currentsituation；prospect21绪论1.1人工神经网络概述人工神经网络是对生理学上真实人脑生物神经元网络的结构、功能、以及若干基本特性的某种理论抽象、简化和模拟，它实际上是一种复杂的信息处理系统，是由大量神经元通过极其丰富和完善的联接而构成的自适应非线性动态系统。众所周知，人类的智能来源于大脑，而大脑是由大量生物神经元（生物神经细胞）组成的，众多的生物神经元按照某种方式相互连接，形成了人脑内部的生理神经网络，也就形成了人体内结构复杂的信息处理中心。医学研究表明，人脑的学习过程就是神经元之间连接强度随外部激励信息做自适应变化的过程，大脑处理信息的结果由神经元的状态表现出来。图1-1神经网络结构示意图神经元在结构上由细胞体、树突、轴突和突触四部分组成。树突是精致的管状延伸物，是细胞体向外延伸出的许多较短的分支，围绕细胞体形成灌木丛状，他们的作用是接受来自四面八方传入的神经冲击信息，相当于细胞的“输入端”信息从树突出发，经过细胞体，然后由轴突传出。轴突是由细胞体向外伸出的最长的一条分支，形成一条通路，信号能经过此通路从细胞体长距离地传送到脑神经系统的其他部分，其相当于细胞的“输出端”。突触是神经元之间通过一个神经元的轴突末梢和其他神经元的细胞体或树突进行通信连接，这种连接相当于神经元之间的输入输出的接口。31.2人工神经网络的基本模型人工神经网络是对生物神经网络的工作原理和功能的抽象和模拟，它的构成以一定的数学模型为依据，以数值的输入、输出反映系统对激励的响应结果。因此，功能和解决方案不同的人工神经网络，具有不同的数学模型，下面简要介绍几种典型的人工神经网络数学模型：图1-2人工神经元模型（1）MP模型由美国心理学家WarrenMcCulloch和数学家WalterHPitters提出的形式神经元数学模型(MP模型)，它是人工神经网络理论研究的基础。它假设有N个神经元互连，每个神经元的活性状态ai(i=1,2,3,4…，N)取0或1，分别表示抑制或兴奋，每个神经元的状态按照公式(1－1)所表示的规则受其他神经元的制约：ai=f(∑wijai−θiNj=1)（1-1）其中wij表示神经元i与神经元j之间的突触连接强度，θi表示神经元i的阈值，f(.)是去阶跃函数U(.)。机器学习的过程就是调整wij的过程。（2）改进MP模型具有延时的MP模型表示为:ai=f(∑wijaij(t−τij)−θiNj=1)（1-2）其中τij为突触延时，它具有如下特征：1）神经元活动遵循“0/1”规律；2）神经元为“多入单出”单元；3）具有“空间整合”与“阈值”作用，它描述为4ai(t)={1∑wijaij(t−τij)−θi≫0j≠i0∑wijaij(t−τij)−θi0j≠i（1-3）4）所有神经元具有相同的、恒定的工作节律，它们取决于突触延时τij；5）神经元突触延时τij为常数，权系数也为常数，即wij={1当aj为兴奋输入时0当aj为抑制输入时（1-4）（3）多层网络Rumelhart的并行分布处理模型并行分布处理模型或PDP模型相当于一个神经网络，他的功能是单一化的，通常一个模型解决一个问题，因此，以该类模型为基础的人工神经网络必定是多种多样的，正如人的大脑一样，各个功能区负责一定的功能和执行一定的任务。它对信息的处理是并行的，但是对信息的表示却是分布的，知识被各单元之间的连接所“编码”，学习的目的就是寻求一组正确的连接强度，以便在一定条件下产生正确的激活模式，信息处理本身就在使用知识，而学习也就是在处理过程中完成。主/从模型Lapedes和Farber提出的主/从网络则是对Hopfield模型的发展。Hopfield模型有两个局限性:一是要求连接的对称性；二是不能求解高阶间题。主/从网络模型的目标正是为了克服这两个限制。其从网络与HoPfield模型一致，但其权wij由主网络决定，且并不要求具有对称性。多层感知器模型多层感知机(Perceptron)模型,是在输入输出结点间具有一个以上结点层的前馈监督训练网络。从理论上说,三层感知机可以创造分类器中所需的任何连续决策函数。CMAC模型CMAC模型是一种类似于多层感知机的前馈结构,适当地形成连续值输入与输出