林骋_神经网络

神经网络控制综述报告智能控制课程实验控制研14林骋2014312110101智能控制课程实验控制研14林骋20143121101011目录一、前言...........................................................................................................................................2二、神经网络控制的发展历史.........................................................................................................22.1人工神经网络研究阶段的划分...................................................................................................22.1.1第一阶段——启蒙时期........................................................................................................22.1.2第二阶段——低潮时期.........................................................................................................42.1.3第三阶段——复兴时期.........................................................................................................52.2人工神经网络国内外研究状况...................................................................................................8三、神经网络控制的发展现状.........................................................................................................83.1神经生理学、神经解剖学研究的发展........................................................................................93.2与之相关的数学领域的研究与发展............................................................................................93.3神经网络应用的研究与发展......................................................................................................103.4神经网络硬件的研究与发展......................................................................................................103.5新型神经网络模型的研究......................................................................................................10四、神经网络控制的特征与存在的问题........................................................................................11五、神经网络控制的未来方向.......................................................................................................12参考文献............................................................................................................................................13智能控制课程实验控制研14林骋20143121101012一、前言作为一门活跃的边缘性交叉科学,人工神经网络的研究与应用成为人工智能、认知科学、神经生理学、非线性动力学等相关专业的热点。近十年来,针对神经网络的学术研究大量涌现,它们当中提出了数百种神经网络,涉及联想记忆、自学习与自组织、计算机视觉等众多的方面,取得了引人瞩目的进展。由于神经网络是高度非线性动力学系统,又是自适应自组织系统,可用来描述认知、决策及控制等的智能行为,使得智能的认识和模拟成为神经网络理论研究的一个重要方面。而这方面的研究与我们对人脑结构的认识和研究有着密切的关系,同时,神经网络理论又成为信息并行处理的基础,PDP(并行分布处理)成为20世纪80年代中后期的一个研究新热点,它进一步拓展了计算概念的内涵,使神经计算、进化计算成为新的研究领域。事实上,神经网络理论研究的前沿问题将渗透到21世纪科学的挑战性问题中,不过,由于目前人类对真实神经系统了解非常有限,对于自身脑结构及其活动机理的认识还非常浮浅,因此,人工神经网络的完善与发展还有待于神经生理学、神经解剖学的研究给出更加详细的研究和证据。二、神经网络控制的发展历史2.1人工神经网络研究阶段的划分纵观神经网络的发展历史,其发展过程大致可以概括为如下3个阶段.2.1.1第一阶段——启蒙时期这是神经网络理论研究的奠基阶段.1943年,神经生物学家MeCulloch和青年数学家Pitts合作,提出了第一个人工神经元模型,并在此基础上抽象出神经元的数理模型[1],开创了人工神经网络的研究.以MeCulloch和Pitts提出人工神经元的数理模型(即神经元的阀值模型,简称MP模型)为标志,神智能控制课程实验控制研14林骋20143121101013经网络拉开了研究的序幕。为了模拟起连接作用的突触的可塑性,神经生物学家Hebb于1949年提出了连接权值强化的Hebb法则[2].这一法则告诉人们,神经元之间突触的联系强度是可变的,这种可变性是学习和记忆的基础.Hebb法则为构造有学习功能的神经网络模型奠定了基础.1952年英国生物学家Hodgkin和Huxley建立了著名的长枪乌贼巨大轴索非线性动力学微分方程,即H-H方程.这一方程可用来描述神经膜中所发生的非线性现象如自激震荡、混沌及多重稳定性等问题,所以有重大的理论与应用价值.1954年,生物学家Eccles提出了真实突触的分流模型[3],这一模型由于通过突触的电生理实验得到证实,因而为神经网络模拟突触的功能提供了原型和生理学的证据.1956年,Uttley发明了一种有处理单元组成的推理机,用以模拟行为及条件反射.70年代中期,他把该推理机用于自适应模式识别,并认为该模型能反映实际神经系统工作原理.1958年Rosenblatt在原有MP模型的基础上增加了学习机制[4].他提出的感知器模型,首次把神经网络理论付诸工程实现,他的成功之举大大激发了众多学者对神经网络的兴趣.Rosenblatt证明了两层感知器能够对输入进行分类,他还提出了带隐层处理元件的三层感知器这一重要的研究方向.Rosenblatt的神经网络模型包含了一些现代神经计算机的基本原理,从而形成神经网络方法和技术的重大突破.神经网络的研究迎来了第一次高潮期.1960年Widrow和Hoff提出了ADALINE网络模型[5],这是一种连续取值的自适应线性神经元网络模型,可以用于自适应系统.他们针对输入为线性可分的问题进行了研究,得出期望响应与计算响应的误差可能搜索到全局最小值;在神经元模型中引入了不应期特性;为了研究思维和大脑结合的理论问题,Gross2berg从信息处理的角度,研究了自组织性、自稳定性和自调节规律[6,7];日本科学家Amari注重把生物神经网络的行为与严格的数学描述相结合,在数学求解研究上得到一定成果;Willshaw等人提出了一种称为全息音的模型[8],为利用光学原理实现神经网络奠定了理论基础;Nilsson对多层机即有隐层的广义认知机作了精辟的论述等[10].上述成果足以表明神经网络研究已获得了广泛的成功.智能控制课程实验控制研14林骋201431211010142.1.2第二阶段——低潮时期正当一些科学家怀着极大的热情追求神经网络那遥远但并非不可及的目标时,人工智能的创始人之一Minsky和Papert对以感知器为代表的网络系统的功能及局限性从数学上做了深入研究,于1969年出版了轰动一时《Percep2trons》一书,指出简单的线性感知器的功能是有限的,它无法解决线性不可分的两类样本的分类问题,如简单的线性感知器不可能实现“异或”的逻辑关系等.这一论断给当时人工神经元网络的研究带来沉重打击,以致美国及前苏联的一些科研机构纷纷停止对此类项目提供资助,而使得这个领域的许多学者不得不转向其他课题的研究,由此出现了神经网络发展史上长达10年的低潮期.使神经网络研究处于低潮的另外一个原因是,20世纪70年代以来,集成电路和微电子技术的迅猛发展,使传统的VonNeumenn计算机进入全盛时期,基于逻辑符号处理方法的人工智能得到了迅速发展并取得显著成绩,它们的问题和局限性尚未暴露,因此暂时掩盖了发展新型计算机和寻求新的神经网络的必要性和迫切性.也许Minsky的评论是过于苛刻了,不过这一评论一定程度上暴露出当时神经网络研究的局限性,因而有一定的启发性.可喜的是,仍有少数具有远见卓识的科学家持之以恒的继续这一领域的研究,另有一些科学家在此期间新投入到这一领域中,成为低潮期神经网络研究的亮点.1976年,美国Grossberg教授提出了著名的自适应共振理论ART(AdaptiveResonanceTheory),其学习过程具有自组织和自稳定的特征.其后的若干年中,他与Carpenter一起研究ART网络[10],并有ART1、ART2和ART33个ART系统的版本,ART1网络只能处理二值的输入,ART2比ART1复杂并且能处理连续型输入.ART3网络纳入了生物神经元的生物电2化学反应机制,其结构更接近人脑的工作过程.1972年,有两位学者分别在欧洲和美洲发表了类似的神经网络开发结果.一位是芬兰的KohonenT教授,提出了自组织神经网络SOM(Self2Organizingfeaturemap);另一位是美国的神经生理学家和心理学家AndersonJ,提出了一个类似的神经网络,称为“交互存储器”.后来的神经网络主要是根据KohonenT工作来实现的.SOM网络是一类无导师学习网络主要用于模式识别、智能控制课程实验控制研14林骋20143121101015语音识别及分类问题.它采用一种“胜者为王”的竞争学习算法,与先前提出的感知器有很大的不同,同时它的学习训练方式是无指导训练,是一种自组织网络.这种学习训练方式往往是在不知道有那些分类类型存在时,用作提取分类信息的一种训练.低潮期另一位重要人物是日本的福岛邦彦(nihikoFukushima).他开发了一些神经网络结构和训练算法,其中最有名的是1980年发表的“新认知机”(Neocognitron).“新认知机”是视觉模式识别机制模型,它与生物视觉理论相结合,其目的在于综合出一种神经网络模型,使它像人类一样具有进行模式识别能