82人工智能论文

浅谈人工神经网络学习第1页共9页浅谈人工神经网络学习1、简介作为动态系统辨识、建模和控制的一种新的、令人感兴趣的工具，人工神经网络（ArtificialNeuralNetworks,ANN）提供了一种普遍而且实用的方法从样例中学习值为实数、离散值或向量的函数。像反向传播（BACKPROPAGATION）这样的算法，使用梯度下降下来调节网络参数以最佳拟合由输入—输出对组成的训练集合。ANN学习对于训练数据中的错误健壮性很好，且已被成功的应用到很多领域，例如视觉场景分析、语音识别以及机器人控制等。神经网络学习方法对于逼近实数值、离散值或向量的目标函数提供的一种健壮性很强的方法。对于某些类型的问题，如学习解释复杂的现实世界中的传感器数据，人工神经网络是目前知道的最有效的学习方法。例如，反向传播算法已在很多问题中取得了惊人的成功，比如学习识别手写字符、学习识别口语、学习识别人脸等。1.1人工神经网络学习发展简史：对人工神经网络的研究可以追溯到计算机科学的早期。McCulloch&Pitts(1943)提出了一个相当于感知器的神经元模型，20世纪60年代他们的大量工作探索了这个模型的很多变体。20世纪60年代早期Widrow&Hoff(1960)探索了感知器网络（他们称为“adelines”）和delta法则。Rosenblatt(1962)证明了感知器训练法则的收敛性。然而，直到20世纪60年代晚期，人们才开始清楚单层的感知器网络的表现能力很有限，而且找不到训练多层网络的有效方法。Minsky&Papert(1969)说明即使是像XOR这样简单的函数也不能用单层的感知器网络表示或学习，在整个20世纪70年代ANN的研究衰退了。在20世纪80年代中期ANN的研究经历了一次复兴，主要是因为训练多层网络的反向传播算法的发明（Rumelhart&McClelland1986;Parker1985）。这些思想可以被追溯到有关的早期研究（例如，Werbos1975）。自从20世纪80年代，反向传播算法就成为应用最广泛的学习方法，而且人们也积极探索出了很多其他的ANN方法。在同一时期，计算机变得不在贵重，这允许人们试验那些在20世纪60年代不可能被完全探索的计算密集型的算法。2、人工神经网络学习的国内外研究状况随着人工神经网络20世纪80年代在世界范围内的复苏，国内也逐步掀起了研究热潮。l989年10月和11月分别在北京和广州召开了神经网络及其应用讨论会和第一届全国信号处理—神经网络学术会议；l990年2月由国内八个学会(中国电子学会、人工智能学会、自动化学会、通信学会、物理学会、生物物理学会和心理学会)联合在北京召开“中国神经网络首届学术会议”。这次大会以“八学会联盟，探智能奥秘为主题收到了300多篇学术论文，开创了中国人工神经网络及神经计算机方面科学研究的新纪元。经过十几年的发展，中国学术界和工程界在人工神经网络的理论研究和应用方面取得了丰硕成果，学术论文、应用成果和研究人员逐年增加．在国际上，1987年，在美国加洲召开了第一届国际神经网络学会．此后每年召开两次国际联合神经网络大会(IJCNN)．不久，该学会创办了刊物JournalNeuralNetworks，另有十几种国际著名的神经网络学术刊物相继问世，至此，神浅谈人工神经网络学习第2页共9页经网络理论研究在国际学术领域获得了其应有的地位。作为人工神经网络学习的典型算法反向传播（BP）算法，近年来国内外学者对这一算法提出了一些改进。其中，由宋绍云、仲涛提出的BP人工神经网络网络的新算法】【1解决了传统算法的局部极小及收敛速度慢的问题。该算法是在BP神经网络现有的基础上提出的一种新的算法，该算法的基本原理是任选一组自由权，通过解线性方程组求得隐层权，将选定的自由权与求得的权合在一起，就得到所需的学习权值。而BP人工神经网络自适应学习算法的建立则解决了BP神经网络结构参数、学习速率与初始权值的选取问题，并对传统的BP算法进行了改进，提出了BP神经网络自适应学习算法】【2，又将其编制成计算机程序，使得输入节点、隐层节点和学习速率的选取全部动态实现，减少了人为因素的干预，改善了学习速率和网络的适应能力。计算结果表明：BP神经网络自适应学习算法较传统的方法优越，训练后的神经网络模型不仅能准确地拟合训练值，而且能较精确的预测未来趋势。基于遗传算法的人工神经网络学习】【3避免了BP算法易陷入局部极小值、训练速度慢、误差函数必须可导、受网络结构的限制等缺陷。人工神经网络的研究同样在实践中也有所发展。比如，基于人工神经网络的并行强化学习自适应路径规划】【4，可以很好的应用于机器人蔽障系统。BP算法在雷达目标识别中的应用以及在超声检测中的应用等都是在BP算法改进的基础上实现的。3、所选专题的研究意义与研究方法从1946年第一台电子数字计算机问世以来直到现在，大多数信息处理都采用程序式计算方式。这种方式解题需要设计算法或规则，并正确的编制成软件，然后才能进行问题求解。这种解题方式必须考虑3个因素：①问题的形式化；②可进行计算的算法；③计算的复杂性。比较计算机和人的处理能力，其差别是惊人的。一方面，一个人能很容易识别面孔理解语言，而一台巨型机却很难识别出一棵树来。另一方面，用计算机进行计算，可以很快的得到答案，其计算能力大大超过了人。那么数字计算和辨识物体之间究竟有哪些差别呢？辨识物体是不能简单明确的加以定义的。要识别一棵树，就必须给出树的全部定义。做出这样一种定义，等于要描述树的每一个可以想到的变量。这类问题构成了随机问题。所谓随机问题，就是那些需要具备某一系统的实际上每种可能状态的知识才能解答的问题。因此，为解决一个随机问题，就要求记忆所有可能的解答，当给定输入数据时，从所有可能的解答的集合中迅速的选出最合适的答案。而像数学一类的计算问题，其解答通常可以用一种算法简洁地表示出来，也就是说，可以用一个精确的指令系列来表示，该指令系列规定了如何处理输入数据以得到答案。浅谈人工神经网络学习第3页共9页信息处理的一种新方法并不需要开发算法和规则，极大的减少了软件的工作量，这种方法称为神经网络。神经网络是一门崭新的信息处理学科，它从神经生理学和认知科学研究成果出发，应用数学方法研究并行分布的、非程序的、适应性的、大脑风格的信息处理的本质和能力。神经网络中主要的信息处理结构是人工神经网络。神经信息处理是介于常规处理形式和人脑处理形式的中间处理形式。一方面，神经网络企图模仿人脑的功能，而另一方面许多实现技术又是常规的。表1-1给出了这3种信息处理范型的主要特点。神经信息处理许多特性与人脑相似，诸如联想、概括、并行搜索、学习和灵活性。表1-13种信息处理范型项目常规计算机神经计算人脑信息表示指令+数据网络连接处理单元功能+权值内部神经连接程序设计指令+初始数据网络拓补+模式训练模式训练处理数字数字或模拟模拟体系结构1-410处理器1-106处理器1-011神经元硬件集成电路电、光、生物器件神经元开关速度1ms1ns-1ms1ms工艺硅器件硅器件、光、分子生物的人脑处理信息的特点如下：①大规模并行处理。人脑神经元之间传递神经冲动是以毫秒计的，比普通的电子计算机慢得多。但人们通常能在1ms内对外界事物作出判断和决策。这对传统的计算机或人工智能是做不到的。由此可知，人脑的“计算”必定是建立在大规模并行处理的基础上。人善于在复杂环境下作出判断，从整体上识别事物。神经网络的大规模并行处理与多处理机构成的并行系统是不同的。②具有很强的容错性，善于联想、概括、类比和推广。每天有大量神经细胞正常死亡，但不影响大脑正常的功能；大脑局部损伤会引起某些功能衰退，但不是功能突然丧失。在计算机中，元器件的局部损坏，或者程序中的微小错误都可能引起严重的后果，即表现出极大的脆弱性。人脑与计算机信息处理的巨大差别在于对信息的记忆和处理方式不同。计算机的模式是信息局部储存，按程序提取有关的信息，送到运算器处理。大脑中信息的记忆，特别是长期记忆是通过改变突触的效能实现的，即信息存储在神经元间连接强度的分布上，信息的记忆和处理是合二为一的。这一点，神经网络与大脑信息处理方式及其相似。③具有很强的自适应能力。人脑功能受先天因素制约，但后天因素，如经历、训练、学习等也起重要作用。这表明人脑具有很强的自适应性和自组织性。神经网络与符号处理不同，前者强调系统的自适应或学习过程，同一网络因学习方法及内容不同，可具有不同的功能；符号处理强调程序编写，系统的功能取决于编写者的知识和能力。由上可知，脑是最复杂、最完美、最有效的一种信息处理装置，人们正以极大的兴趣研究它的结构和机理。这种研究与20世纪初的物理学和20世纪50年代的分子生物学一样，正酝酿着重大的突破，而这一突破将给整个科学的发展带来巨大而深远的影响。人们对大大脑的认识已深入到探索脑的核心问题，鉴定出浅谈人工神经网络学习第4页共9页了一系列涉及脑工作的重要分子，在感知、行为、学习和记忆方面都取得了重要进展。这表明人们将有可能最终揭开大脑这个人体最复杂系统的奥秘，为现代科技发展寻找新的道路。借助大脑工作原理，有可能使信息处理获得新的突破。正因为如此，神经科学受到世界各发达国家的高度重视。美国国会通过决议将1990年1月5日开始的10年定为“脑的十年”。国际脑研究组织号召它的成员国将“脑的十年”变为全球行动。美国国防部高级研究计划局（DARPA）制定的8年研究计划中，神经网络是重要的方向。1986年日本政府提出了“人类前沿科学计划”（HFSP）研究计划，1992年提出“真实世界计算”（RWC）研究计划。德国人从1988年开始执行“神经信息论”的研究计划。脑科学、神经生理学、病理学主要研究神经网络的生理机理，如神经元、突触、化学递质、脑组织等的构成和工作过程。而认知科学、计算机科学主要探索人脑信息处理的微结构理论，寻求新的途径，解决当前计算机和传统人工智能难以处理的问题。以此为背景，以人工神经网络为基础，形成了神经网络的新学科。目前，对大脑思维的过程了解仍然很肤浅，人工神经网络模拟的研究还很不充分，人们面临的是一个充满未知的新领域。神经网络将在基本原理方面进行更深刻的探索。神经网络的发展与神经科学、认知科学、计算机科学、人工智能、信息科学机器人学、微电子学、光计算、分子生物学等有关，是一门新兴的边缘交叉学科。神经网络研究的主要目的如下：①理解脑系统为何具有智能。这些计算与符号表示的形式操作处理不同，人脑是如何组织和实施这些计算的。②研究各种强调“计算能力”的神经网络模型，并不着重于这些模型的生物学保真程度③研究大规模并行自适应处理机理。④研究神经计算机的体系结构和实现技术。4、适合神经网络学习的问题人工神经网络学习非常适合于这样的问题：训练集合为含有噪声的复杂传感器数据，例如来自摄像机和麦克风的数据。它也适用于需要较多符号表示的问题，例如决策树学习任务。这种情况下ANN和决策树学习经常产生精度大体相当的结果。反向传播算法是最常用的ANN学习技术。它适合具有以下特征的问题:(1)实例是用很多“属性-值”对表示的：要学习的目标函数是定义在可以用向量描述的实例之上的，向量由由预先定义的特征组成。这些输入属性之间可以高度相关，也可以相互独立。输入值可以是任何实数。目标函数的输出可能是离散值、实数值或者由若干实数属性或离散属性组成的向量：例如在ALVINN（Pomerleau(1993)的ALVINN系统是ANN学习的一个典型实例，这个系统使用一个学习到的ANN以正常的速度在高速公路上驾驶汽车。）(2)系统中输出的是30属性向量，每一个分量对应一个建议的驾驶方向。每个输出值是0和1之间的某个实数，对应于在预测相应驾驶方向时的置信度。我们也可以训练一个单一网络，同时输出行驶方向和建议的加速度，这只要简单的把编码这两种输出预测的向量连接在一起就可以了。(3)训练数据可能包含错误：ANN学习算法对于训练数据中的有非常好的健壮性。(4)可容忍长时间的训练：网络训练算法通常比像决策树学习这样的算法需浅谈人工神经网络学习第5页共