BP神经网络算法

神经网络技术及其应用作业题目：BP神经网络算法及应用姓名：何兆容学号：2013020456学院：管理科学学院专业：基础数学BP神经网络算法及应用第一部分人工神经网络的发展历史人工神经网络（ArtificialNeuralNetwork,ANN），是借鉴人脑的结构和特点，通过大量简单处理单元（神经元或节点）互连组成的大规模并行分布式信息处理和非线性动力学系统，它是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。因为人脑是由极大量基本单元（称之为神经元）经过复杂的相互连接而成的一种高度复杂的、非线性的、并行处理的信息处理系统，所以人工神经网络具有巨量并行性、结构可变性、高度非线性、自学习性和自组织性等特点。它能解决常规信息处理方法难以解决或无法解决的问题，尤其是那些属于思维（形象思维）、推理及意识方面的问题。从人脑的生理结构出发来研究人的智能行为，模拟人脑信息处理的过程，即人工神经网络的研究，自20世纪40年代以来，它的发展经历了一条由兴起、萧条和兴盛三个阶段构成的曲折道路。在1943年美国哈佛大学精神病学家和神经解剖学家McCulloch与数学家Pitts在数学生物物理学会刊《BulletinofMathematicalBiophysics》上发表文章，总结了生物神经元的一些基本生理特征，提出了形式神经元的数学描述与结构，即MP模型。他们的神经元模型假定遵循一种所谓“有或无”（all-or-none）规则。如果如此简单的神经元数目足够多和适当设置突触连接并且同步操作，McCulloch和Pitts证明这样构成的网络原则上可以计算任何可计算函数。这是一个有重大意义的结果，有了它就标志着神经网络和人工智能学科的诞生。1949年生理学家D.O.Hebb出版了《TheOrganizationofBehavior》(行为组织学)一书。该书第一次鲜明提出了神经元连接强度的Hebb规则。他认为学习过程是在突触上发生的，突触的联系强度随其前后神经元的活动而变化。根据这一假设提出的学习规则为神经网络的学习算法奠定了基础，使神经网络的研究进入了一个重要的发展阶段。1958年，计算机科学家Rosenblatt提出感知机（Perceptron），首次把神经网络理论付诸工程实现。这是一种学习和自组织的心理学模型，它基本上符合神经生物学的知识，模型的学习环境是有噪声的，网络构造中存在随机连接，这是符合动物学习的自然环境。当时，人们对神经网络的研究过于乐观，认为只要将这种神经元互连成一个网络，就可以解决人脑思维的模型问题。但是，随之而来的Minsky和Papert（1969）所著的《Perceptron》一书，利用数学证明单层感知器所能计算的根本局限，提出感知器的处理能力有限，甚至连XOR这样的问题也不能解决，并在多层感知器的总结章中，论述了单层感知器的所有局限性在多层感知器中是不可能被全部克服的。当时人工智能的以功能模拟为目标的另一分支出现了转机，产生了以知识信息处理为基础的知识工程（KnowledgeEngineering），给人工智能从实验室走向实用带来了希望。同时，微电子技术的发展，使传统的计算机的处理能力有很大提高，数字计算机的发展使当时科学界普遍认为它能解决一切问题，包括模式识别、机器人控制等。因而不必去寻找新的计算理论与实现方法。而且，当时的工艺水平还未能达到制作实用的具有足够规模的神经网络，用分离的电子管即使是晶体管所制作的神经网络也只能作示教星的表演。这些因素的共同作用，促使人们降低了对神经网络研究的热情，从而使神经网络进入萧条时期。1982年，美国加州工学院Hopfield提出Hopfield神经网络模型，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的发展。1985年，Hinton和Sejnowsky等人提出了Boltzmann模型，首次采用了多层网络的学习算法，在学习中采用统计热力学模拟退火技术，保证整个系统趋于全局稳定点。1986年Remelhart和McClelland等人提出了并行分布处理的理论，同时，Werbos和Parker独立发展了多层网络的BP算法，这是目前最普遍的网络，广泛用于实际问题求解。第二部分人工神经网络的主要应用神经网络的发展如今已到了一个新时期，它涉及的范围还在不断扩大，其应用渗透到各个领域。在连接主义模式下，进化与学习结合的思想正在迅速发展，神经计算、进化计算正成为其发展的一个重要方向。日本学者Amari.S将微分流形和信息集合应用于人工神经网络的研究，探索系统化的新的神经信息处理理论基础，为人工神经网络的理论研究开辟了条崭新的途径。神经网络理论有极强的数学性质和生物学特征，尤其是在神经科学、心理学和认识科学等方面提出了一些重大问题，是向神经网络理论研究的新挑战，也是它发展的机会。21世纪神经网络理论日益变得更加外向，不断产生具有重要意义的概念和方法，推进神经网络向更高阶段发展。并且神经网络的应用，已渗透到模式识别、图像处理、非线性优化、语音处理、自然语言理解、自动目标识别、机器人、专家系统等各个领域，并取得了令人瞩目的成果。神经网络理论也已成为涉及神经生理科学、认识科学、数理科学、心理学、信息科学、计算机科学、微电子学、光学、生物电子学等多学科的新兴的、综合性的前沿学科。从众多应用研究领域取得的丰硕成果来看，人工神经网络的发展具有强大的生命力。当前存在的问题是智能水平还不高，许多应用方面的要求还不能得到很好的满足；网络分析与综合的一些理论性问题（如稳定性、收敛性的分析，网络的结构综合等）还未得到很好的解决。随着人们对大脑信息处理机理认知的深化，以及人工神经网络智能水平的提高，人工神经网络必将在科学技术领域发挥更大的作用。人工神经网络的应用领域极其广泛，1988年《DARPA神经网络研究报告》列举了不同领域神经网络的应用实例，见下表1。从表中可以看出，神经网络在人工智能、自动控制、计算机科学、信息处理、机器人、模式识别等方面都有重要的应用实例。随着人工神经网络技术的发展，其用途日益广泛，应用领域也在不断拓展，已在各工程领域中得到广泛的应用。表1神经网络应用实例应用领域应用实例航空航天业高性能飞机自动驾驶仪、飞行航线模拟、飞行器控制系统、自动驾驶仪增强器、飞机构件模拟、飞机构件故障检测等汽车业汽车自动驾驶系统、保单行为分析银行业支票和其他文档读取、信用卡申请书评估信用卡行为检查用于辨认与遗失的信用卡相关的不寻常的信用卡行为国防工业武器制导、目标跟踪与识别、脸部识别、新型传感器、声纳、雷达、图像处理与数据压缩、特征提取与噪声抑制、信号/图像识别电子业编码序列预测、集成电路芯片版图设计、过程控制芯片故障检测、机器人视觉、语音合成非线性建模娱乐业动画、特效、市场预测金融业房地产估价、贷款指导、抵押审查、集团债务评估、信用曲线分析、有价证券交易程序、集团财政分析、货币价格预测工业预测熔炉产生的气体和其他工业过程，以取代复杂而昂贵的仪器设备保险业政策应用评估，产出最优化制造业制造业过程控制、产品设计与分析、过程与机器诊断、实时微粒识别、可视化质量检测系统、焊接质量分析、纸质预测、计算机芯片质量分析、化学产品设计分析、机器保养分析、工程投标、经营与管理、化学处理系统的动态建模等医药乳腺癌细胞分析，EEG和ECG分析，假体设计，移植时间最优化，降低医疗费用支出，提高医疗质量石油天然气勘探机器人技术行走路线控制、铲车机器人、操纵控制器、视觉系统等语音语音识别、语音压缩、元音分类、文本-语音合成等有价证券市场分析、自动债券评级、股票交易咨询系统等电信业图像与数据压缩、自动信息服务、实时语言翻译、用户付费处理系统等交通卡车刹车诊断系统、车辆调度、行程安排系统等神经网络比较擅长的应用领域如下：①模式识别：神经网络经过训练可有效的提取信号、语言、图像、雷达、声纳等感知模式的特征，并能解决现有启发模式识别系统不能很好解决的不变量测量、自适应、抽象或概括等问题。这方面的主要应用有：图形、符号、手写体及语音识别，雷达及声纳等目标识别，药物构效关系等化学模式信息辨认，机器人视觉、听觉，各种最近相邻模式聚类及识别分类，遥感、医学图像分析，计算机视觉、计算机输入装置等。神经网络可应用于模式识别的各个环节：特征提聚、聚类分析、边缘检测、信号增强、噪音抑制、数据压缩以及各种变换、分类判决等。模式识别是人工神经网络特别适宜求解的一类问题，神经网络模式识别技术在各领域中的广泛应用是神经网络技术发展的一个重要侧面。②人工智能：专家系统是人工智能领域研究时间最长，应用最成功的技术，但人们在应用专家系统解决诸如语音识别、图像处理和机器人控制等这类似于人脑的形象思维的问题时，却遇到很大的困难。神经网络的问世为人工智能开辟了一条崭新的途径，成为人工智能研究领域中的后起之秀，它具有的自学习能力是传统专家系统望尘莫及的。神经网络技术能对不完整信息进行补全，根据已学会的知识和处理问题的经验对复杂问题作出合理的判断决策，给出较满意的解答，或对未来过程作出有效的预测和估计，从而使之在人工智能领域获得广泛的应用。这个方面的主要应用有：自然语言处理、市场分析、预测估值、系统诊断、事故检查、密码破译、语言翻译、逻辑推理、知识表达、智能机器人、模糊评判等。③控制工程：神经网络在诸如机器人运动控制、工业生产中的过程控制等复杂控制问题方面有独到之处。较之基于传统数学计算机的离散控制方式，神经网络更适宜于组成快速实施自适应控制系统。这方面的主要应用有：多变量自适应控制、变结构优化控制、并行分布控制、智能及鲁棒控制等。④优化计算和联想控制：由于并行、分布式的计算结构，神经网络在求解诸如组合优化（NP完备问题）、费心性优化等一系列问题上表现出高速的集体计算能力。在VLSI自动排版、高速通信开关控制、航班分配、货物调度、路径选择、组合编码、排序、系统规划、交通管理以及图论中各类问题的计算等方面得到了成功应用。联想记忆的作用是用一个不完整的模糊的信息联想出储存在记忆中的某个完整、清晰的模式来。如何提高模式储存量和联想质量仍是神经网络的热点之一。目前在这方面的应用又内容寻址器、人脸识别器、知识数据库等。⑤信号处理：神经网络的自学习和自适应能力使其成为对各类信号进行多用途加工处理的一种天然工具，主要用于解决信号处理中的自适应和非线性问题。包括自适应均衡、自适应滤波、回拨抵消、自适应波束形成、自适应编码等自适应问题和各种非线性问题，如非线性区域的模式分类、系统辨识和高维非线性系统的检测、估计等问题，还可对病态问题进行求解。神经网络在弱信号检测、通信、自适应滤波等方面的应用尤其引人注目，并已在许多行业得到应用。最后神经网络在许多领域内都有成功的应用实例，但神经网络也不是尽善尽美的。目前，神经网络的理论研究和实际用途都在进一步探索之中，相信随着人工神经网络研究的进一步深入，其应用领域会更广，用途会更大。第三部分人工神经网络的基本原理人工神经元模式：神经网络是由大量简单处理单元组成，通过可变权值连接而成的并行分布式图1神经元的一般描述系统。神经元是人工神经网络的基本处理单元，它是一个多输入-单输出的非线性器件，其结构如图所示。图中，xi为输入信号，wij表示从第i个神经元到第j个神经元的连接权值，θj为第j个神经元的阈值。设sj为外部输入信号，yj为输出信号，在上述模型中第j个神经元的变换可描述为)(ijjiijjsxwfy这里采用的非线性函数f(x)可以是阶跃函数、分段函数及Sigmoid型函数。连接权值：人工神经网络的处理单元间相互连接，所有的连接构成一有向图。每一连接对应于一个实数，称为连接权值，或称为权重。权值的集合可看作是长期记忆。我们可以用权矩阵W来表示网络中的连接模式，W中的元素是wij。连接权值的类型一般分为激发和抑制形式，正的权值表示激发连接，相反，负的权值表示抑制连接。连接权值的连接方式是人工神经网络的特征描述。1xNx2xjiijxwiy神经网络状态：在时刻t，每一个神经元都有一个实数值，称之为神经元状态，也叫做神经元