神经网络的应用论文

神经网络的原理及应用摘要：通过阅读相关文献，总结了神经网络方面的基本原理和应用。首先介绍了Hopfield神经网络中的离散型网络，并介绍其实现交通标志的步骤。随着神经网络的发展，其局限性日益凸显。为此，科学家们提出了与其它方法结合的神经网络。本文介绍了遗传算法优化BP神经网络的原理及在在坝基岩体渗透系数识别中的应用，还介绍了模糊神经网络的原理及在预测地基沉降量中的应用，最后介绍了小波神经网络的原理及在电力负荷预测中的应用。关键字：神经网络、Hopfield、遗传算法、模糊神经网络、小波神经网络绪论Hopfield网络及学习算法最初是由美国物理学家J.JHopfield于1982年首先提出的，曾经为人工神经网络的发展进程开辟了新的研究途径。它利用与阶层型神经网络不同的结构特征和学习方法，模拟生物神经网络的记忆机理，获得了令人满意的结果。Hopfield最早提出的网络是二值神经网络，神经元的输出只取1和0，所以，也称离散Hopfield神经网络（DiscreteHopfieldNeuralNetwork，DHNN）。在离散Hopfield网络中，所采用的神经元是二值神经元，因此，所输出的离散值1和0分别表示神经元处于激活和抑制状态。Hopfield神经网络是递归神经网络的一种，在函数优化和联想记忆等方面有大量的应用。其运行机理与反馈神经网络有本质的区别，运行规律更加复杂。神经网络由于高度复杂的非线性结构导致其内部存在大量的局部极值点，而传统的梯度下降法训练神经网络有可能收敛于局部极值点，造成神经网络性能变差，甚至无法使用。随着现代非线性优化方法异军突起，特别是赫赫有名的遗传算法，具有极强的全局搜索能力，其收敛的有效性得到了理论和实践的充分检验。因此，遗传神经网络是解决高复杂性情况下全局收敛问题的有效途径。系统的复杂性与所要求的精确性之间存在着尖锐矛盾，模糊逻辑、神经网络和专家控制等智能系统为缓解这种矛盾提供了有效途径，但是这些系统单个运用时常常存在多种问题，因此人们便根据它们的优缺点提出了融合使用的新思路，如本文的模糊神经网络。传统神经网络的不足：1、激活函数不满足框架条件，且常为能量无限的C𝑘类函数，而待处理信号𝑓常为能量有限的𝐿2函数，难以找到它们间的反演变关系及保证解的唯一性；2、神经网络的结构参数难以确定，结构设计有很大的盲目性；3、神经网络的多层结构及误差曲面的高度非凸性使得神经网络的学习极其容易陷入局部极小。在这种情况下，小波神经网络最早由法国著名的信息科学研究机构IRISA的QinhuaZhang等于1992年提出。本文将按以上顺序逐一介绍。一、离散型Hopfield神经网络在交通标志识别中的应用Hopfield神经网络是一种互联型神经网络，其演变过程是一个非线性动力学系统，可以用一组非线性差分方程（离散型）或微分方程（连续型）来描述。系统的稳定性可用所谓的“能量函数”来分析。在满足条件的情况下，某种“能量函数”的能量在网络运行过程中不断减少，最后趋于稳定的平衡状态。对于一个非线性动力学系统，系统状态从某一初值出发经过演变后可能有如下几种结果：渐进稳定点（吸引子）、极限环、混沌、状态发散。因为人工神经网络的变换函数是一个有界函数，故系统的状态不会发生发散现象。目前，人工神经网络经常利用渐进稳定点来解决某些问题。如果把系统的稳定点视为一个记忆，那么这个初态朝这个稳定点的演变过程就是一个寻找记忆的过程。如果把系统的稳定点视为能量的极小点，而把能量函数视为一个优化问题的目标函数，那么从初态朝这个稳定点的演变过程就是一个求解该优化问题的过程。因此，Hopfield神经网络的演变过程是一个计算联想或求解优化问题的过程。实际上，它的解决并不需要真的去计算，而是通过构成反馈神经网络，适当地设计其连接权和输入就可以达到这个目的。1.1离散型Hopfield神经网络的工作方式离散型Hopfield神经网络（DHNN）是一种单层的、输入/输出为二值的反馈网络。DHNN主要用于联想记忆。网络的能量函数存在着一个或多个极小点或平衡点。当网络的初始姿态确定后，网络的状态按其工作规则向能量递减的方向变化，最后接近或达到平衡点，这个平衡点又称为吸引子。如果设法把网络所需记忆的模式设计成某个确定网络状态的一个平衡点，则当网络从与记忆模式较接近的某个初始状态出发后，按Hopfield运行规则进行状态更新，最后网络状态稳定在能量函数的极小点，即记忆模式所对应的状态。这样就完成了由部分信息或失真信息到全部或完整信息的联想记忆过程。DHNN的计算公式如下;𝑢𝑖(𝑡+1)=∑𝑤𝑖𝑗𝑦𝑗(𝑡)𝑛𝑗=1−𝑥𝑖(𝑡)+𝜃𝑗𝑦𝑖(𝑡+1)=𝑠𝑔𝑛(𝑢𝑖(𝑡+1))其矩阵向量形式为：𝒖(𝑡+1)=𝑾𝒚(𝑡)−𝒙(𝑡)+𝜽𝒚(𝑡+1)=𝑠𝑔𝑛(𝒖(𝑡+1))其中，𝒚=[𝑦1,𝑦2,…,𝑦𝑛]𝑇,𝒙=[𝑥1,𝑥2,…,𝑥𝑛]𝑇,𝒖=[𝑢1,𝑢2,…,𝑢𝑛]𝑇为网络状态矢量，其分别为Hopfield网络第2层输出、第1层输入和总输入，𝒚中所有的元素取值仅取1或-1；由于神经网络的第0层没有外界输入，因此认为Hopfield神经网络没有输入；𝜽=[𝜃1,𝜃2,…,𝜃𝑛]𝑇为网络的阈值矢量；𝑾=[𝑤𝑖𝑗]𝑛×𝑛为网络连接权矩阵，其元素𝑤𝑖𝑗表示第j个神经元到第i个神经元的连接权，它为对称矩阵。𝑤𝑖𝑗=0，则网络无自反馈，否则，称其为自反馈。1.2Hopfield神经网络的设计方法1.2.1权值的设计方法Hopfield网络的权值是设计出来的。设计方法的主要思路是使记忆的模式样本对应于网络能量函数的极小值。设有m个n维记忆模式，要设计网络连接权𝑤𝑖𝑗和阈值𝜃，使这m个模式正好是网络性能函数的m个极小值。比较常用的设计方法是“外积法”。设𝒖𝑘=[𝑢1𝐾,𝑢2𝐾,…,𝑢𝑛𝐾]𝑇,𝑘=1,2,…,𝑚,𝑢𝑖𝐾∈{0,1},𝑖=1,2,…,𝑛其中，m表示的是模式类别数；n为每一类模式的维数。要求网络记忆的m(m≤n)个记忆模式矢量两两正交，即满足下式：(𝑢𝑖)𝑇𝑢𝑗={0,𝑗≠𝑖𝑛,𝑗=𝑖各神经元的阈值和网络的连接权矩阵按下式计算：𝑾=∑𝒖𝑘(𝒖𝑘)𝑇𝑚𝑘=1−𝑚𝑰𝑚则所有矢量𝒖𝑘在1≤𝑘≤𝑚时都是稳定点。1.2.2Hopfield神经网络的容量Hopfield神经网络能够存储的最大模式数与神经元个数有关。𝑛𝑝=𝑛2𝑙𝑛𝑛+ln(ln𝑛)1.2.3Hopfield神经网络的稳定性离散Hopfield神经网络实质是一个多输入和含阈值的二值非线性动力系统。在运动系统中，平衡稳定状态可理解为系统某种形式的能量函数在系统运动过程中，其能量值不断减小，最后处于最小值。每个状态定义对应的能量E。𝐸(𝑡)=−12𝒚𝑇(𝑡)𝑾𝒚(𝑡)−𝒙𝑇(𝑡)𝒚(𝑡)+𝜽𝑇(𝑡)𝒚(𝑡)任何一个神经元节点的状态变化时，能量E将会向着减小的趋势变化，即对于任何∆𝑡0,当神经网络从𝑡=0开始，有初始状态𝒚(0)，经过有限时刻t，有𝒚(𝑡+∆𝑡)=𝒚(𝑡)，则称网络是稳定的。1.3离散型Hopfield神经网络与交通标志识别步骤如下：（1）载入各种交通标志。（2）为了统一神经网络输入维数，将交通标志转换为70×70的二进制格式。（3）创建Hopfield神经网络。（4）检测样本是否为稳定点。Hopfield神经网络越复杂，它所包含的伪吸引子就越多，可能造成待检测点收敛于伪吸引子，甚至出现混沌现象。因此，所有递归类型的神经网络都有必要进行稳定性检验。一个简单的方法是将样本的期望输入神经网络，如果它能一步收敛于期望值，说明它在样本点上是平稳的。（5）由于Hopfield神经网络存在识别能力上限，因此需要检查识别量是否超过最大模式数。（6）生成带噪声的交通标志。（7）交通标志识别，对比，结果显示。二、遗传算法优化BP神经网络在坝基岩体渗透系数识别中的应用2.1遗传算法概述对于大数据量、高维数及多隐含层节点等条件，各类神经网络训练过程中很有可能会遇到大量的局部极值，不仅严重影响收敛速度，而且可能导致训练误差收敛于局部最优解而不是全局最优解，严重影响神经网络性能。而遗传算法是一种强有力的和应用广泛的随机搜索优化技术，可以解决这些问题。遗传算法（GeneticAlgorithms,GA）的基本思想基于Darwin进化论和Mendel遗传学说。Darwin进化论最重要的是适者生存原理，它认为每一物种在发展中越来越适应环境。物种每个个体的基本特征由后代继承，但后代又会产生一些异于父代的新变化。在环境变化时，只有那些适应环境的个体特征保留下来。Mendel遗传学说最重要的是基因遗传原理它认为遗传以密码的方式存在细胞中，并以基因形式包含在染色体内，每个基因有特殊的位置并控制某种特殊性质。所以，每个基因对环境具有某种适应性，基因突变和基因杂交可产生更适应于环境的后代。经过存优去劣的自然淘汰，适应性高的基因结构得以保存下来。遗传算法是一种新的全局优化搜索算法，具有简单通用、鲁棒性强、适于并行处理及应用范围广等显著特点，是21世纪关键智能计算之一。遗传算法不同于枚举算法、启发式算法、搜索算法等传统的优化方法，其具有如下特点。（1）自组织、自适应和智能性。遗传算法消除了算法设计中的一个最大障碍，即需要事先描述问题的全部特点，并说明针对问题的不同特点算法应采取的措施。因此，它可以用来解决复杂的非结构化问题，具有很强的鲁棒性。（2）直接处理对象是参数编码集而不是问题参数本身。（3）搜索过程中使用的是基于目标函数值的评价信息，既不受优化函数连续性的约束，也没有优化函数必须可导的要求。（4）易于并行化，可降低由于使用超强计算机硬件带来的昂贵费用。（5）基本思想简单，运行方式和实现步骤规范，便于具体实现。（1）编码：在遗传算法求解问题时，首先遇到的是编码问题。将问题的解以适合于遗传算法求解的形式进行编码，称为遗传算法的表示，而交叉、变异等操作与编码的形式有关。因此，在进行编码时，要考虑到交叉和变异问题。最简单的编码方式是二进制编码。此外，编码的方式还有整数编码、实数编码和树编码等。（2）初始化种群的生成：在求解之前产生初始化种群，在解的备选空间中选择若干个体组成初始化种群，通常采用随机法产生初始化种群。（3）适应度评价：根据生物进化“适者生存”的原则，需要对每个个体适应环境的能力进行刻画，从而引入适应度。适应度是遗传算法在群体进化过程中用到的唯一信息，它为字符串如何复制给出了定量的描述。适应度函数通过计算个体的适应值来比较个体的适应度。适应度函数分为无约束条件的适应度函数和有约束条件的适应度函数。（4）选择：种群中的个体在进行交叉之前，要进行选择。选择的目的是获得较优的个体作为父代，进行下一步交叉。选择的依据是个体的适应度，适应度值高个体被选中的可能性大，适应度低的个体被选中的可能性小。适应度高的个体可能被多次复制，而适应度低的个体可能一次也未被选中。选择算子有时也叫复制算子。常用的选择方法是适应度比例法，也叫轮盘赌法，它的基本原则是按照个体的适应度大小比例进行选择。（5）交叉：交叉也称交配，即将两个父代个体的编码串的部分基因进行交换，产生新的个体。交叉算子是种群遗传算法的重要算子，是种群产生新个体的主要手段。对于二进制编码，具体实施交叉的方法有单点交叉、两点交叉、多点交叉和一致交叉等。对于实数编码，交叉的方法有离散重组、中间重组和线性重组等。（6）变异：变异操作首先在种群中随机选择一个个体，对于选中的个体按照一定的概率随机改变串结构的某个值，即对种群中的每一个个体以某一概率改变某一个或某一些基因座上的值为其他的基因。同生物界一样，遗传算法发生变异的概率很低。变异操作为新的个体提供了机会。（7）终止条件判断：终止条件判断是指在什么