ComputationalIntelligence第九章1,2节翻译

进化神经网络9.1简介多层前馈神经网络已经成为非常流行，有以下几个原因：他们有在实践中已经发现一概而论良好，是众所周知的训练算法，例如作为Widrow-霍夫，反向传播，Hebbean，赢家通吃，Kohonen自组织映射这往往可以找到一个很好的权值。尽管使用最少的训练集，学习时间往往成倍增加，他们往往不能构造（Muehlenbein，1990）。当全局最小值是隐藏在局部极小点之间的反向传播（BP）算法可以结束了局部极小值之间的弹跳没有太多的全面提高，这会导致非常缓慢的训练。BP是一个需要渐变的计算方法相对于权重，而这又需要微分误差。因此，BP不能处理不连续的最优性条件或不连续的节点传递函数。BP的速度和鲁棒性是参数，如学习率，动量和加速度敏感恒定的，并且使用最佳参数似乎各不相同的问题，以问题（巴迪和Homik，1995）。所谓动量的方法降低BP在灵敏度的小细节错误面。这有助于避免网络被陷在浅水极小这将防止网络找到一个较低的误差溶液（Vogtet人，1988）。人工神经网络的自动设计有两个基本方面：参数学习和结构的学习。在结构学，无论是结构和参数信息必须通过训练过程中的教训。基本上，我们可以考虑三种模式结构学习：建设性的算法，破坏性的算法和进化计算。建设性的算法（浩方，1993;霍纳沃尔和UHR，1993;Parekhet人，2000年）开始用小的网络（通常是一个单一的神经元）。此网络进行训练，直到无法继续学习，那么新的组件被添加到网络中。这个过程被重复，直到一个满意的解决方案被发现。这些方法通常陷入局部极小（安吉莉娜等人，1994）并倾向于产生大的网络。破坏性的方法，也被称为修剪算法（里德，1993），开始即能学习，但通常结束在一个大的网络过拟合，并尝试删除的连接和节点一点用处都没有。一个主要的问题与修剪方法是信用到网络中的结构部件分配为了决定一个连接或节点是否必须被移除。这两种方法，constructiveand破坏，限制了可用的架构，它引入的约束数目这可能不适合于该问题可能结构的搜索空间。虽然这些在模拟数据（Thodberg，1991的方法已被证明是有益的;Depenau和穆勒，1994），其应用到实际问题却相当不成功（Hiroseet人，1991;Hassibi和鹳，1993;上村及中西，1994）。一些研究人员已经开始研究稳健的方法来克服这些种的问题。其中的一个方法可能是中介公司的应用。进化神经网络系统主要是指设计和神经网络的训练由进化算法。在神经网络的组合和进化搜索过程的兴趣在近年来发展迅速。有几个论点赞成中介申请到神经网络优化（权重和/或拓扑），因为中介公司有能力生产的全局搜索的潜力参数空间，从而避免局部极小。此外，有利的是中介应用于问题在那里梯度信息是困难或昂贵获得。这意味着中介可以可能被应用到强化学习问题与疏反馈训练NNS与非微神经元。与中介公司的唯一明显的缺点是速度慢时间尺度。在中介公司是用于问题不仅算法，代表性和运营商，但同时该战略的参数值和操作的概率要选择哪些影响性能（意思是一个很好的一整套解决方案）和收敛（寓意好一套及时的解决方案，即有效地找到解决办法）。查找的过程中合适的参数值和操作的概率是一个耗时的任务。研究人员已投入相当数量的努力和尝试了各种问题一个特定的域，并试图调整策略参数。很明显，一个EA在本质上是一个充满活力和适应过程。此外，也存在缺点传统的方法在某种意义上说，战略参数是静态的，不恰当的选择的参数可能会导致次优的性能。参数的调整将花费显著量的时间和最佳参数值也可能在进化过程中变化过程。对EA参数及其设置的详细讨论在第8.4节规定第8章，因此，自适应机制的策略参数是较为可取作为确定性参数设置变化从问题到问题。不同的模糊logicbased的方法来适应机制对EA的参数设置进行了讨论第8章第8.4.1节。的模糊逻辑为基础的方法的主要困难是建设微丝和规则为基础的学习，这主要是需要专业知识的。以类似的方式，NNS还可以应用于开发为中介的自适应机制。该优势NNS在模糊逻辑为基础的方法之一是，一个神经网络能够学习从经验数据。电针参数的自适应学习有报道和讨论许多研究人员在各种会议和期刊的分散方式。它需要在解决一个更结构化的方式。为结合EA和NNS各种方案被提出，被许多测试研究人员在过去的二十年（姚明和刘，1998;普通话'U-拉巴斯和卡马斯，2005年荣和的Reggia，2006），但文学是分散在各种期刊，诉讼和技术报告。主要是，三种类型的组合，迄今已在报文献：•支持性的组合，•协同组合•组合合并组建的。在辅助组合，EA和NNS被用于顺序地，其中一个是主解决问题的，另一个是次要的。在协同组合，它们同时应用在既EA和NNS共同解决问题。在合并后的组合，在EA的搜索机制是指在一个神经网络的范例的支持协作而合并后的组合在下面的章节中讨论。9.2支持性组合一个EA使用的最优化问题的整个解空间的群体代表在手。在EA然后根据不同的人口收敛，和不同的战略参数在EA受预定义的健身度量。相反，NN使用一个经验数据集代表输入/输出空间的。学习然后收敛取决于数据设置学习参数的神经网络主题和架构，以一个预定义的性能指标。既EA和NNS的性能可以得到改善和加速收敛，如果的数据集和战略参数或学习参数的适当的人口可以发现。EA和神经网络之间的支持性组合可以帮助找到这些参数。支持性组合通常涉及使用这些技术之一来制备数据，以供其它用途。换句话说，一种技术起着主要作用，而另一起到一定的支撑作用，以解决这个问题。的支持机构可以是以下两种方式之一：•神经网络，以协助进化算法（NN-EA）和•进化算法来协助神经网络（EA-NN）9.2.1NN-EA支持性组合在N，N-EA的情况下，概念是似乎有内部的一些自然分组的问题。有启发式的某些集，做出更好的出发点对某些群体比别人。神经网络的工作就是学习这个分组和建议的出发点，任何进化算法。在这种情况下，神经网络主要用作图案ASSOCIATORS匹配输入的问题具有良好的参数集的描述。这些神经网络使用标准BP算法训练。在图9.1所示的图解释NN和EA的支持组合，其中，NN产生初始种群从原始数据为EA。Kadabaet人（1991）使用的神经网络来产生初始种群的遗传算法（GA），其中对GA起着发现了一组有一个良好的参数的作用启发式程序，找到一套好的选择启发式算法的车辆路径问题。图9.1为神经网络对EA分组和建议初始种群图9.2基于神经网络的适配参数控制EA一个EA的性能主要依赖于策略的参数值的选择。找到一个好的一套在EA策略参数是一个耗时的试错过程。也有与传统方法相关联的技术的缺点，如该用户的选择设置中的参数可以是错误和/或性能不理想的来源，并最佳参数值可能在进化过程中发生变化。因此，一个自动化的修改的参数值执行一个EA的过程中，寻求通过使用一些启发式规则或从EA的当前状态的反馈信息。一个神经网络可以帮助学习EA的参数值。这样一个有利的组合如图9.2所示。Grefenstette（1986）确定的EA策略（或控制）的参数，如人口规模（N），交叉率（PC），变异率（PM），代沟（G），缩放窗口（W）和选择策略（S），即尽可能多的控制变量可以是任意的{N，PC，PM，G，W，S}的。不同的性能指标可以从目前的人口，如平均适应度（¯F），平均适应度/最好的健身（¯F/F最好），最差健身/平均适应度（fworst/¯f的个体的适应值进行计算），最好和平均适应度（fbest-¯f）或目前的人口规模（N）之间的差异。也就是说，尽可能多的控制输入可以是任意的{¯f,¯f/fbest,fworst/¯f,fbest−¯f,N}的。德容和Goldberg一直在研究人口规模对EA性能的影响。他们发现，随着目前的人口规模的增长，突变率的敏感性降低，最好的突变率使用也降低（德容和布兰妮，1990;Goldberget等，1992）。措施与策略（或控制）性能参数之间的关系在第8章讨论过，并导致了模糊控制器的设计。在开发一个多输入多输出（MIMO）模糊逻辑控制器的主要困难是巨大的规则库。克服处理大量规则库的问题，可以采用使用NN的MIMO控制机制来控制，如图9.3中的EA参数。在NN的这里的工作是使用从期望的或预期的溶液和当前的解决方案之间的差异所产生的误差函数学习EA的策略参数。标准BP与错误反馈可用于训练神经网络（Kadaba和尼加德，1990;Kadabaet人，1991)9.2.2EA-NN支持性组合大多数研究人员发现它更自然的使用EA支持NN。在EA-NN的情况下，该支持机制可根据哪一个阶段被分为三类，他们用在该过程：•EA选择输入功能或改造所使用的神经网络分类器的特征空间;•EA选择学习规则或控制学习的神经网络参数;•EA分析的神经网络。图9.3种群规模，交叉和变异率的基于神经网络的自适应控制9.2.2.1特征空间的选择在基于神经网络的模式分类和识别问题的一个重要问题就是功能选择。鉴于某些功能或对象的测量，一想就决定而这些功能是最适合从一组给定的分类或识别物体的图案或对象。我们可以天真地试图检查每个的特点，建立优先排序的功能。但如果有P特点，然后有2^P特点集进行检查，这将是一个耗时的，繁琐的任务。此外，它可以是情况最好的一个功能S*不存在在P特点，即S*/∈P。一般地，本功能集被认为是整个输入空间有代表性的样品，而我们选择一个子空间R^n⊆R^p其中的R^n特点可以被分配到的N类中一个最小误差。最小误差是错误分类的多一些的预期数在R^n测试仪(毕雷人，1990）的特性的转变也是可能的R^n中以最小的误差。中介公司用在这样的情况下，指导搜索最优组合和输入的转换功能，以NNS，以满足最小的投入标准，快培训和准确的召回。EA已被用于以两种方式准备数据为NN：•转型特征空间和•选择的限制功能的子集在第一种方法中，将所述特征空间中已经主要应用于近邻型算法。转型的一个很常见的例子是在华氏温标用公式XC=（XF-32）/1.8被转化成摄氏温标XC测得的温度XF。另一个例子可能有助于感知数据转换的意义：让XI=[XIK]，I∈P，K∈K是一个特向量，其中P是一组功能和K是一组变量。欧氏空间Rn中（其中n=|K|）包括形式为x=[X1，X2，...，XN]的所有n维向量。特征矢量x=[X1，X2，...，XN]可以是反式公式计算如Zik=（Xik-AK）形成为Z=[Z1，Z2，...，Zn]/BK，其中Ak和BK的移位是比例因子的变化原因。通过转化是指移位，旋转和以这样的方式对齐，组内差异减少，组间差异被放大的数据的比例（凯利和Davis，1991;米尔金，1996;瑶，1999）。图9.4示出了通过应用在同一组的功能特征变换获得的两个不同的分类的实例。有兴趣的读者可以参考米尔金（1996），适用于各种数学分类和聚类中使用的转化技术。图9.4两种基于特征变换不同的分类如可以从图9.4中可以看出，跨数据的距离和数据群集，这取决于空间x或z被认为会发生变化。这反映了特征之间的矛盾，它们的几何代表性和可比性。找到一种机制来汇总无与伦比的变量和它们的距离的问题是分类的主要问题和集群。通过使EA选择的旋转和缩放参数，数据是对齐的适当的分类和聚类。一个神经网络用于分类，其中一个EA提供了相应的改造。EA-NN这样一个有利的组合显示在图9.5，其中NN使用的功能进行分类的转化子集EA。这里，SIS的一组变换功能，即，S=ψ（P），其中ψ（·）是一个变换功能和集合的所有功能。FIS的合适的措施EA。维尔马和Zhang（2007）转化的所有特征值是正的，然后归这些值[0,1]之前的数字乳房X线照片分类为乳腺癌的范围。Ramasubramanian和Kannan，数据（2006年）改造字母属性设置为适当的数值，然后归一化的数值的范围[0.05,0.95]在他们的应用程序。图9.5为NNEA-基于特征变换很多时候设置用于训练神经网络的功能包含多余的，无用的，不相关的数据，这导致计算的成本高于无改善的性能神经网络，并能有时甚至降低性能。这样的一个实际例