025070神经网络的动力学行为研究与发展趋势

69第4卷第3期2008年3月神经网络的动力学行为研究与发展趋势吕建成章毅电子科技大学关键词：神经网络动力学引言人类大脑神经系统是由大约100亿到1000亿个神经元相互连接所构成的一个非常复杂和庞大的系统。神经系统的动力学行为表征了人的认知活动，即感知、学习、联想、记忆、识别和推理等智能行为。因此，对神经系统动力学行为的深入研究有助于理解智能行为的产生机制。人工神经网络是生物神经网络的数学模型，是对生物神经网络的抽象。开展对人工神经网络的动力学行为的研究，一方面可以进一步认识和理解生物神经网络的内在机理，另一方面也可以利用人工神经网络来开发智能应用系统。例如，在联想记忆、优化计算和模式识别等许多领域中，神经网络的动力学行为都直接影响其应用。因此，只有真正理解了神经网络的动力学行为，才可能构建真正的智能应用系统。人工神经网络是一个复杂的非线性动力学系统。其动力学行为特征是稳定性、振荡和混沌等。在目前的研究中，主要采用动力学系统理论、非线性规划理论和统计理论来分析神经网络的动力学行为属性。稳定性、振荡和混沌并不是三个独立的现象，通常认为它们是相互联系的。稳定性分析是人工神经网络动力学行为中一个十分重要的方面。从早期霍普菲尔德（Hopfield）提出著名的霍普菲尔德模型开始，科学家们就已经用到人工神经网络的稳定性性质，并且提出了许多有意义的方法。人工神经网络稳定性分析的研究一般可以分为两个方面：一个是单稳定性(Monostability)研究，另一个是多稳定性(Multistability)研究[1]。近些年，人工神经网络的单稳定性研究已取得许多成果。其应用主要集中在某些优化计算问题方面。而多稳定性尽管在联系记忆、信号处理、信号检测和数据挖掘等领域中有较好的应用，但是对其研究还不多。振荡是生物神经网络中的一种普遍存在的现象[2]。神经元的振荡现象与神经网络的输入选择、神经连接的可塑性、时间的表达、长时记忆以及神经元集成等都有联系[3]。目前，在生物神经网络上，对神经元振荡的研究已成为一个热点，涌现了很多研究成果。许多科研人员也对人工神经网络模型的振荡现象进行了研究。目前，具有振荡现象的人工神经网模型已经应用在工业控制和智能选择输入等领域[4][5]。混沌也是神经网络动力学的一个研究方面。混沌理论和方法被用于研究神经网络中的混沌现象。曾经有大批的科学工作对人工神经网络模型的混沌现象进行研究。目前，混沌的人工神经网络模型主要应用在混沌控制和保密专题报道70第4卷第3期2008年3月通信等领域[6][7]。人工神经网络的动力学行为研究人工神经网络模型通常是非线性系统并且存在多个自由参数相互影响。这使得对该模型的动力学研究变得非常复杂。下面将从三个方面介绍目前对神经网络模型的动力学研究情况，并重点介绍其稳定性研究。稳定性研究人工神经网络的稳定性分析在单稳定性和多稳定性[1]这两个方面的研究都取得了进展。人工神经网络的单稳定性研究主要是在网络具有一个平衡态的情况下，研究网络轨线的收敛情况。到目前为止，人工神经网络的单稳定性主要应用在解决某些优化计算问题。当求解的优化问题具有唯一解时，其单稳定性性质非常有用且十分理想。近些年，在人工神经网络理论研究方面的文章中，人工神经网络单稳定性方面的论文非常多。科学工作者们对各种人工神经网络模型的单稳定性研究取得了许多成果。主要原因，一个是实际应用背景的驱使，另一个是单稳定性的研究可以利用非线性动力系统中比较成熟的著名的莱普诺夫（Lyapunov）方法。目前，无论是国外还是国内，关于人工神经网络模型单稳定性的研究方面的文章，都在某种程度上利用了莱普诺夫方法。科学工作者们将莱普诺夫方法在人工神经网络的单稳定性分析中做了很好地发挥。不过，从事单稳定性研究的人员主要集中在国内。单稳定的人工神经网络在计算能力上是有限的，因此，它除了应用在某些优化问题中外，其他方面的应用还很少见到。即使在优化计算问题中，当优化问题具有多个解时，单稳定的人工神经网络也是无能为力的。在生物神经网络中，单稳定是一种十分特殊的动力学行为。单稳定的人工神经网络不能处理类似决策(DecisionMaking)等重要的神经计算问题[8,9]。而多稳定神经网络被认为具有更为强大的计算能力，能够处理许多类似于决策等重要的神经计算问题。最近，人工神经网络的多稳定性分析(MultistabilityAnalysis)在国际上受到很多科学工作者的重视。他们在一些重要的国际学术刊物上发表了许多这方面的重要成果[1,8-13]。多稳定的人工神经网络在联想记忆、模式识别、组合优化、信号处理、信号检测和数据挖掘中的聚类和分类等问题中都有重要应用。另外，多稳定的人工神经网络更接近生物神经网络。其研究更能进一步揭示生物神经网络的内在本质。早期在国际上，霍普菲尔德教授便利用人工神经网络的多稳定性质来解决组合优化问题和联想记忆问题。近期，美国麻省理工学院脑与认知科学系Seung实验室的科学家们在神经网络的多稳定性研究中做出了杰出的工作。承（Seung）教授研究了回复式人工神经网络的多稳定性分析中的连续吸引子问题，并将取得的成果用于解释眼球控制问题[8][9]。研究表明，在生物主神经网络中神经网络的多稳定性机制能够控制眼球的位置。由于神经网络的平衡态位于连续的吸引子上，神经网络能够通过模拟神经编码存储眼球位置。承教授深入研究了线性神经网络中存在连续吸引子的现象，并提出了两个重要问题[9]：（1）非线性神经网络中是否存在连续吸引子？（2）连续吸引子是否可以通过神经网络非线性来达到鲁棒性？在文献[1，12，13]中，章毅教授证明了在一些非线性神经网络中存在连续吸引子，这些连续吸引子可以以连续线段的形式存在。回复式人工神经网络中存在连续吸引子现象是一个十分有趣的课题，这方面有许多问题值得进一步研究。除研究连续吸引子外，Seung实验室还提出了多稳定性分析的容许集和禁止集等重要概念[13][14]。通过边界抑制，研究了回复式人工神经网络中群神经元选择问题，成功推广了在71第4卷第3期2008年3月工程上十分有用的著名的Winner-Take-All1方法。他们不仅研究了具有模拟与数字状态的回复式人工神经网络中的吸引子问题[13][14]，而且还制造出具有多稳定性的神经网络芯片[11]。但是这方面的研究才刚刚开始，有待进一步深入研究。近年来，科学家们相继提出了许多具有重要意义的人工神经网络模型，这些模型大多涉及到多稳定性分析。最近，萨利纳斯（Salinas）教授在文献[15]中提出了与背景相关的回复式神经网络模型，该模型可以很好地解释背景对于神经元活动的影响。典型的例子是：当一个驾驶员行驶到十字路口时，如果遇到红灯，他会立刻踩刹车，但是，同样的红灯如果在电影院见到，其反映则是完全不同的。显然，神经元的活动受到背景的影响。萨利纳斯教授利用数值模拟，并结合分析，揭示了这一模型的一些多稳定性性质。萨利纳斯教授提出的回复式神经网络模型是非常有意义的，对其多稳定性的深入研究必能进一步揭示神经网络的一些重要性质。众所周知，传统的人工神经网络完全稳定性问题是一个典型的多稳定性问题，完全稳定性虽然是一个老问题，但是，其收敛性质的准确刻画还十分困难。目前，关于完全稳定性方面的成果主要集中在具有对称性质的回复式人工神经网络，对于具有非对称特性的回复式人工神经网络的完全稳定性的研究结果还非常少，还有大量的工作需要人们去完成。在生物神经网络中，神经元具有脉冲发放(Spiking)特性是一个基本的事实[2]。大多数的人工神经网络模型是基于神经元的脉冲平均发放的，这样，不少问题可以在一定程度上得到简化。但是，神经元活动通常是独立脉冲发放的，具有脉冲发放的人工神经网络模型应该更接近生物神经网络。有关这类人工神经网络的研究是复杂和困难的，其中对脉冲人工神经网络的多稳定性分析将十分重要。振荡现象的研究类似于桥梁的共振现象，神经网络的振荡现象被认为是大脑本质活动的一部分[3]。生物神经网络振荡的研究已经有了很多的成果[15]。一些科学工作者也对人工神经网络模型的振荡现象进行了研究。在文献[16]中，艾琳（Ilin）、科兹玛（Kozma）以及弗里曼（Freeman）等教授研究了K2模型的极限环振荡，获得了振荡的条件。在文献[17]中，吉利（M.Gilli）等研究了细胞神经网络的同步振荡。在文献[2，18]中，科学家正在研究脉冲耦合神经元的振荡现象。目前，振荡现象的神经网络模型可应用于工业控制如电力系统中[4]，也可用于智能输入选择[5]等其他领域。混沌现象的研究在生物神经网络中，混沌是一种非常复杂的现象。早期，格瓦拉（Guevara）等认为失眠、癫痫病等疾病可能与神经系统的混沌有关[19]。后来，斯卡达（Skarda）、弗里曼等认为“混沌构成神经活动集合（包括所有的感知过程和功能）的基本形式，是一种噪音源控制，是确保持续获得以前学到的感官模式的一种方法，并且是学习新的感官模式的手段。”[20]。因此，混沌现象是生物神经网络中必不可少的部分。目前，对于人工神经网络模型中混沌现象的研究，主要采用已有的混沌理论，来证明混沌的存在和获取产生混沌的条件。对于人工神经网络模型中混沌现象的研究，一方面用于避免在应用中混沌现象的出现；另一方面可以充分利用人工神经网络中的混沌现象。例如利用混沌能改进神经网络的性能[21]，加入混沌的霍普菲尔德网络可用于求解1赢者通吃专题报道72第4卷第3期2008年3月二次优化[22]、混沌控制[6]和混沌加密[7]等问题。研究趋势人工神经网络是特殊的非线性动力学系统，许多数学上已有的结果并不能直接应用。有些人工神经网络中的问题甚至还对数学提出了新的挑战，这也是人工神经网络研究困难而有趣的一个方面。人工神经网络的动力学研究绝不是单纯的数学问题，需要紧密结合其生物学背景和工程实际应用来进行。目前，人工神经网络的动力学研究表现出如下几个趋势：1.多稳定性的研究将是人工神经网络动力学研究的一个重点。尽管人工神经网络的单稳定性已经有了一些应用，但人工神经网络多稳定性的应用前景更加广阔，包括了诸如数据挖掘、联系记忆和图像处理等领域。尽管人工神经网络的多稳定性研究十分困难，但其良好的应用前景以及生物学特性将会吸引更多的科学工作者。2.研究更接近生物神经网络的特性。人工神经网络模型是生物神经网络的模拟与抽象，完全脱离生物神经网络来研究人工神经网络将失去研究的基础与目标。尽管我们对生物神经网络的认识还比较初级，但目前已经获得了不少的成果。生物神经网络研究的发展将对人工神经网络的发展有一定的促进作用：一方面，可以根据生物神经网络的成果来改进现有的人工神经网络模型或者提出新的模型；另一方面，生物神经网络所表现出来的一些新特性可以启发科学工作者研究人工神经网络模型中的对应特性。3.人工神经网络动力学行为的智能应用研究将是一个热点。人工神经网络的一个研究目的就是要开发智能系统，把人工神经网络的智能行为应用到实际的系统中。这包含两方面内容：一个是开发智能的软件系统，如基于人工神经网络的数据挖掘系统、图像处理系统和诊断系统等；另一个是硬件的实现，如神经网络芯片的开发和智能机器人等。对人工神经网络动力学的研究是一项艰巨的任务。该研究不仅需要坚实的数学基础，还需要扎实的计算机知识和一定的生物学背景。其复杂性和艰巨性往往易使部分科学工作者失去对此研究的信心。但是，人工神经网络的动力学研究不仅能够探索大脑的神经网络机理，而且有利于拓展神经网络模型的应用和开发智能系统。因此，在人工神经网络的动力学行为研究领域做出贡献成为许多科学工作者追求的目标。■吕建成现为新加坡国立大学博士后研究员。在电子科技大学计算机科学与工程学院获得博士学位。主要研究方向：机器学习、神经网络和数据挖掘。章毅中国计算机学会高级会员。电子科技大学计算机科学与工程学院教授，博士生导师。主要研究方向为神经网络、机器学习、数据挖掘和数据融合。73第4卷第3期2008年3月参考文献[1]Z.Yi,andK.K.Tan.Convergenceanalysisofre