李亚非老师的神经网络教程

生物神经元之间的相互连接从而让信息传递的部位披称为突触(Synapse)。突触按其传递信息的不同机制，可分为化学突触和电突触、其中化学突触占大多数，其神经冲动传递借助于化学递质的作用。生物神经元的结构大致描述如下图所示。神经元由细胞体和延伸部分组成。延伸部分按功能分有两类，一种称为树突，占延伸部分的大多数，用来接受来自其他神经元的信息；另一种用来传递和输出信息，称为轴突。神经元对信息的接受和传递都是通过突触来进行的。单个神经元可以从别的细胞接受多达上千个的突触输入。这些输入可达到神经元的树突、胞体和轴突等不同部位，但其分布各不相同．对神经元的影响也不同。人类大脑皮质的全部表面积约有20×104mm2，平均厚度约2．5mm，皮质的体积则约为50×104mm3。如果皮质中突触的平均密度是6×l09／mm3左右，则可认为皮质中的全部突触数为3×1015个。如果再按上述人脑所含的全部神经元数目计算，则每个神经元平均的突触数目可能就有1．5—3．0万个左右。神经元之间的联系主要依赖其突触的联接作用。这种突触的联接是可塑的，也就是说突触特性的变化是受到外界信息的影响或自身生长过程的影响。生理学的研究归纳有以下几个方面的变化：(1)突触传递效率的变化。首先是突触的膨胀以及由此产生的突触后膜表面积扩大，从而突触所释放出的传递物质增多，使得突触的传递效率提高。其次是突触传递物质质量的变化，包括比例成分的变化所引起传递效率的变化。(2)突触接触间隙的变化。在突触表面有许多形状各异的小凸芽，调节其形状变化可以改变接触间隙，并影响传递效率。(3)突触的发芽。当某些神经纤维被破坏后，可能又会长出新芽，并重新产生附着于神经元上的突触．形成新的回路。由于新的回路的形成，使得结合模式发生变化，也会引起传递效率的变化。(4)突触数目的增减。由于种种复杂环境条件的刺激等原因，或者由于动物本身的生长或衰老，神经系统的突触数目会发生变化，并影响神经元之间的传递效率。神经元对信息的接受和传递都是通过突触来进行的。单个神经元可以从别的细胞接受多个输入。由于输入分布于不同的部位，对神经元影响的比例(权重)是不相同的。另外，各突触输入抵达神经元的先后时间也不一祥。因此，一个神经元接受的信息，在时间和空间上常呈现出一种复杂多变的形式，需要神经元对它们进行积累和整合加工，从而决定其输出的时机和强度。正是神经元这种整合作用，才使得亿万个神经元在神经系统中有条不紊、夜以继日地处理各种复杂的信息，执行着生物中枢神经系统的各种信息处理功能。多个神经元以突触联接形成了一个神经网络。研究表明，生物神经网络的功能决不是单个神经元生理和信息处理功能的简单叠加，而是一个有层次的、多单元的动态信息处理系统。它们有其独特的运行方式和控制机制，以接受生物内外环境的输入信息，加以综合分折处理，然后调节控制机体对环境作出适当的反应。以上是从宏观上分析了人脑信息处理特点。从信息系统研究的观点出发，对于人脑这个智能信息处理系统，有如下一些固有特征：(1)并行分布处理的工作模式。实际上大脑中单个神经元的信息处理速度是很慢的，每次约1毫秒(ms)，比通常的电子门电路要慢几个数量级。每个神经元的处理功能也很有限，估计不会比计算机的一条指令更复杂。但是人脑对某一复杂过程的处理和反应却很快，一般只需几百毫秒。例如要判定人眼看到的两个图形是否一样，实际上约需400ms，而在这个处理过程中，与脑神经系统的一些主要功能，如视觉、记亿、推理等有关。按照上述神经元的处理速度，如果采用串行工作模式，就必须在几百个串行步内完成，这实际上是不可能办到的。因此只能把它看成是一个由众多神经元所组成的超高密度的并行处理系统。例如在一张照片寻找一个熟人的面孔，对人脑而言，几秒钟便可完成，但如用计算机来处理，以现有的技术，是不可能在短时间内完成的。由此可见，大脑信息处理的并行速度已达到了极高的程度。(2)神经系统的可塑性和自组织性。神经系统的可塑性和自组织性与人脑的生长发育过程有关。例如，人的幼年时期约在9岁左右，学习语言的能力十分强，说明在幼年时期，大脑的可塑性和柔软性特别良好。从生理学的角度看，它体现在突触的可塑性和联接状态的变化，同时还表现在神经系统的自组织特性上。例如在某一外界信息反复刺激下．接受该信息的神经细胞之间的突触结合强度会增强。这种可塑性反映出大脑功能既有先天的制约因素，也有可能通过后天的训练和学习而得到加强。神经网络的学习机制就是基于这种可塑性现象，并通过修正突触的结合强度来实现的。(3)信息处理与信息存贮合二为一。大脑中的信息处理与信息存贮是有机结合在一起的，而不像现行计算机那样．存贮地址和存贮内容是彼此分开的。由于大脑神经元兼有信息处理和存贮功能，所以在进行回亿时，不但不存在先找存贮地址而后再调出所存内容的问题，而且还可以由一部分内容恢复全部内容。(4)信息处理的系统性大脑是一个复杂的大规模信息处理系统，单个的元件“神经元”不能体现全体宏观系统的功能。实际上，可以将大脑的各个部位看成是一个大系统中的许多子系统。各个子系统之间具有很强的相互联系，一些子系统可以调节另一些子系统的行为。例如，视觉系统和运动系统就存在很强的系统联系，可以相互协调各种信息处理功能。(5)能接受和处理模糊的、模拟的、随机的信息。(6)求满意解而不是精确解。人类处理日常行为时，往往都不是一定要按最优或最精确的方式去求解，而是以能解决问题为原则，即求得满意解就行了。(7)系统的恰当退化和冗余备份(鲁棒性和容错性)。人工神经网络研究与应用的主要内容人工种经网络的研究方兴末艾，很难准确地预测其发展方向。但就目前来看，人工神经网络的研究首先须解决全局稳定性、结构稳定性、可编程性等问题。现今的研究工作应包含以下的一些基本内容：(1)人工神经网络模型的研究。神经网络原型研究，即大脑神经网络的生理结构、思维机制。神经元的生物特性如时空特性、不应期、电化学性质等的人工模拟易于实现的神经网络计算模型。利用物理学的方法进行单元间相互作用理论的研究如：联想记忆模型。神经网络的学习算法与学习系统。(2)神经网络基本理论研究。神经网络的非线性特性，包括自组织、自适应等作用。神经网络的基本性能，包括稳定性、收敛性、容错性、鲁棒性、动力学复杂性。神经网络的计算能力与信息存贮容量。开展认知科学的研究。探索包括感知、思考、记忆和语言等的脑信息处理模型。采用诸如连接机制等方法，将认知信息处理过程模型化，并通过建立神经计算学来代替算法沦。(3)神经网络智能信息处理系统的应用。认知与人工智能．包括模式识别、计算机视觉与听觉、特征提取、语音识别语言翻译、联想记忆、逻辑推理、知识工程、专家系统、故障诊断、智能机器人等。优化与控制，包括优化求解、决策与管理、系统辨识、鲁棒性控制、自适应控制、并行控制、分布控制、智能控制等。信号处理；自适应信号处理(自适应滤波、时间序列预测、谱估计、消噪、检测、阵列处理)和非线性信号处理(非线性滤波、非线性预测、非线性谱估计、非线性编码、中值处理)。传感器信息处理：模式预处理变换、信息集成、多传感器数据融合。(4)神经网络的软件模拟和硬件实现。在通用计算机、专用计算机或者并行计算机上进行软件模拟，或由专用数字信号处理芯片构成神经网络仿真器。由模拟集成电路、数字集成电路或者光器件在硬件上实现神经芯片。软件模拟的优点是网络的规模可以较大，适合于用来验证新的模型和复杂的网络特性。硬件实现的优点是处理速度快，但由于受器件物理因素的限制，根据目前的工艺条件，网络规模不可能做得太大。仅几千个神经元。但代表了未来的发展方向，因此特别受到人们的重视。(5)神经网络计算机的实现。计算机仿真系统。专用神经网络并行计算机系统。数字、模拟、数—模混合、光电互连等。光学实现。生物实现。关于智能本质的研究是自然科学和哲学的重大课题之一，对于智能的模拟和机器再现肯定可以开发拓展出一代新兴产业。由于智能本质的复杂性，现代智能研究已超越传统的学科界限，成为脑生理学、神经科学、心理学、认知科学、信息科学、计算机科学、微电子学，乃至数理科学共同关心的“焦点”学科。人工神经网络的重大研究进展有可能使包括信息科学在内的其他学科产生重大突破和变革。展望人工神经网络的成功应用，人类智能有可能产生一次新的飞跃。人工神经网络的信息处理能力人工神经网络的信息处理能力人工神经网络的信息处理能力包括两方面的内容：一、神经网络信息存贮能力．即要解决这样的一个问题：在一个有N个神经元的神经网络中，可存贮多少值的信息?二、神经网络的计算能力。需要解决的问题是：神经网络能够有效地计算哪些问题?在众多的文献中，人们都一致认为：存贮能力和计算能力是现代计算机科学中的两个基本问题，同样，它们也构成了人工神经网络研究中的基本问题。前面提到在传统的冯．诺依曼型计算机中，其计算与存贮是完全独立的两个部分。这两个独立部分——存贮器与运算器之间的通道，就成为提高计算机计算能力的瓶颈，并且只要这两个部分是独立存在的，这个问题就始终存在。对不同的计算机而言，只是这一问题的严重程度不同而已。神经网络模型从本质上解决了传统计算机的这个问题。它将信息的存贮与信息的处理完善地结合在一起。这是因为神经网络的运行是从输入到输出的值传递过程，在信息传递的同时也就完成了信息的存贮与计算。(1)神经网络的存贮能力。神经网络的存贮能力因不同的网络而不相同。这里我们给出Hopfield的一些结论。定义：一个存贮器的信息表达能力定义为其可分辨的信息类型的对数值。在一个M×1的随机存贮器RAM中，有M位地址，一位数据，它可存贮2M位信息这个RAM中，可以读／写长度为2M的信息串，而M长度为2M的信息串有22种，所以，可以分辨上述这么多种信息串。按上面的定义，M×1的RAM的存贮能力为：C＝2M(位)。[定理1.1]N个神经元的神经网络的信息表达能力上限为：C＜(位)。NNN)2(log2)1(2[定理1．2]N个神经元的神经网络的信息表达能力下限为：C(位)。其中[N／2]指小于或等于N／2的最大整数。[定理1．3]神经网络可以存贮2N-1个信息，也可以区分2N-1个不同的网络。]2/[)]2/[33.0(2)2(log2NN神经网络的计算能力●数学的近似映射；识别和分类这些计算都可以抽象成一种近似的数学映射。如误差反播模型(BP)、对向传播网络模型(CPN)、小脑模型(CMAC)等都可以完成这种计算。●概率密度函数的估计：通过自组织的方式，开发寻找出一组等概率“锚点”，来响应在空间只“中按照一个确定概率密度函数选择到的一组矢量样本。自组织映射模型(SOM)和CPN模型可以完成这样的计算。●从二进制数据基中提取相关的知识：这种计算是形成一种知识的聚类模型，这些知识依照数据基的自组织在它们之间有某种统计上的共性，并依此来响应输入的数据基记录。脑中盒模型(BSB)有能力进行这种计算。●形成拓扑连续及统计意义上的同构映射：它是对固定概率密度函数选择的适应输入数据的一种自组织映射，其最终使得数据空间上的不同项有某种同构。SOM模型适合计算此类问题。●最近相邻模式分类：通过比较大量的存贮数据来进行模式分类，但首先应通过学习样本模式进行分类。可用层次性的存贮模式来进行分类信息的表示。绝大多数的神经网络模型均能进行这种计算。如自适应共振理论模型(ART)、双向联想记亿模型(BAM)、BP模型、玻尔兹曼机模型(BM)、BSB模型、CPN模型、Hopfield模型等等。●数据聚类：采用自组织的方法形成所选择的“颗粒”或模式的聚类，以此来响应输人数据。聚类是可变的．但要限制其鞍点的个数。对于任何新的目标，只要系统中没有对其提供聚类，都要形成新的聚类。很显然这种能力可直接应用于复杂的多目标跟踪。ART模型最适合于这种计算。●最优化问题：用来求解局部甚至是全局最优解。Hopfield模型、玻尔兹曼机模型(BM)有能力进行这种计算。自从80年代中期人工神经网络复苏以来，其发展速度及应用规模令人惊叹。技术发达国家和集团推行了一系列有关的重要研究计划、投资总额在数亿美元，出现了一