第八章模糊神经网络

模糊信息处理——理论与应用1第八章模糊神经网络随着现代信息技术的飞速发展，对机器智能的要求越来越高，迫切需要新的智能信息处理理论和工具，以期在知识表达、模型计算、计算效率和自适应学习等关键问题上有所突破。从模拟人的智能来看，神经网络侧重于对脑内部结构的模拟，而模糊集合理论则突出对人的外在表达方法的描述，两者之间存在着密切的联系。人工神经网络和模糊逻辑在对信息的加工处理过程中，均表现出很强的容错能力，并且都不需要对象的精确数学模型。但是神经网络虽然具有很强的数值计算能力，却无法表达人们的主观因素，如“大约”、“不少于”等等；模糊集合理论虽然不适合于数值计算，却具有很强的知识表达能力。把两者结合起来，则同时具有很强的数值计算能力和知识表达能力。模糊神经网络（FNN：FuzzyNeundNetwors）是在神经网络（NN：NeturalNetWorks）和模糊系统（FNN：FuzzuySystems）的基础上发展起来的，它充分考虑了NN和FS之间的互补性，是一个集语言计算、逻辑推理、分布式处理和非线性动力学过程为一身的系统。作为新的智能信息处理方法它具有良好的发展前景，受到广泛关注，已取得的大量研究成果在一定程度上表明：FNN可能会对智能理论产生突破性贡献。由于模糊神经网络是一个内容多、范围大的研究领域，限于篇幅，本章首先简要介绍模糊神经网络的发展状况，然后将讨论重点放在模糊神经网络分类器的设计，以及模糊聚类神经网络的设计与实现等问题上。8.1模糊神经网络的发展状况神经网络的研究可以追溯到二十世纪四十年代，但它真正的研究高潮是从二十世纪八十年代开始的。模糊集理论是1965年由Zadeh首先提出的，它主要是解决实际生活中不确定性信息的处理问题，尽管一直有不少学者努力在从事这方面的研究，但模糊集理论真正被人广泛接受也是在二十世纪八十年代初。当时一方面是因为模糊集理论日益成熟。另一个主要原因是以日本为代表的模糊控制的研究取得了很大的进展，成功地设计和安装了多个模糊控制系统，这些控制系统表现了比传统控制更为优越的性能，使得大批研究人员开始转向模糊技术的研究。现在模糊集理论的应用早已突破控制领域，它在专家系统，模式识别，信息处理等方面都得到了广泛应用。比如在专家系统中，由于模糊集理论的介入使得它在不确定性问题的处理上功能有了很大增强。神经网络和模糊集理论在其研究的初期一直是各自独立发展的，在发展过程中均已经取得了不少成果。但是智能信息处理是一个非常复杂的问题，目前任何一种方法在单独完成智能信息处理问题上和人们的要求相距甚远，在很长一段时间内要靠单一方法彻底解决智能信息处理问题一般不太可能。由于模糊系统和神经网络系统存在很强的互补性，从二十世纪八十年代后期开始就有人从事模糊神经网络集成技术的研究。大量第8章模糊神经网络2工作表明基于模糊神经网络集成技术的智能信息处理在性能上一般比单一采用一种方法要好。当然模糊神经网络集成方法并不排斥其它方法，比如传统人工智能中的许多方法都可以吸收和融入其中。模糊集理论和神经网络技术的结合是一个逐步发展的过程，表现在如下几个方面：(1)在神经网络中融入模糊集合的概念，使得神经网络能够处理一些基本的模糊问题。(2)用神经网络细调模糊规则。在模糊系统建模过程中精度是比较低的，在某些精度要求比较高的场合，用神经网络来提高模糊系统精度是必要的。(3)用神经网络提取模糊规则。知识获取始终是包括基于规则的模糊系统在内的知识系统的一个瓶颈问题，知识获取的方法很多，神经网络是一种重要而有效的知识获取方法。(4)用模糊技术提高神经网络的学习性能。神经网络学习速度慢是一个严重问题，利用适当的启发式知识自适应控制网络学习过程，有可能提高训练速度。由于这些启发式知识往往是根据经验得到的模糊知识，因此用模糊控制技术就非常合适。(5)用神经网络逼近一个模糊系统，这实际上是用神经网络实现一个已知的模糊系统。由于模糊系统采用模糊逻辑而不是传统的二值逻辑处理信息，它在计算上就要付出比较大的代价，在传统串行推理方式不能满足时间上的要求时，用神经网络结构实现并行推理就自然被提了出来。(6)构造模糊神经网络混合系统或者叫协作系统。它也是用神经网络结构实现一个模糊系统，但是系统建模和运行能够用同一网络模型实现。它和上述第五条的昀大区别就是它是有学习能力的，可以说它是集知识的获取，处理与利用为一体的方法。把模糊集合的概念应用于神经网络的学习算法，从而在普通神经网络的集成上发展各种模糊神经网络是昀早被研究的集成技术。它的实质是把神经网络学习算法中涉及普通集合概念和运算的地方全部推广为模糊形式，其中Pal等人(1992)提出的模糊感知器，Carpenter和Grossberg(1992)提出的模糊ART网，Pal和Bezdek等(1993)提出的基于模糊竞争学习算法的模糊聚类网以及Simpson(1992；1993)提出的模糊Min-Max神经网络都很著名的。它们的应用范围主要集中在模式识别领域。这一类型的模糊神经网络不涉及模糊推理，昀多只有一些模糊集合操作，因此相对来说要简单一些。用神经网络细调模糊规则是一种常用方法(GurocakandLazaro1994;Tagaki1991)。规则的细调主要包括两个方面的内容，第一是细调规则中模糊集的隶属度函数；第二是细调各条模糊规则的重要度。这只在一些复杂系统中存在，大多数系统中各条模糊规则的重要性假设为是一样的。Jou(1992)提出的模糊系统的二步学习法，实际上就是先从专家中直接获取知识或者通过试探法找到模糊规则或者用机器学习和遗传算法等自动产生模糊规则，然后用神经网络细调模糊系统。Kosko(1992)用神经网络把固定输入空间划分的模糊控制系统转化为自适应划分的模糊系统，使得控制性能得到了提高。Horikawa(1992)提出了用基于反向传播学习算法的多层前向网调整模糊规则。上述方法都是调整模糊隶属度函数的。Balanco(1995)等人用神经网络调整规则的权重也获得了成功。另外著名的日本地铁列车的自动驾驶模糊系统的设计也模糊信息处理——理论与应用3广泛采用了神经网络技术。用神经网络细调模糊规则要涉及基于规则的模糊系统和神经网络之间的转换问题，它为研究用神经网络逼近一个模糊系统和构造模糊神经网络混合系统提供了很好的经验。用神经网络作为知识获取的工具，Sestito和Dillon(1994)对此做了系统的分析。他们采用的方法主要是构造一些特殊结构的多层前向网络，然后用样本数据对网络进行训练，训练后的网络可以直接转换为模糊规则。Abe和Lan(1995)用一般的多层感知器获得模糊规则，但是这种方法实用性不是很好。Fu(1994)提出了一种KT方法使得神经网络的训练结果可用规则解释，这种方法很复杂，但是可以提取复杂的规则，遗憾的是这种方法提取的不是模糊规则，而是非模糊的规则。从目前情况看用神经网络提取规则的效果和其他自动知识获取方法相比优势不明显。用模糊控制技术动态调整神经网络学习过程。Xu(1992)等人用模糊控制技术根据当前训练误差和误差的导数决定反相传播学习算法的训练步长和Sigmoid激励函数的控制参数。而Choi(1992)采用的是误差形状作为模糊控制的输入以调节学习算法中的参数，这种方法应用范围比较广，可以用于BP网，ART网和Kohonen自组织网的训练，只要对误差的定义以及控制量做适当改变就可以了。这种技术的关键是对神经网络的训练过程有比较深入的了解，才能得到合适的启发性知识作为模糊规则对学习过程进行有效控制。用神经网络逼近一个模糊系统无论在理论上还是实践上都是重要的。昀简单但也是昀不经济的方法是从模糊系统中得到足够多的样本，然后用神经网络对这些样本进行学习。只要样本足够多，学习精度足够高，神经网络总能逼近这个模糊系统，当然这种方法代价很高。一般是通过直接构造法建立和模糊系统等价的神经网络，Keller和Yager(1992)是较早从事这方面研究的。他们提出了一种很直观和典型的构造方法，它把和模糊系统有关的规则库，模糊逻辑推理方式以及模糊化和去模糊的知识直接转换成网络的权值和节点的激励函数。针对不同类型的模糊系统有着不同的网络结构，每条规则构成一个子网络，再用模块组合的方法构成一个完整的系统。另外以Buckley为代表的研究人员研究了输入输出均为模糊集的模糊系统的神经网络逼近问题，也就是说这些模糊系统没有模糊化和去模糊过程，通过模糊关系矩阵，神经网络还是可以构造出来的。上面介绍的这些构造方法昀大的问题是没有充分考虑网络并行处理的效率和硬件实现的可能性。因为在这些网络中节点的激励函数实际上是一种模糊集合操作或者是一个推理公式，比普通神经网络中的激励函数要复杂，而且各节点的激励函数差别较大，以至神经网络的优势难以发挥，为了克服这些问题，一方面要选择合适的模糊系统类型，另一方面要创造一些新的推理机制，比如RonSun(1991)提出了模糊证据推理，就能够提高网络并行工作效率和硬件实现的可能性。另外，Ishibuchi(1993；1993b；1994b)等人提出了用神经网络学习模糊训练样本和直接学习模糊规则的方法，它的神经网络结构和普通神经网络差别不大，提供了另一种有效的逼近手段。第8章模糊神经网络4模糊神经网络混合系统的昀大特点是具有学习能力，且网络结构和参数有明确的物理解释。它的一部分工作是从构造模糊神经元(Fuzzyneuron)开始的，Yager(1998；1992)构造了具有按加序权平均的神经元，Hsu(1992)构造了由模糊感知器构成的神经元，这些神经元可以通过内部参数的改变完成一些模糊逻辑运算，它们构成的网络可以由一定的学习算法进行学习，另一些工作是选择那些不涉及集合运算的模糊化，模糊推理和去模糊方法，这样网络节点激励函数就可以是一些常用的连续函数。普通神经网络中的方法可以直接用于这类混合系统在这方面Lin，Jang等人做了许多工作(Jang1993；LinCT1991；LinCT1994)。Lin在经验知识很少的情况下采用神经网络中的生长法和剪枝法建立了一个具有很强功能的五层网络结构，它集知识表达，获取和处理于一身，但问题是训练时间很长，网络生长和剪枝技术目前并不成熟，而且对得到的网络进行明确解释也存在一些问题。当然这方面的工作还有不少。综上，NN和FS的结合主要体现在5个方面：①把模糊集合的概念应用于NN的计算和学习，从而在普通NN的基础上发展各种FNN，典型的有模糊感知器、模糊ART和模糊聚类网等；②利用NN的学习能力提取模糊规则或调整模糊规则参数；③用模糊技术提高NN的学习性能；④用NN实现一个已知的FS，以完成并行模糊推理；⑤构造完整意义上的FNN模型和算法。广义地讲，①④⑤都属于FNN的范畴，其中对①④的研究相对较早，也较成熟。近年来，有关FNN的重要研究主要集中在第⑤方面，产生了许多理论和应用成果，同时也对FNN的研究提出了挑战。下面主要概述完整意义上的FNN的网络模型、学习算法、模糊函数逼近性能和学习能力等关键问题。一、FNN模型和算法目前FNN模型绝大多数都是多层前向网络结构，这与模糊推理的单向性质有关。各种FNN的区别主要在于隶属度函数、模糊加权算子、模糊激励函数和输人输出的形式，以及结构与参数的设定和调整方法。（1）FNN的一般分类法目前学术界普遍采用的是Buckley和Hayashi提出的分类法，他们以输入、输出和连接权是否模糊以及网络计算中模糊算子的定义为基础，对NN和FNN进行了统一分类和定义。·RegularNN：这是普通的神经网络，和模糊概念没有任何关系；·HybridNN：用t－norm或t－conorm算子代替一般的权相加的神经网络。上面两种模型的输入输出和连接权都是实数，即它们不能处理模糊信息。·FuzzyNN：输入输出和连接权全部或部分采用模糊实数，计算节点输出的权相加采用模糊算术中的加⊕和乘⊗，函数计算采用扩展原理；·FuzzyHybridNN：输人输出和连接权全部或部分采用模糊实数，计算节点输出的权相加还模糊信息处理——理论与应用5采