模糊神经网络

模糊神经网络目录•模糊神经网络的发展历史•模糊理论的基础知识•模糊逻辑系统•模糊神经网络•基于模糊ＢP神经网络的图像分割•1965年,美国加州大学的控制论专家ZadehLA率先提出了模糊集合的概念。它抓住了人类思维的模糊性特点,以模糊推理来处理常规方法难以解决的问题,能够对复杂事物进行模糊识别和模糊度量。•模糊神经网络的发展是一个漫长的过程，最近二十年来，是模糊神经网络发展的金期。1990年，Takagi有了关于模糊理论和神经网络结合的问题上综述性的讨论。•1993年，Jang提出了基于网络结构的模糊推理的概念，给出了一种网络模型，作为模糊神经网络的雏形，为后来者在模糊神经网络的研究提供了一个方向。•自此，各式各样的模糊神经网络的结构和学习算法如雨后春笋般被设计出。•模糊神经网络的发展历史模糊集合的定义•模糊理论的基础知识•对于一个经典集合A，空间中任一元素x，要么，要么，二者必居其一，这一特征可用一个函数表示：xAxA经典集合的定义：即为集合A的特征函数，将特征函数推广到Fuzzy集，在经典集合中只有取0，1两值推广到Fuzzy集中为区间[0,1]。Ax模糊集合定义：•设是论域X到区间[0,1]的一个映射，即称是X上的Fuzzy集，称为Fuzzy集的隶属函数(membershipfunction)(或称x对Fuzzy集的隶属度(degreeofmembership))。AA()AxAA模糊集合的基本运算•模糊理论的基础知识•模糊集合有很多类运算，但常用的运算不外是集合的交、并和补等运算。通过隶属函数来定义模糊集合，当然也可以通过隶属函数来定义运算。用取大()和取小()运算定义Fuzzy集之间的运算，它们在模糊数学中常被称为Zadeh算子。在无限集合中、分别表示inf和sup，在有限元素之间则表示min和max。•定义：设A，B为U中两个模糊集合，隶属函数分别为μA和μB，分别称模糊集，为A与B的交集和并集，而称模糊集为A的补集.其隶属函数被，和对所有分别被逐点定义为：ABABAABABAU•模糊理论的基础知识常见隶属度函数•模糊隶属度函数在模糊数学中的地位是非常突出的，在对客观事物进行描述和度量的过程中，通常是用隶属度函数来表示该事物的模糊程度。在构造隶属函的过程中，应该充分考虑主观因素和客观因素，使隶属函数能全面反映事物的本质。•经常使用的模糊隶属函数主要有三类，分别为三角函数、梯形函数和高斯函数。•模糊逻辑系统模糊逻辑与模糊推理•用语言来描述一件事或者一个东西，句子就是语言的表现形式，命题则是判断这个句子的真或假，一般用1表示真，0表示假，称之为命题的真值。不是所有的句子都能简单的判断是真或假，当命题只能通过真或假的程度描述某个句子的结论时，则称这个命题为模糊命题。它的逻辑是多值的，是连续的，模糊的。•如果论域是由一组模糊命题组成，那么其中模糊集合F则可以由这些命题的真假程度构成，命题的真值对应的就是这个集合的隶属度函数，取值范围为[0,1]，模糊逻辑的运算方法对应模糊集合的运算方法。以下为模糊逻辑运算：•模糊逻辑系统模糊逻辑与模糊推理•模糊推理最早由Zadeh教授提出，是以模糊性为基础、以模糊逻辑为工具的不精确推理，是模拟人的推理的一种近似性推理。•广义前向推理法(GeneralizeModusPonens，简称GMP)是模糊推理中最重要的推理规则，其定义如下:前提1：ifxisA，thenyisB前提2：ifxisA’结论：thenyisB’其中A和A’，B和B’分别是论域U与论域V上相关的一对模糊集合，其中的算子“”表示模糊关系的合成运算。•模糊推理的合成规则（这种规则是基于模糊关系合成运算，简称CRI，较GMP更准确），其规则如下：前提1：ifxisA，thenyisB前提2：ifxisA’结论：thenyisBAAB推理过程：假设地区为x，论域为U=(0,3)A表示模糊集合“发达”：A’表示模糊集合“很发达”：房价为y，论域为V=(0,300)B表示模糊集合“高”：B’表示模糊集合“很高”：前提1：从x属于A的程度推出y属于B的程度，即地区“发达”的程度推出对应的房价“高”的程度：前提2：已知地区“很发达”的程度：结论：推出房价“很高”的程度：()Ax()By(,)ABxy()Ax()By()Ax()By•模糊逻辑系统•模糊逻辑系统组成部分有模糊产生器、模糊规则库、模糊推理机、反模糊化器。模糊逻辑系统论域U做为模糊产生器的输入，U上的模糊集合为输出，和论域U是一一对应的。模糊规则库的存在为模糊推理机提供各种模糊推理知识，模糊推理机根据这些知识，把模糊产生器的输出做为输入，推理出结论，这个结论就是V上的模糊集合，它通过反模糊化器反模糊化，得到确定点的集合，这个集合是论域V。•模糊逻辑系统Takagi-Sugeno(TS)模糊逻辑系统•Takagi-Sugeno(TS)模糊逻辑系统是Takagi和Sugeno于1985年提出，它是复杂非线性系统模糊建模中的一种典型的模糊动态模型，它是现阶段应用最为广泛的模糊逻辑系统。•T-S模糊逻辑系统的主要特点为：其前提部是依据系统输入、输出间是否存在局部线性关系来进行划分；而其结论部分是由多项式线性方程来表达，从而构成各条规则间的线性组合，使非线性系统的全局输出具有良好的线性描述特性。对应的模糊规则为:为模糊子集；是实数，做为输入输出之间关系的表征；也是一个实数，是系统应用模糊规则推理后的输出，，M为规则数，换种说法，这类模糊规则的输入部分是模糊的，输出部分是非模糊的，即输出是各输入变量的线性组合。liFliclylR1,2,,lM•模糊神经网络模糊系统和神经网络的比较•模糊系统的重要特点是能直接表示逻辑、适用于直接的或高级的知识表达,它具有较强的逻辑功能,在模糊系统中,虽然模糊推理是一种善于表现知识的推理方法，但是系统本质上没有获取知识的能力，模糊规则也难以确定，因此模糊系统仍然存在一些不足之处。•人工神经网络能够通过学习和训练获取用数据表达的知识,除了可以记忆已知的信息外,人工神经网络还具有较强的概括能力以及联想记忆能力。人工神经网络理论的应用己渗透到各个领域,但是人工神经网络研究的理论体系还不完善。•随着对模糊系统和神经网络两个领域研究的深入,它们之间相互独立的关系逐渐改变。如果将两者结合,使得两者能够优劣互补，其优势将远远高于单项研究，这种融合导致模糊神经网络的出现。•模糊系统和神经网络虽然在概念、内涵上有着显著不同,其中模糊系统模仿人类大脑的逻辑思维,用来处理模型未知或不精确的控制问题,然而人工神经网络却模仿人脑神经元的功能,可用作一般的函数估计器,它能映射输入输出关系,但是因为模糊系统和神经网络都被用于处理不确定性和不精确性问题,因此二者又有着天然的联系。模糊系统和神经网络的融合•模糊系统与神经网络的融合主要有三种方式，模糊神经网络是模糊系统向人工神经网络的一种融合方式，也被称为狭义的模糊神经网络，它在传统的人工神经网络中增加了模糊成分。模糊神经网络保留了人工神经网络的一些基本性质和结构，只是人工神经网络中某些元件(包括输入、输出、转移函数、权值、学习算法等)的一种“模糊化”。•模糊神经网络主要包括三种：•基于模糊算子的模糊神经网络,主要是指网络输入输出和连接权全部或部分采用模糊实数,计算节点输出的权相加采用模糊算子的模糊神经网络。•模糊化神经网络,是指网络的输入输出及连接权均为模糊集,可以将其视为一种纯模糊系统，模糊集输入通过系统内部的模糊集关系而产生模糊输出。•模糊推理网络是模糊模型的神经网络的一种实现，是一种多层前向网络。模糊推理网络的可调参数一般是非线性的，并且可调参数众多，具有强大的自学习功能，可以用作离线辨识的有效工具。但是模糊推理网络计算量大，只适合离线使用。自适应性较差。•模糊神经网络模糊神经元•模糊神经网络•模糊神经元本质上还是神经元，所以它还是要具备非模神经元的基本功能，但是它最主要的功能是具有模糊性质，要具备处理模糊信息的能力。1、由模糊规则描述的模糊神经元2、输入非模糊、含隶属度加权算子、输出模糊的模糊神经元3、输入模糊、含模糊变换加权算子、输出模糊的模糊神经元模糊神经元•模糊神经网络•模糊神经元本质上还是神经元，所以它还是要具备非模神经元的基本功能，但是它最主要的功能是具有模糊性质，要具备处理模糊信息的能力。•按照功能进行分类，基本神经元主要有三种类型：模糊化神经元、模糊逻辑神经元和去模糊化神经元模糊化神经元一般在模糊神经元组成的网络的前端，它的输入数据是多种的，确定或模糊，连续或离散都可以，输出一般为标准化的值，由系统的模糊变量基本状态隶属度函数确定；在网络的中间，一般为模糊逻辑神经元，它主要完成模糊逻辑函数的实现或模糊整合函数的实现，它是个多输入单输出的神经元；网络的末端通过去模糊化神经元实现输出结果的去模糊化，以“确定值性”的形式表现出来模糊神经网络的结构特征•模糊神经网络的逻辑结构：输入层模糊化层模糊推理层去模糊化层输出层•模糊神经网络•图为输入层有两个节点，输出层有一个节点的网络结构。除输入输出层以外的其他层的节点数和权值都是可以预先设定的，但要依据系统所需要采用的具体结构，隶属度函数和模糊规则的确定则是通过学习算法来完成。模糊系统的节点数和权值、隶属度函数和学习算法选取的不同，又可以改变模糊神经网络的具体结构。虽然他们之间相互影响，但是目的是不会变的，都是为了更好的实现系统功能。模糊神经网络的结构特征•模糊神经网络•模糊理论的应用一般以模糊系统的方式呈现出来，模糊神经网络也可以看作是一个模糊系统。模糊系统模糊神经网络网络的输入、输出节点训练样本网络的隐含层输入信息的模糊化处理和输出信息的反模糊化处理输入、输出信号知识库模糊推理机模糊化接口和反模糊化接口一种结构简单T-S模糊神经网络•模糊神经网络•共有四层，分别为输入层、模糊化层、规则计算层和输出层第一层为输入层。每个节点与输入向量相连，节点数是量的维数。ixix第二层为模糊化层。通过模糊隶属度函数完成对输入的模糊化，得到对应的模糊隶属度。经过对比，采用高斯函数作为T-S模糊神经网络隶属度函数具有更好的平滑性，所以本节采用的隶属度函数为第三层为规则计算层。每个节点代表一条模糊规则，采用属度的连乘作为模糊规则，通过式得到输出w。第四层为输出层。通过式得到对应的模糊神经网络的输出。一种结构简单T-S模糊神经网络•模糊神经网络•两个规则的一阶T-S模糊推理系统•为了实现学习过程，将其转化为一个自适应网络，即自适应模糊神经推理系统。该自适应网络是一个多层前馈网络，其中的方形节点需要进行参数学习。输入向量为，权重和通常由前提中的隶属函数值乘积得来，输出f为各规则输出的加权平均，和为各权重在总权重中的比例。,xy1w2w1w2w一种结构简单T-S模糊神经网络•模糊神经网络•自适应模糊神经推理系统第一层:负责输入信号的模糊化,节点i具有输出函数:1()iiAOx1,2i或21()iiBOx3,4i第二层:这一层的节点负责将输入信号相乘。2iiiiABOwxy1,2i第三层:第i个节点计算第i条规则的归一化可信度:312iiiwO1,2i第四层:第i个节点具有输出:4iiiiiiiOwfwpxqyr1,2i第五层:该层计算总的输出:5121211221212iwwOffwfwf111111222222wxpwyqwrwxpwyqwrT-S模糊神经网络学习算法•模糊神经网络•单纯的模糊系统相比，模糊神经网络系统的优势在于，可以根据由真实系统的输入输出数据对构成的样本集来设计系统，这个过程往往称之为学习过程。模糊神经网络的基本学习方法有三种：基于梯度下降的学习算法、基于递推最小二乘的学习算法，以及聚类法。这里以梯度下降法为例：误差计算：系数修正：参数修正：212dceff