基于模糊神经网络的数据挖掘算法pdf

1用神经网络进行数据挖掘的一种方法信息与计算科学122项磊201211010220摘要:提出一种基于模糊神经网络进行数据挖掘的新方法。构成模糊神经网络的模糊化层采用高斯函数计算5个模糊隶属度,高斯函数需要的均值、方差以及隶属度的中心值都可通过预先计算采集到的数据得到。模糊推理层采用取小取大运算代替常用的积和运算,加快了网络的推理速度。在模糊神经网络训练阶段,首先利用重心法对模糊化层输出进行反模糊化,再采用BP思想,利用梯度法求误差值并进行反传调整隶属度函数的参数值。为提高网络推理精度和速度,通过设立相应的规则对网络进行裁剪,剪掉多余的节点和权值,最后依据一定的思想对产生的模糊规则进行简化和提取。以工业锻造中的智能温度控制系统的控制数据为例进行仿真,结果表明,该网络具有较高的精度和较好的鲁棒性。关键词:数据挖掘;模糊神经网络;网络裁剪;规则提取数据挖掘是指从大量数据中提取出未知的、有价值的模式或规律。现已经应用在工业控制、商业管理、科学研究等领域。数据挖掘的算法有许多种,主要包括:模糊集,粗糙集,神经网络等[1]。现实中巨量数据集中数据关系复杂,非线性程度高,噪声数据普遍存在,使得一些算法的适用受到很大的限制。人工神经网络能够通过训练获得用数据表达的知识[2-3],除了可以记忆已知的知识外,神经网络还具有较强的概括能力和联想记忆能力,不错的容噪能力和分类精度、鲁棒性高的优点使它在解决数据挖掘中的问题时有很大的优势。但它也有一些不足,如“黑箱”性,对于高维或者超大规模问题,它的学习速度缓慢,规则生成比较困难[4]。模糊逻辑(FuzzyLogic)是以ZadehLA创立的模糊集合论为理论基础,针对人类思维中的模糊性特点。利用领域专家的先验知识,进行近似推理。它能对复杂事务进行模糊识别,模糊推理,但缺乏自学习自适应的能力。将模糊逻辑引入人工神经网络实现它们的有机结合,形成模糊神经网络(FuzzyNeuralNetwork,FNN),使系统不仅具有模糊逻辑的不确定信息处理能力,又具有神经网络良好的自学习性。和一般的神经网络相比,它具有更快的学习速度和更小的规模。1模糊神经网络实现1.1模糊神经网络结构模糊神经网络就是用模糊化模块对数据进行处理,然后将获得的知识传递到神经网络中进行网络训→→模糊化神经网络的模糊推理清晰化与反馈修正1.2模糊神经网络构造依照图1构建了一种模糊神经网络。该网络共有8层。第1层为输入层,包括固定值-1输入和样本变量值x的输入;第2层为偏移层,计算x-ωμ;第3层为iij模糊输入层(或者称为高斯函数层)。该层采用高斯函数作为传递函数主要用于实现模糊隶属度函数,计算出5个分属于“差,较差,可,较好,好”语言变量的隶属度;第4层为取小运算层,完成输入值的取小运2算;第5层为取大运算层;第6层为模糊输出层,将P结点的输出和此层的其它结点输出相乘输出;第7层为清晰化层,主要完成对映射网络的输出结果进行清晰化处理;第8层为权值调整层。1.3隶属度函数实现这任务由前3层来实现对模糊信息的预处理,其主要功能是计算各输入分量属于各模糊集合的隶属度。X=[x,x,…,x],:设输入向量为12nT则模糊化层各节点的输入输出如下11121μ22第1层:I=x,O=I2层:I=O-ω,O=Iiiii第ijiijijij32σ331μσ2第3层:I=O·ωO=f(I)=exp{-((I-ω)/(/ω))}ijijijijijiij1ij,i=,……n,j=,,,,iik(k=,,)ikk其中。I、O。I,O1212345kk分别代表第123层第个节点的输入输出ijij分别代表k层中由第i个输入节点分出的第j个节点的输入和输出。ωμij、ωσij为可调函数,ωμij为高斯函数的中心值;ωσij为函数的分布参数,又称为尺度因子。设样本的均值和方差分别为μ和σ,由统计知识知:1ni1ni2μ=/n(∑x)σ/n(∑(x-a))i=1i=1上式中,n为样本数。在对数据进行模糊分类时,取“差”、“较差”、“可”、“较好”的隶属函数的中心分别取为(μ-2σ)、(μ-σ)、μ、(μ+σ)、(μ+2σ)。1.4模糊神经网络训练当系统的推理精度不够高时,需要调整隶属函数的参数。采用BP网络的反向传播学习思想进行训练。对于第i组采样数据(x1,x2,…,xn;y1,y2,…,ym)Ti。训练算法如下:第1步:提取模糊规则。将样本输入到网络后,在第3层中计算“差,较差,可,较好,好”的语言值的隶属度。先将这5个语言值标记为1,2,3,4,5,对于每一个输入元素,取出其中隶属度最大的记录下来,在相应语言值下面标上1,其余的记为0。最后,按照对应元素的顺序将规则表示出来,当有重复规则时,用CF值表示,有一个重复规则,CF自加0.1。:。[7]＊5k5k66计算反模糊化的输出y=(O·ω)/(O),ω第2步清晰化第7层中按重心法ik=∑1kpk=∑1k其中p为第6层中第k个节点和第7层节点之间的连接权值,为清晰化参数,i为第i组样本。第3步:误差反传。在训练网络时采用了梯度法,用交叉熵函数作为误差函数,计算推理误差,并修正参nmd＊d＊。:F(·)=-∑i=1d＊k=∑1ylny+(-y)ln(-y),式中,yr,y数其形式为rr1r1rr为第组样本在第7层期望输出值r为第r组样本在第7层的实际输出值。1.5网络裁剪网络训练成功后,一般会存在一些冗余权,可依据一定的规则进行裁剪[8],使网络权和节点的数目最小。裁剪算法如下:1)设η1为网络的误差极限,η2为权值删除的阀值,且η1+η20.5,训练网络到预定精度;2)对于网络中的权ω,若maxωkpω≥4η,2则删除此权值ω;对于网络中的权ωkp,若ωkp≥4η,2则删除k此权值ωkp;3)若无法满足2)的权值,计算η=maxωpω,删除最小的η;kk4)再次训练网络,若网络的精度小于预定的精度,返回到3)中取舍网络权值,否则,停止,用此时的权3值。网络收敛是以精度达到给定的误差极限为条件。这种算法对有许多冗余权值的全连结网络尤其实用[9]。1.6模糊规则简化网络训练成功后,会产生很多规则。这些规则中,有我们感兴趣的,也有不感兴趣的,需要对规则进行简化[10]。简化的思想是:①将网络权值为0的规则或者很接近0的规则视为无效规则;②在具有同一前提的所有规则中,将权值最大的规则保留,其它的规则去掉。2实例仿真以工业锻造淬火工艺中智能温度控制系统用于物料温控的控制数据为例,通过上面提出的方法形成温度控制模糊规则进行控制仿真,以验证本方法的有效性。通过对工业历史资料分析,提取了两个输入因子,1个输出因子的网络。以温度误差T和温度误差变化TK为输入因子,以控制量Y为输出因子。学习效率β取值为0.45。对样本数据进行分析后,以最佳温度为中心,以其它温度与它差值的均分值作为T和TK的论域:T=TK={-6,-4,-2,0,2,4,6},Y的论域为:Y={-6,-5,-4,-3,-2,-1,0,1,2,3,4,5,6}。选取T和TK的模糊集合元素为:负大,负中,接近于零,正中,正大。Y的模糊分为7个部分:负大,负中,负小,零,正小,正中,正大。仿真通过Matlab的图形界面进行操作,仿真中,首先给FNN网络的各参数和权值赋以初值,使用252条数据作为网络的学习样本。隐层中,以具有最大隶属度为1的样本值作为高斯函数的中心值,宽度取[-6,]。,。,ω。,,T、T6中的整数经过842次训练后网络收敛裁剪后网络裁剪了权2p再次训练网络收敛后K的高斯函数中心值由最初的-3,-1,0,1,3分别向隶属度函数中心-4,-2,0,2,4偏移,隶属函数比训练前更平坦一点训练前后的隶属度函数如图2所示。根据训练样本和收敛的网络,对测试样本进行规则提取以检查网络控制的有效性,经过网络裁剪,规则提取,产生出部分规则。结果显示,控制结果的最大误差为0.1186,平均误差小于0.0937,证明了算法的有效性。用传统的BP网络对上例进行仿真,与本文方法进行对比。对比结果如图3所示,文章提出的方法的控制性能优于传统的BP网络。由此可见,将模糊逻辑和神经网络结合起来,可提高系统数据挖掘的效率及提取规则的可靠性,提高系统的控制精度和鲁棒性。图2网络训练完成后隶属函数曲线图图3FNN与BP收敛精度对比3结束语4将模糊系统和神经网络结合起来,构造一种模糊神经网络,实现模糊规则的自动生成,提高了模糊神经网络的自学习性能和鲁棒性。利用BP思想实现网络权值的调整,加快了网络的收敛速度。对规则的简化,取出冗余规则,从而挖掘尽可能接近实际的完全规则,使得所挖掘的规则简单、可靠。仿真结果表明文章提出的方法具有控制精度高,鲁棒性好的优点。参考文献:[1]陈莉.数据库中的知识发现[J].西北大学学报:自然科学版,1999,29(1):114-119.CHENLi.KnowledgeDiscoveryinDatabase[J].JournalofNorthwestUniversity:NaturalScienceEdition,1999,29(1):114-119.(inChinese)[2]曲东才.增强神经网络辨识模型泛化能力的研究[J].海军航空工程学院学报,2007,22(1):109-113.QUDongcai.DesignandSimulationoftheImprovedPerformanceIndexFunctionwithEnhancedGeneralizationAbilityfortheANN'sIdentificationModel[J].JournalofNavalAeronauticalEngineeringInstitute,2007,22(1):109-113.(inChinese)[3]韩虎,张莉莉.神经网络方法在数据挖掘中的应用[J].系统工程学报,2004,23(4):88-90.HANHu,ZHANGLili.ApplicationofNeuralNetworkinDataMining[J].JournalofSystemsEngineering,2004,23(4):88-90.(inChinese)[4]王海龙.协同神经网络在图像识别中的应用研究[D].上海:上海交通大学,2000.WANGHailong.AnalysisoftheRecognitionPerformancesofSynergeticNeuralNetwork[D].Shanghai:ShanghaiJiaotongUni-versity,2000.(inChinese)