关于RBFNN结构选择的研究

关于RBFNN结构选择的研究报告人：孙金燕导师：王熙照报告内容研究问题描述已做工作下一步工作参考文献致谢问题描述_研究问题来源…1x2xnx…12M1xF0w1w2wMw…决定泛化能力主要有两个因素：网络的结和网络的训练程度泛化能力是评价RBFNN性能优劣的重要指标隐层中心是决定RBFNN结构的主要因素网络结构的选择问题，重点是隐层中心的确定问题问题描述_研究背景参考文献[1,2]：可以让每个训练样例对应一个中心参考文献[3-5]：利用k-均值聚类以及它的改进方法聚类训练样例求得中心参考文献[6-9]：结构删除法与构造法问题描述_研究现状分析利用正交最小二乘方法选择隐层中心[6]J.BarryGomm,Member,IEEE,DingLiYu,Selectingradialbasisfunctionnetworkcenterswithrecursiveorthogonalleastsquarestraining,IEEETransactionsonNeuralNetworks,Vol.11,No.2,Mar.2000.利用Fisherratio度量来选择隐层中心[7]K.Z.Mao,RBFneuralnetworkcenterselectionbasedonfisherratioclassseparabilitymeasure,IEEEtransactionsonneuralnetworks,Vol.13,No.5,Sep.2002利用敏感性度量选择隐层中心[8]D.Shi,D.S.Yeung,J.Gao,Sensitivityanalysisappliedtotheconstructionofradialbasisfunctionnetworks,NeuralNetworks18(2005)(7),pp.951-957.（中心敏感性）[9]WingW.Y.Ng,DanielS.Yeung,IanCloete,QuantitativestudyoneffectofcenterselectiontoRBFNNclassificationperformance,IEEEInternationalConferenceonSystems,ManandCybernetics,Vol.4,pp.3692-3697,2004.（输入和权重的敏感性）基于LGEM，利用最大化覆盖面积（MC2SG）的方法选择网络结构（隐层中心）[10]WingW.Y.NG,DanielS.YEUNG,De-FengWang,EricC.C.TSANG,andXi-ZhaoWang,LocalizedgeneralizationerroranditsapplicationtoRBFNNtraining.ProceedingsoftheFourthInternationalConferenceonMachineLearningandCybernetics,Guangzhou,18-21August2005.问题描述_研究目的和意义在上述研究的基础上，考虑RBFNN在模式分类问题中的应用，以优化网络结构为出发点，以改善网络的泛化能力为着眼点，设计确定隐层中心的新方法，目的是构造一个结构简单、泛化性能好的RBFNN分类器，并尽可能的给出理论支撑。已做工作基于LGEM，把训练误差与敏感性的线性加和（TS）作为评价RBFNN分类器优劣的标准提出最小化TS（MTAS）选择RBFNN结构的方法，实验验证了其有效性为了避免MTAS方法中利用K-均值进行聚类的缺点，定义样例潜能的概念TMTAS_Norm-basedLGEMbbxx|x=xx;1,,QiSxQinbb1xNQQSSbb(x)b1bbbxb1b1*xxxxxxxx11xxxxxxQQQQQgenSNSNNSSempSgenRfFpdfFpdfFffpdNNREyRMTAS_Criterionfunctionb1222bb1(x)(x)QQSNSempEENTSRyfFyQ值确定的情况下，如何比较两个训练好的分类器f1、f2的优劣？A、B分别表示两个分类器的TS值，如果A＜B，f1比f2好基于TS值的中心个数确定：选择具有最小TS值的分类器b11122bb1(x)(x)QNLLSkkkkkENTSfFyPotential-basedlearningmethod样例潜能定义如下：2j22x2j221xxxexp1,,xxexpljlkjkiccLickcklnPiiNn下一步工作试用不同的目标函数21QSempETSRy或训练误差+正则化项在模式分类问题中研究网络的敏感性，定义网络的分类敏感性网络训练过程中，寻找有效的中心个数搜索方法或增长策略继续从理论上寻求对MTAS方法的支撑研究隐层中心位置的合理分布情况，完善中心确定的方法把中心选择问题转化为隐层空间中重要向量的选择问题隐层中心分布X1X1X2隐层中心包括两部分：聚类中心和类边界附近样例问题转换1122:x,y,x,y,x,yNNDN个训练样例经过第k个中心后的输出第l个样例经过隐层后的输出12121211112222H=kNkNkNhhhhhhhhhlhlhlhl12kNhNhNhNhN参考文献[1]SimonHaykin,Neuralnetworks:AcomprehensiveFoundation,(SecondEdition),Prentice-Hall,Incorporation,2001.[2]D.S.Broomhead*,DavidLowe,Multivariablefunctionalinterpolationandadaptivenetworks,ComplexSystems2(1988)321-355.[3]FriedhelmSchwenker,HansA.Kestler,GntherPalm,Threelearningphasesforradial-basis-functionnetworks,NeuralNetworks14(2001)439-458.[4]M.M.Brizzottietal,TheinfluenceofclusteringtechniquesintheRBFnetworksgeneralization,IEEProc.OfConf.OfImageProcessingandItsApplications,pp.87-92,1999.[5]Y.S.Hwang,S.Y.Bang,Anefficientmethodtoconstructaradialbasisfunctionneuralnetworkclassifier,NeuralNetworks,Vol.10,No.8,pp.1495-1503,1997.[6]J.BarryGomm,Member,IEEE,DingLiYu,Selectingradialbasisfunctionnetworkcenterswithrecursiveorthogonalleastsquarestraining,IEEETransactionsonNeuralNetworks,Vol.11,No.2,Mar.2000.[7]K.Z.Mao,RBFneuralnetworkcenterselectionbasedonfisherratioclassseparabilitymeasure,IEEEtransactionsonneuralnetworks,Vol.13,No.5,Sep.2002[8]D.Shi,D.S.Yeung,J.Gao,Sensitivityanalysisappliedtotheconstructionofradialbasisfunctionnetworks,NeuralNetworks18(2005)(7),pp.951-957.[9]WingW.Y.Ng,DanielS.Yeung,IanCloete,QuantitativestudyoneffectofcenterselectiontoRBFNNclassificationperformance,IEEEInternationalConferenceonSystems,ManandCybernetics,Vol.4,pp.3692-3697,2004.[10]WingW.Y.NG,DanielS.YEUNG,De-FengWang,EricC.C.TSANG,andXi-ZhaoWang,LocalizedgeneralizationerroranditsapplicationtoRBFNNtraining.ProceedingsoftheFourthInternationalConferenceonMachineLearningandCybernetics,Guangzhou,18-21August2005.[11]Yen-JenOyang,Shien-ChingHwang,Yu-YenOu,Chien-YuChen,Zhi-Wei,Dataclassificationwithradialbasisfunctionnetworksbasedonanovelkerneldensityestimationalgorithm,IEEETransactionsonNeuralNetworks,Vol.16,No.1,Jan.2005.谢谢！请各位老师和同学指正