数据挖掘matlab第七讲

Matlab数据挖掘公开课7：神经网络与数据挖掘主讲人:王小川同济大学经管学院博士研究生新浪微博：目录人工智能及其发展神经网络理论GUI实现并行运算新版本特性人工智能及其发展1人工智能定义人工智能人工通常意义下的人工系统。发展历程由人工制造出来的系统所表现出来的智能。智能意识自我心灵人唯一了解的智能是人本身的智能（有限）人工智能目前在计算机领域内，得到了愈加广泛的发挥。并在机器人，经济政治决策，控制系统，仿真系统中得到应用。人工智能定义研究范畴自然语言处理（NLP）智能搜索规划机器学习人工生命复杂系统优化算法模糊发展历程人工智能定义人工智能人工智能(ArtificialIntelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。发展历程人工智能定义人工智能1941年的一项发明使信息存储和处理的各个方面都发生了革命。这项同时在美国和德国出现的发明就是电子计算机。第一台计算机要占用几间装空调的大房间，对程序员来说是场恶梦：仅仅为运行一个程序就要设置成千的线路。1949年改进后的能存储程序的计算机使得输入程序变得简单些,而且计算机理论的发展产生了计算机科学，并最终促使了人工智能的出现。计算机这个用电子方式处理数据的发明，为人工智能的可能实现提供了一种媒介。发展历程人工智能定义人工智能1955年末Newell和Simon做了一个名为“逻辑专家”(LogicTheorist)的程序。这个程序被许多人认为是第一个AI程序。它将每个问题都表示成一个树形模型，然后选择最可能得到正确结论的那一枝来求解问题。“逻辑专家”对公众和AI研究领域产生的影响使它成为AI发展中一个重要的里程碑。1956年,被认为是人工智能之父的JohnMcCarthy组织了一次学会,将许多对机器智能感兴趣的专家学者聚集在一起进行了一个月的讨论。他请他们到Vermont参“Dartmouth人工智能夏季研究会”。从那时起,这个领域被命名为“人工智能”。虽然Dartmouth学会不是非常成功,但它确实集中了AI的创立者们,并为以后的AI研究奠定了基础.发展历程人工智能定义人工智能Dartmouth会议后的7年中,AI研究开始快速发展。虽然这个领域还没明确定义,会议中的一些思想已被重新考虑和使用了。CarnegieMellon大学和MIT开始组建AI研究中心研究面临新的挑战：下一步需要建立能够更有效解决问题的系统,例如在“逻辑专家”中减少搜索；还有就是建立可以自我学习的系统。1957年一个新程序,“通用解题机”(GPS)的第一个版本进行了测试。这个程序是由制作“逻辑专家”的同一个组开发的GPS扩展了Wiener的反馈原理,可以解决很多常识问题。两年以后,IBM成立了一个AI研究组。HerbertGelerneter花3年时间制作了一个解几何定理的程序.发展历程人工智能定义人工智能当越来越多的程序涌现时,McCarthy正忙于一个AI史上的突破。1958年McCarthy宣布了他的新成果:LISP语言.LISP到今天还在用.“LISP”的意思是“表处理”(LIStProcessing),它很快就为大多数AI开发者采纳。1963年MIT从美国政府得到一笔220万美元的资助,用于研究机器辅助识别。这笔资助来自国防部高级研究计划署(ARPA),已保证美国在技术进步上领先于苏联。这个计划吸引了来自全世界的计算机科学家,加快了AI研究的发展步伐。发展历程人工智能定义人工智能以后几年出现了大量程序.其中一个著名的“SHRDLU”。“SHRDLU“是”微型世界”项目的一部分,包括在微型世界(例如只有有限数量的几何形体)中的研究与编程。在MIT由MarvinMinsky领导的研究人员发现,面对小规模的对象,计算机程序可以解决空间和逻辑问题。其它如在60年代末出现的“STUDENT”相关书籍以解决代数问题,“SIR”可以理解简单的英语句子。这些程序的结果对处理语言理解和逻辑有所帮助。70年代另一个进展是专家系统.专家系统可以预测在一定条件下某种解的概率.由于当时计算机已有巨大容量,专家系统有可能从数据中得出规律.专家系统的市场应用很广.十年间,专家系统被用于股市预测,帮助医生诊断疾病,以及指示矿工确定矿藏位置等.这一切都因为专家系统存储规律和信息的能力而成为可能.发展历程人工智能定义人工智能70年代许多新方法被用于AI开发,著名的如Minsky的构造理论。另外DavidMarr提出了机器视觉方面的新理论,例如,如何通过一副图像的阴影,形状,颜色,边界和纹理等基本信息辨别图像。通过分析这些信息,可以推断出图像可能是什么。同时期另一项成果是PROLOGE语言,于1972年提出。80年代期间,AI前进更为迅速,并更多地进入商业领域。1986年,美国AI相关软硬件销售高达4.25亿美元。专家系统因其效用尤受需求。象数字电气公司这样的公司用XCON专家系统为VAX大型机编程.杜邦,通用汽车公司和波音公司也大量依赖专家系统。为满足计算机专家的需要,一些生产专家系统辅助制作软件的公司,如Teknowledge和Intellicorp成立了。为了查找和改正现有专家系统中的错误,又有另外一些专家系统被设计出来。发展历程2神经网络理论神经网络神经网络再认识什么时候用神经网络？用神经网络分类还是回归?DeterministicorStochastic?1.2.3.目的4.5.6.有监督？无监督？OnlineorOffline?PCorother?数据挖掘从来都不是为了使用而使用，如果某些情况下不适合，不要大炮打蚊子！算法什么时候使用算法分类还是回归?分类回归BPSOMPNN….BPRBFELMAN…..算法改变概率的随机性001011000101算法是否有监督有监督无监督BPPNNRBFELMAN….SOM…..算法OnlineorOffline?Offline:Online:设计网络收集数据训练网络使用网络设计网络使用网络训练网络算法PCorOther？电脑：处理复杂网络其他设备：尽量简化编程神经网络最常见的神经网络感知器BP神经网络RBF神经网络1.2.3.目的4.5.6.SVMHopfield神经网络/ElmanSOM/kohonen数据挖掘从来都不是为了使用而使用，如果某些情况下不适合，不要大炮打蚊子！神经网络神经元形态神经网络神经元数学表达weightfunction（times/distance）nnweightnetfunction:（summation/multiplication）nnnetinputtransferfunction：nntransfer神经网络传递函数purelin多层神经网络与BP神经网络：输出层传递函数神经网络传递函数logsig多层神经网络隐藏层传递函数----可微神经网络神经元（续）神经元神经网络神经元（续）神经元神经网络神经元（续）单层神经网络神经元（续）单层神经网络神经元（续）单层神经网络多层神经网络多层神经网络多层神经网络多层神经网络数据集概念Dataset测试集验证集训练集AsetofexamplesusedonlytoassesstheperformanceofafullyspecifiedclassifierAsetofexamplesusedtotunetheparametersofaclassifier;eg:choosethenumberofhiddenunitsinaneuralnetwork.Asetofexamplesusedforlearning.whichistofittheparametersoftheclassifier.3GUI实现MATLAB具体案例算法Case1Thisdatasetcanbeusedtotrainaneuralnetworktoestimatethebodyfatofsomeonefromvariousmeasurements.LOADbodyfat_dataset.MATloadsthesetwovariables:bodyfatInputs-a13x252matrixdefiningthirteenattributesfor252people.1.Age(years)2.Weight(lbs)3.Height(inches)4.Neckcircumference(cm)5.Chestcircumference(cm)6.Abdomen2circumference(cm)7.Hipcircumference(cm)8.Thighcircumference(cm)9.Kneecircumference(cm)10.Anklecircumference(cm)11.Biceps(extended)circumference(cm)12.Forearmcircumference(cm)13.Wristcircumference(cm)bodyfatTargets-a1x252matrixofassociatedbodyfatpercentages,tobeestimatedfromtheinputs.算法Case2Thisdatasetcanbeusedtodesignaneuralnetworkthatclassifiescancersaseitherbenignormalignantdependingonthecharacteristicsofsamplebiopsies.LOADcancer_dataset.MATloadsthesetwovariables:cancerInputs-a9x699matrixdefiningnineattributesof699biopsies.1.Clumpthickness2.Uniformityofcellsize3.Uniformityofcellshape4.MarginalAdhesion5.Singleepithelialcellsize6.Barenuclei7.Blandchomatin8.Normalnucleoli9.MitosescancerTargets-a2x966matrixwhereeachcolumnindicatesacorrectcategorywithaoneineitherelement1orelement2.1.Benign2.Malignant算法Case3Thisdatasetcanbeusedtocreateaneuralnetworkthatclassifiesirisflowersintothreespecies.LOADiris_dataset.MATloadsthesetwovariables:irisInputs-a4x150matrixoffourattributesof1000flowers.1.Sepallengthincm(萼片)2.Sepalwidthincm3.Petallengthincm(花瓣)4.PetalwidthincmirisTargets-a3x150matrixof1000associatedclassvectorsdefiningwhichoffourclasseseachinputisassignedto.Classesarerepresentedbya1inoneoffourrows,withzerosintheothers.4并行运算新版本特性R2006a动态神经网络数据预处理与后处理R2007b建立网络简化自动数据预处理R2008a神经网络GUIR2010bStartGUITSGUI内存优化R2012b1代码速度2并行运算3ElliotS函数4Lo