华中科技大学人工智能-机器学习-聚类

机器学习聚类分析简介基本方法分区层次基于密度基于网格的方法聚类概念类、簇（Cluster）数据对象的集合，集合中的对象满足：彼此足够相似；集合间的对象满足：彼此不相似聚类分析Birdsofafeatherflocktogether物以类聚无师学习无监督学习NumericaltaxonomyTypologyPartition别名简介概念聚类标准相似度应用基本方法聚类标准sheepdogcatsharklizardsparrowvipergoldfishfrogseagullredmullet是否存在肺sheepdogcatsharklizardsparrowvipergoldfishfrogseagullredmullet居住环境简介概念聚类标准相似度应用基本方法相似度数值型数据欧氏距离Manhattan距离Minkowski距离Binary,Nominal,Ordinaletc.Jaccard系数sim(pi,pj)=|pi∩pj|/|pi∪pj|混合型数据简介概念聚类标准相似度应用基本方法应用BusinessBiologyIdentificationofgroupsof…ImageprocessingGaindistributionofdataWebforinformationdiscoveryPreprocessingstep简介概念聚类标准相似度应用基本方法基本方法分区方法层次方法基于密度的方法基于网格的方法基于模型的方法(类似分类)简介基本方法分区层次基于密度基于网格聚类方法–分区给定n个对象数字k指定聚类个数判别函数解决以下问题n个对象分到k个类中所形成的类使得判别函数最优简介基本方法分区层次基于密度基于网格分区算法-PAMk-medoidmedoid:类的代表对象，居于类的中心PAM的目标找到k个medoids形成k个类(其它对象分配到最近的medoid代表的类中)同时满足判别函数最小kniOimedoidOid1))(,(简介基本方法分区层次基于密度基于网格分区算法-PAM搜索rightmedoidO1O2Ok…随机选择Oi…OhOk+1……On1m(Oj)=Oi;d(Oj,Oh)=d(Oj,Ox)Cjih=d(Oj,Ox)-d(Oj,Oi)+2m(Oj)=Oi;d(Oj,Oh)d(Oj,Ox)Cjih=d(Oj,Oh)-d(Oj,Oi)+/-3m(Oj)=Ox;d(Oj,Ox)d(Oj,Oh)Cjih=04m(Oj)=Ox;d(Oj,Ox)=d(Oj,Oh)Cjih=d(Oj,Oh)-d(Oj,Ox)-Oj…11knjjihC简介基本方法分区层次基于密度基于网格分区算法–CLARANCEO1O2O3n=5k=3numberlocalmaxneighborO1O2O4O4O2O3……O1O2O5O1O4O3O1O5O3O5O2O3简介基本方法分区层次基于密度基于网格分区算法–CLARANCEPAMO(k(n-k)2)每一轮迭代CLARANCE对结果质量影响不大简介基本方法分区层次基于密度基于网格聚类方法–层次nobjectskobjectsn-kobjects1object1object1object……………………简介基本方法分区层次基于密度基于网格聚类方法–密度动机Density简介基本方法分区层次基于密度基于网格基于密度的算法-DBSCANRadiusεMinpts=3Coreobject:OMPR简介基本方法分区层次基于密度基于网格基于密度的算法-DBSCAN1.ReadoneunclassifiedobjectofromD；2.inspectoo:notcoreobject,thenlableitnoisyo:coreobject,thenexec33.lableoanewclassIDco4.AddallobjectsinNEps(o)intoListandlablethemco；5.ForeachobjectpinList；6.InspectpNon-core:donothingCore:foreachobjectqinNEps(p)qisnoisy:lableitcoqisunclassified:lableitcoandadditintoListqisclassified:donothing简介基本方法分区层次基于密度基于网格基于密度的算法-DENCLUE简介基本方法分区层次基于密度基于网格基于密度的算法-DENCLUE影响函数密度函数简介基本方法分区层次基于密度基于网格基于密度的算法-DENCLUE基于中心点的聚类给定ξ0，X*为数据集D的密度吸引子（f(X*)=ξ），则由X*所吸引的数据点所构成的集合称以X*为中心的聚类，记做子集C。（如果f(X*)ξ，则称X*所吸引的数据点为离群点）任意形状的聚类子集C的集合，满足不同子集间存在路径P，该路径上的每个点的密度函数值不小于ξ简介基本方法分区层次基于密度基于网格聚类方法–网格将n维空间分割成单元格目的:提高效率聚类操作针对单元格而不是对象决定算法耗时的不再是对象的数目，而是单元格的数目简介基本方法分区层次基于密度基于网格基于网格的算法-CLIQUE搜索多维空间以及其子空间的所有类利用了频繁项目集的概念提出了类的最小描述方法简介基本方法分区层次基于密度基于网格Clustering-CLIQUEd-demensionalspaceNumberofintervalsξunitselectivityofaunitdensitythresholdDenseunitClusterRegionmaximalregionminimaldescriptionofacluster简介基本方法分区层次基于密度基于网格Clustering-CLIQUEStep1FindingDenseUnit简介基本方法分区层次基于密度基于网格Clustering-CLIQUEStep2FormingClustersStep3DescribeClusters……简介基本方法分区层次基于密度基于网格