K-means

K-means聚类算法k-means算法，也被称为k-平均或k-均值，是一种得到最广泛使用的聚类算法。它是将各个聚类子集内的所有数据样本的均值作为该聚类的代表点，算法的主要思想是通过迭代过程把数据集划分为不同的类别，使得评价聚类性能的准则函数达到最优，从而使生成的每个聚类内紧凑，类间独立。这一算法不适合处理离散型属性，但是对于连续型具有较好的聚类效果。划分聚类方法对数据集进行聚类时包括如下三个要点：（1）选定某种距离作为数据样本间的相似性度量上面讲到，k-means聚类算法不适合处理离散型属性，对连续型属性比较适合。因此在计算数据样本之间的距离时，可以根据实际需要选择欧式距离、曼哈顿距离或者明考斯距离中的一种来作为算法的相似性度量，其中最常用的是欧式距离。下面我给大家具体介绍一下欧式距离。假设给定的数据集，X中的样本用d个描述属性A1,A2…Ad来表示，并且d个描述属性都是连续型属性。数据样本xi=(xi1,xi2,…xid),xj=(xj1,xj2,…xjd)其中，xi1,xi2,…xid和xj1,xj2,…xjd分别是样本xi和xj对应d个描述属性A1,A2,…Ad的具体取值。样本xi和xj之间的相似度通常用它们之间的距离d(xi,xj)来表示，距离越小，样本xi和xj越相似，差异度越小；距离越大，样本xi和xj越不相似，差异度越大。欧式距离公式如下：dkjkikjixxxxd12,totalmxXm,...,2,1|（2）选择评价聚类性能的准则函数k-means聚类算法使用误差平方和准则函数来评价聚类性能。给定数据集X，其中只包含描述属性，不包含类别属性。假设X包含k个聚类子集X1,X2,…XK；各个聚类子集中的样本数量分别为n1，n2,…,nk;各个聚类子集的均值代表点（也称聚类中心）分别为m1，m2,…,mk。则误差平方和准则函数公式为：21kiXpiimpE（3）相似度的计算根据一个簇中对象的平均值来进行。（1）将所有对象随机分配到k个非空的簇中。（2）计算每个簇的平均值，并用该平均值代表相应的簇。（3）根据每个对象与各个簇中心的距离，分配给最近的簇。（4）然后转（2），重新计算每个簇的平均值。这个过程不断重复直到满足某个准则函数才停止。K-均值聚类示例输入:簇的数目k和包含n个对象的数据库。输出:k个簇,使平方误差准则最小。方法：基于簇中对象的平均值。(l)任意选择k个对象作为初始的簇中心;(2)repeat,(3)根据簇中对象的平均值,将每个对象(重新)赋给最类似的簇:(4)更新簇的平均值,即计算每个簇中对象的平均值;(5)until不再发生变化。K-means算法2个核心问题：1.度量记录之间的相关性的计算公式，此处采用欧式距离。2.更新簇内质心的方法，此处采用平均值法，即means。算法k-means算法输入：簇的数目k和包含n个对象的数据库。输出：k个簇，使平方误差准则最小。（1)assigninitialvalueformeans;/*任意分配到k个对象作为簇的平均值*/(2)REPEAT(3)FORj=1tonDOassigneachxjtotheclosestclusters;(4)FORi=1tokDO/*更新簇平均值*/(5)Compute/*计算准则函数E*/(6)UNTILE不再明显地发生变化。21kiCxiixxEiCxiixCx1Oxy10220031.50450552数据对象集合S见表1，作为一个聚类分析的二维样本，要求的簇的数量k=2。(1)选择，为初始的簇中心，即，。(2)对剩余的每个对象，根据其与各个簇中心的距离，将它赋给最近的簇。对：显然，故将分配给；同理，将分配给，分配给。更新，得到新簇和计算平方误差准则，单个方差为2,01O0,02O2,011OM0,022OM5.2025.10,2231OMd5.1005.10,2232OMd3132,,OMdOMd3O3O2C4O2C4O1C511,OOC511,OOC252250220022221E25.272E例子，。总体平均方差是：（3）计算新的簇的中心。25.5225.272521EEE2,5.2222,2501M0,17.23000,355.102M重复（2）和（3），得到O1分配给C1；O2分配给C2，O3分配给C2，O4分配给C2，O5分配给C1。更新，得到新簇和。中心为，。显影的单个方差分别为511,OOC4322,,OOOC2,5.21M0,17.22M5.122255.2225.2022221E15.132E总体平均误差是：65.2515.135.1221EEE由上可以看出，第一次迭代后，总体平均误差值52.25~25.65，显著减小。由于在两次迭代中，簇中心不变，所以停止迭代过程，算法停止。k-means算法的性能分析主要优点：是解决聚类问题的一种经典算法，简单、快速。对处理大数据集，该算法是相对可伸缩和高效率的。因为它的复杂度是0(nkt),其中,n是所有对象的数目,k是簇的数目,t是迭代的次数。通常kn且tn。当结果簇是密集的，而簇与簇之间区别明显时,它的效果较好。主要缺点在簇的平均值被定义的情况下才能使用，这对于处理符号属性的数据不适用。必须事先给出k（要生成的簇的数目），而且对初值敏感，对于不同的初始值，可能会导致不同结果。它对于“躁声”和孤立点数据是敏感的，少量的该类数据能够对平均值产生极大的影响。k-modes算法：实现对离散数据的快速聚类，保留了k-means算法的效率同时将k-means的应用范围扩大到离散数据。K-modes算法是按照k-means算法的核心内容进行修改，针对分类属性的度量和更新质心的问题而改进。具体如下:1.度量记录之间的相关性D的计算公式是比较两记录之间，属性相同为0，不同为1.并所有相加。因此D越大，即他的不相关程度越强（与欧式距离代表的意义是一样的）；2.更新modes，使用一个簇的每个属性出现频率最大的那个属性值作为代表簇的属性值。k-means算法的改进方法——k-mode算法k-Prototype算法：可以对离散与数值属性两种混合的数据进行聚类，在k-prototype中定义了一个对数值与离散属性都计算的相异性度量标准。K-Prototype算法是结合K-Means与K-modes算法，针对混合属性的，解决2个核心问题如下：1.度量具有混合属性的方法是，数值属性采用K-means方法得到P1，分类属性采用K-modes方法P2，那么D=P1+a*P2，a是权重，如果觉得分类属性重要，则增加a，否则减少a，a=0时即只有数值属性2.更新一个簇的中心的方法，方法是结合K-Means与K-modes的更新方法。k-means算法的改进方法——k-prototype算法k-中心点算法：k-means算法对于孤立点是敏感的。为了解决这个问题，不采用簇中的平均值作为参照点，可以选用簇中位置最中心的对象，即中心点作为参照点。这样划分方法仍然是基于最小化所有对象与其参照点之间的相异度之和的原则来执行的。k-means算法的改进方法——k-中心点算法