您好,欢迎访问三七文档
当前位置:首页 > 商业/管理/HR > 质量控制/管理 > KNN和K-mean的理解
KNN本文原创作者陈皓(@左耳朵耗子),文章来源酷壳(),原文链接:本文版权归作者所有。KNearestNeighbor算法又叫KNN算法,这个算法是机器学习里面一个比较经典的算法,总体来说KNN算法是相对比较容易理解的算法。其中的K表示最接近自己的K个数据样本。KNN算法和K-Means算法不同的是,K-Means算法用来聚类,用来判断哪些东西是一个比较相近的类型,而KNN算法是用来做归类的,也就是说,有一个样本空间里的样本分成很几个类型,然后,给定一个待分类的数据,通过计算接近自己最近的K个样本来判断这个待分类数据属于哪个分类。你可以简单的理解为由那离自己最近的K个点来投票决定待分类数据归为哪一类。Wikipedia上的KNN词条中有一个比较经典的图如下:从上图中我们可以看到,图中的有两个类型的样本数据,一类是蓝色的正方形,另一类是红色的三角形。而那个绿色的圆形是我们待分类的数据。如果K=3,那么离绿色点最近的有2个红色三角形和1个蓝色的正方形,这3个点投票,于是绿色的这个待分类点属于红色的三角形。如果K=5,那么离绿色点最近的有2个红色三角形和3个蓝色的正方形,这5个点投票,于是绿色的这个待分类点属于蓝色的正方形。我们可以看到,机器学习的本质——是基于一种数据统计的方法!那么,这个算法有什么用呢?我们来看几个示例。产品质量判断假设我们需要判断毛巾的品质好坏,毛巾的品质好坏可以抽像出两个向量,一个是“酸腐蚀的时间”,一个是“能承受的压强”。如果我们的样本空间如下:(所谓样本空间,又叫TrainingData,也就是用于机器学习的数据)向量X1耐酸时间(秒)向量X2圧强(公斤/平方米)品质Y77坏74坏34好14好那么,如果X1=3和X2=7,这个毛巾的品质是什么呢?这里就可以用到KNN算法来判断了。假设K=3,K应该是一个奇数,这样可以保证不会有平票,下面是我们计算(3,7)到所有点的距离。(关于那些距离公式,可以参看K-Means算法中的距离公式)向量X1耐酸时间(秒)向量X2圧强(公斤/平方米)计算到(3,7)的距离向量Y77坏74N/A34好14好所以,最后的投票,好的有2票,坏的有1票,最终需要测试的(3,7)是合格品。(当然,你还可以使用权重——可以把距离值做为权重,越近的权重越大,这样可能会更准确一些)注:示例来自这里,K-NearestNeighborsExcel表格下载预测假设我们有下面一组数据,假设X是流逝的秒数,Y值是随时间变换的一个数值(你可以想像是股票值)那么,当时间是6.5秒的时候,Y值会是多少呢?我们可以用KNN算法来预测之。这里,让我们假设K=2,于是我们可以计算所有X点到6.5的距离,如:X=5.1,距离是|6.5–5.1|=1.4,X=1.2那么距离是|6.5–1.2|=5.3。于是我们得到下面的表:注意,上图中因为K=2,所以得到X=4和X=5.1的点最近,得到的Y的值分别为27和8,在这种情况下,我们可以简单的使用平均值来计算:于是,最终预测的数值为:17.5注:示例来自这里,KNN_TimeSeriesExcel表格下载插值,平滑曲线KNN算法还可以用来做平滑曲线用,这个用法比较另类。假如我们的样本数据如下(和上面的一样):要平滑这些点,我们需要在其中插入一些值,比如我们用步长为0.1开始插值,从0到6开始,计算到所有X点的距离(绝对值),下图给出了从0到0.5的数据:下图给出了从2.5到3.5插入的11个值,然后计算他们到各个X的距离,假值K=4,那么我们就用最近4个X的Y值,然后求平均值,得到下面的表:于是可以从0.0,0.1,0.2,0.3….1.1,1.2,1.3…..3.1,3.2…..5.8,5.9,6.0一个大表,跟据K的取值不同,得到下面的图:注:示例来自这里,KNN_SmoothingExcel表格下载后记最后,我想再多说两个事,1)一个是机器学习,算法基本上都比较简单,最难的是数学建模,把那些业务中的特性抽象成向量的过程,另一个是选取适合模型的数据样本。这两个事都不是简单的事。算法反而是比较简单的事。2)对于KNN算法中找到离自己最近的K个点,是一个很经典的算法面试题,需要使用到的数据结构是“最大堆——MaxHeap”,一种二叉树。你可以看看相关的算法。(本文完)K-means本文原创作者陈皓(@左耳朵耗子),文章来源酷壳(),原文链接:本文版权归作者所有。最近在学习一些数据挖掘的算法,看到了这个算法,也许这个算法对你来说很简单,但对我来说,我是一个初学者,我在网上翻看了很多资料,发现中文社区没有把这个问题讲得很全面很清楚的文章,所以,把我的学习笔记记录下来,分享给大家。在数据挖掘中,k-Means算法是一种clusteranalysis的算法,其主要是来计算数据聚集的算法,主要通过不断地取离种子点最近均值的算法。问题K-Means算法主要解决的问题如下图所示。我们可以看到,在图的左边有一些点,我们用肉眼可以看出来有四个点群,但是我们怎么通过计算机程序找出这几个点群来呢?于是就出现了我们的K-Means算法(Wikipedia链接)K-Means要解决的问题算法概要这个算法其实很简单,如下图所示:K-Means算法概要从上图中,我们可以看到,A,B,C,D,E是五个在图中点。而灰色的点是我们的种子点,也就是我们用来找点群的点。有两个种子点,所以K=2。然后,K-Means的算法如下:1.随机在图中取K(这里K=2)个种子点。2.然后对图中的所有点求到这K个种子点的距离,假如点Pi离种子点Si最近,那么Pi属于Si点群。(上图中,我们可以看到A,B属于上面的种子点,C,D,E属于下面中部的种子点)3.接下来,我们要移动种子点到属于他的“点群”的中心。(见图上的第三步)4.然后重复第2)和第3)步,直到,种子点没有移动(我们可以看到图中的第四步上面的种子点聚合了A,B,C,下面的种子点聚合了D,E)。这个算法很简单,但是有些细节我要提一下,求距离的公式我不说了,大家有初中毕业水平的人都应该知道怎么算的。我重点想说一下“求点群中心的算法”求点群中心的算法一般来说,求点群中心点的算法你可以很简的使用各个点的X/Y坐标的平均值。不过,我这里想告诉大家另三个求中心点的的公式:1)MinkowskiDistance公式——λ可以随意取值,可以是负数,也可以是正数,或是无穷大。2)EuclideanDistance公式——也就是第一个公式λ=2的情况3)CityBlockDistance公式——也就是第一个公式λ=1的情况这三个公式的求中心点有一些不一样的地方,我们看下图(对于第一个λ在0-1之间)。(1)MinkowskiDistance(2)EuclideanDistance(3)CityBlockDistance上面这几个图的大意是他们是怎么个逼近中心的,第一个图以星形的方式,第二个图以同心圆的方式,第三个图以菱形的方式。K-Means的演示如果你以”KMeansDemo“为关键字到Google里查你可以查到很多演示。这里推荐一个演示操作是,鼠标左键是初始化点,右键初始化“种子点”,然后勾选“ShowHistory”可以看到一步一步的迭代。注:这个演示的链接也有一个不错的KMeansTutorial。K-Means++算法K-Means主要有两个最重大的缺陷——都和初始值有关:K是事先给定的,这个K值的选定是非常难以估计的。很多时候,事先并不知道给定的数据集应该分成多少个类别才最合适。(ISODATA算法通过类的自动合并和分裂,得到较为合理的类型数目K)K-Means算法需要用初始随机种子点来搞,这个随机种子点太重要,不同的随机种子点会有得到完全不同的结果。(K-Means++算法可以用来解决这个问题,其可以有效地选择初始点)我在这里重点说一下K-Means++算法步骤:1.先从我们的数据库随机挑个随机点当“种子点”。2.对于每个点,我们都计算其和最近的一个“种子点”的距离D(x)并保存在一个数组里,然后把这些距离加起来得到Sum(D(x))。3.然后,再取一个随机值,用权重的方式来取计算下一个“种子点”。这个算法的实现是,先取一个能落在Sum(D(x))中的随机值Random,然后用Random-=D(x),直到其=0,此时的点就是下一个“种子点”。4.重复第(2)和第(3)步直到所有的K个种子点都被选出来。5.进行K-Means算法。相关的代码你可以在这里找到“implementtheK-means++algorithm”(墙)另,Apache的通用数据学库也实现了这一算法K-Means算法应用看到这里,你会说,K-Means算法看来很简单,而且好像就是在玩坐标点,没什么真实用处。而且,这个算法缺陷很多,还不如人工呢。是的,前面的例子只是玩二维坐标点,的确没什么意思。但是你想一下下面的几个问题:1)如果不是二维的,是多维的,如5维的,那么,就只能用计算机来计算了。2)二维坐标点的X,Y坐标,其实是一种向量,是一种数学抽象。现实世界中很多属性是可以抽象成向量的,比如,我们的年龄,我们的喜好,我们的商品,等等,能抽象成向量的目的就是可以让计算机知道某两个属性间的距离。如:我们认为,18岁的人离24岁的人的距离要比离12岁的距离要近,鞋子这个商品离衣服这个商品的距离要比电脑要近,等等。只要能把现实世界的物体的属性抽象成向量,就可以用K-Means算法来归类了。在《k均值聚类(K-means)》这篇文章中举了一个很不错的应用例子,作者用亚洲15支足球队的2005年到1010年的战绩做了一个向量表,然后用K-Means把球队归类,得出了下面的结果,呵呵。亚洲一流:日本,韩国,伊朗,沙特亚洲二流:乌兹别克斯坦,巴林,朝鲜亚洲三流:中国,伊拉克,卡塔尔,阿联酋,泰国,越南,阿曼,印尼其实,这样的业务例子还有很多,比如,分析一个公司的客户分类,这样可以对不同的客户使用不同的商业策略,或是电子商务中分析商品相似度,归类商品,从而可以使用一些不同的销售策略,等等。最后给一个挺好的算法的幻灯片:~guestrin/Class/10701-S07/Slides/clustering.pdf
本文标题:KNN和K-mean的理解
链接地址:https://www.777doc.com/doc-5126322 .html