SVM入门

1SVM入门-V2.01SVM入门（一）SVM的八股简介...................................................................22SVM入门（二）线性分类器Part1.....................................................................33SVM入门（三）线性分类器Part2.....................................................................54SVM入门（四）线性分类器的求解——问题的描述Part1..............................75SVM入门（五）线性分类器的求解——问题的描述Part2..............................86SVM入门（六）线性分类器的求解.................................................................107SVM入门（七）为什么需要核函数................................................................128SVM入门（八）松弛变量.................................................................................159SVM入门（九）松弛变量（续）.....................................................................1810SVM入门（十）将SVM用于多类分类........................................................2011参考文献............................................................................................................24李村合整理2010.10.2921SVM入门（一）SVM的八股简介支持向量机(SupportVectorMachine，简称SVM)，是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中，表现出许多特有的优势，并能够推广应用到函数拟合等其它机器学习问题中。支持向量机方法，是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息，在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力（或称泛化能力）。以上是经常被有关SVM的学术文献引用的介绍，有点八股，我来逐一分解，并解释一下。Vapnik是统计机器学习的大牛，这想必都不用说，他出版的《StatisticalLearningTheory》，是一本完整阐述统计机器学习思想的名著。在该书中，详细地论证了，统计机器学习之所以区别于传统机器学习的本质，就在于统计机器学习能够精确地给出学习效果，能够解答需要的样本数等等一系列问题。与统计机器学习的精密思维相比，传统的机器学习，基本上属于摸着石头过河。用传统的机器学习方法构造分类系统，完全成了一种技巧，一个人做的结果可能很好，另一个人用差不多的方法，做出来却很差，缺乏指导和原则。所谓VC维，是对函数类的一种度量，可以简单地理解为问题的复杂程度，VC维越高，一个问题就越复杂。正是因为SVM关注的是VC维，后面我们可以看到，SVM解决问题的时候，和样本的维数是无关的。样本甚至是上万维的都可以，这使得SVM很适合用来解决文本分类的问题。当然，有这样的能力，也因为引入了核函数。结构风险最小，听上去文绉绉，其实说的也无非是下面这回事。机器学习，本质上就是一种对问题真实模型的逼近。我们选择一个我们认为比较好的近似模型，这个近似模型就叫做一个假设。但毫无疑问，真实模型一定是不知道的，因为如果知道了，我们干吗还要机器学习？直接用真实模型解决问题不就可以了？既然真实模型不知道，那么我们选择的假设，与问题真实解之间究竟有多大差距，我们就没法得知。比如说，我们认为，宇宙诞生于150亿年前的一场大爆炸，这个假设，能够描述很多我们观察到的现象，但它与真实的宇宙模型之间还相差多少？谁也说不清，因为我们压根就不知道真实的宇宙模型到底是什么。这个与问题真实解之间的误差，就叫做风险（更严格地说，误差的累积叫做风险）。我们选择了一个假设之后（更直观点说，我们得到了一个分类器以后），真实误差无从得知，但我们可以用某些可以掌握的量来逼近它。最直观的想法，就是使用分类器在样本数据上的分类结果与真实结果（因为样本是已经标注过的数据，是准确的数据）之间的差值来表示。这个差值叫做经验风险Remp(ω)。以前的机器学习方法，都把经验风险最小化作为努力的目标。但后来发现，很多分类函数，能够在样本集上轻易达到100%的正确率，在真实分类时却一塌糊涂，即所谓的推广能力3差，或泛化能力差。此时的情况，便是选择了一个足够复杂的分类函数，它的VC维很高，能够精确地记住每一个样本，但对样本之外的数据，则一律分类错误。回头看看经验风险最小化原则，我们就会发现，此原则适用的大前提，是经验风险要确实能够逼近真实风险才行（行话叫一致），但实际上能逼近么？答案是不能，因为样本数相对于现实世界要分类的文本数来说，简直是九牛一毛，经验风险最小化原则，只在这占很小比例的样本上做到没有误差，当然不能保证在更大比例的真实文本上也没有误差。统计学习因此引入了泛化误差界的概念，就是指真实风险应该由两部分内容刻画：一是经验风险，代表了分类器在给定样本上的误差；二是置信风险，代表了我们在多大程度上可以信任分类器在未知文本上分类的结果。很显然，第二部分是没有办法精确计算的，因此只能给出一个估计的区间，也使得整个误差只能计算上界，而无法计算准确的值（所以叫做泛化误差界，而不叫泛化误差）。置信风险与两个量有关：一是样本数量，显然，给定的样本数量越大，我们的学习结果越有可能正确，此时置信风险越小；二是分类函数的VC维，显然VC维越大，推广能力越差，置信风险会变大。泛化误差界的公式为：R(ω)≤Remp(ω)+Ф(n/h)公式中R(ω)就是真实风险，Remp(ω)就是经验风险，Ф(n/h)就是置信风险。统计学习的目标，从经验风险最小化，变为了寻求经验风险与置信风险的和最小，即结构风险最小。SVM正是这样一种努力最小化结构风险的算法。SVM其它的特点，就比较容易理解了。小样本，并不是说样本的绝对数量少，而是说与问题的复杂度比起来，SVM要求的样本数是相对比较少的。实际上，对任何算法来说，更多的样本，几乎总是能带来更好的效果。非线性，是指SVM擅长应付样本数据线性不可分的情况，主要通过松弛变量（也有人叫惩罚变量）和核函数技术来实现，这一部分是SVM的精髓，以后会详细讨论。多说一句，关于文本分类这个问题，究竟是不是线性可分的，尚没有定论，因此，不能简单地认为它是线性可分的，而作简化处理，在水落石出之前，只好先当它是线性不可分的。反正线性可分，也不过是线性不可分的一种特例而已，我们向来不怕方法过于通用。高维模式识别，是指样本维数很高。例如，文本的向量表示，如果没有经过另一系列文章《文本分类入门》中提到过的降维处理，出现几万维的情况很正常，其它算法基本就没有能力应付了，SVM却可以。主要是因为SVM产生的分类器很简洁，用到的样本信息很少（仅仅用到那些称之为“支持向量”的样本，此为后话），使得即使样本维数很高，也不会给存储和计算带来大麻烦。相比较而言，kNN算法，在分类时就要用到所有样本，样本数巨大，每个样本维数再一高，这日子就没法过了……。下一节，开始正式讨论SVM，别嫌我说得太详细哦。2SVM入门（二）线性分类器Part1线性分类器(一定意义上,也可以叫做感知机)，是最简单也很有效的分类器形式。在一个线性分类器中，可以看到SVM形成的思路，并接触很多SVM的核心概念。4用一个二维空间里仅有两类样本的分类问题，来举个小例子，如图1所示：图1线性分离器示意图C1和C2是要区分的两个类别，在二维平面中，它们的样本如图1所示。中间的直线就是一个分类函数，它可以将两类样本完全分开。一般的，如果一个线性函数，能够将样本完全正确地分开，就称这些数据是线性可分的，否则称为非线性可分的。什么叫线性函数呢？在一维空间里就是一个点，在二维空间里就是一条直线，在三维空间里就是一个平面，可以如此想象下去。如果不关注空间的维数，这种线性函数，还有一个统一的名称——超平面（HyperPlane）！实际上，一个线性函数，是一个实值函数（即函数的值是连续的实数），而我们的分类问题（例如这里的二元分类问题——回答一个样本属于还是不属于一个类别的问题），需要离散的输出值。例如，用1表示某个样本属于类别C1，而用0表示不属于C1（不属于C1也就意味着属于C2）。这时候，只需要简单地在实值函数的基础上，附加一个阈值即可，通过分类函数执行时得到的值大于还是小于这个阈值来确定类别归属。例如，我们有一个线性函数g(x)=ωx+b我们可以取阈值为0，这样，当有一个样本xi需要判别的时候，我们就看g(xi)的值。若g(xi)0，则判别为类别C1；若g(xi)0，则判别为类别C2；等于的时候我们就拒绝判断。此时，也等价于给函数g(x)附加一个符号函数sgn()，即f(x)=sgn[g(x)]是我们真正的判别函数。对于g(x)=ωx+b这个表达式，要注意三点：(1)式中的x，不是二维坐标系中的横轴，而是样本的向量表示。例如，一个样本点的坐标是(2,5)，则xT=(2,5)，而不是x=2。一般所说的向量，都是指列向量，因此，以行向量形式来表示时，就加上转置。(2)这个形式，并不局限于二维的情况，在n维空间中，仍然可以使用这个表达式，只是式中的ω成为了n维向量。在二维的这个例子中，ω是二维向量。注意：这里的ω，严格地说，也应该是转置的形式，为了表示起来方便简洁，以下均不区别列向量和它的转置。(3)g(x)不是中间那条直线的表达式，中间那条直线的表达式是g(x)=0，即ωx+b=0，我们也把这个函数叫做分类面。5实际上，很容易看出来，中间那条分界线，并不是惟一的，我们把它稍微旋转一下，只要不把两类数据分错，仍然可以达到上面说的效果；稍微平移一下，也可以。此时，就牵涉到一个问题：对同一个问题，存在多个分类函数的时候，哪一个函数更好呢？显然，必须要先找一个指标，来量化“好”的程度，通常使用的都是叫做“分类间隔”的指标。下一节，我们就仔细说说分类间隔，也补一补相关的数学知识。3SVM入门（三）线性分类器Part2上节说到，对于文本分类这样的不适定问题（有一个以上解的问题称为不适定问题），需要有一个指标，来衡量解决方案（即我们通过训练建立的分类模型）的好坏，而分类间隔是一个比较好的指标。在进行文本分类的时候，我们可以让计算机这样来看待我们提供给它的训练样本：每一个样本由一个向量（就是那些文本特征所组成的向量）和一个标记（标示出这个样本属于哪个类别）组成。如下：Di=(xi,yi)xi就是文本向量（维数很高），yi就是分类标记。在二元的线性分类中，这个表示分类的标记，只有两个值1和-1，用来表示属于还是不属于这个类。有了这种表示法，我们就可以定义一个样本点到某个超平面的间隔：δi=yi(ωxi+b)这个公式，乍一看没什么神秘的，也说不出什么道理，只是个定义而已。但我们做做变换，就能看出一些有意思的东西。首先注意到，如果某个样本属于该类别的话，那么ωxi+b0（记得么？这是因为我们所选的g(x)=ωx+b就通过大于0还是小于0来判断分类），而yi也大于0(因为此时为正类yi=1)；若不属于该类别的话，那么ωxi