Clementine-第八讲

分类预测：支持向量机主要内容支持向量概述支持向量分类概述不同条件下的支持向量分类支持向量回归支持向量机概述支持向量机(Supportvectormachine,SVM，1992，Boser,GuyonandVapnik）解决小样本、非线性和高维的回归和二分类问题上有优势。类型：支持向量分类机(SVC)：研究输入变量与二分类型输出变量的关系，简称支持向量分类支持向量回归机(SVR):研究输入变量与数值型输出变量的关系，简称支持向量回归支持向量分类的概述数据：m个观测，n个输入，一个输出第i个样本的输入：输出y：取1或-1训练样本集D：mixxxxXTiniiii,...2,1,,...,,,321mmnmmmnnyxxxxyxxxxyxxxxD,,...,,,............,,...,,,,,...,,,3212223222111131211支持向量分类的概述目的：以训练样本为研究对象，在样本的特征空间中找到一个超平面，将两类样本有效分开位于超平面两侧的样本，其输出变量值分别取＋1和－1支持向量分类的概述超平面的数学表示：一般参数优化方法可能产生的问题如果样本数据点是线性完全可分的，可能得到多个超平面0XWbTn支持向量分类的概述支持向量分类：找到最大边界超平面。即两个相互平行且间距最大，并能将属于不同类别的样本点正确分开的边界，位于两边界中间位置并与之平行的超平面支持向量分类的概述几种不同的情况第一，线性可分样本样本完全线性可分样本无法完全线性可分线性可分问题广义线性可分问题支持向量分类的概述几种不同的情况第二，线性不可分样本基本原理：线性可分问题如何确定超平面分别将两类的最“外围”样本点连线，形成两个最小凸多边形（凸包)。各自类样本点均在凸包内或边上•找到两个凸包距离最近的位置连线，垂直平分该连线的直线即为所求超平面基本原理：线性可分问题找到的超平面应满足：对第i个样本：改进：0iTXWb1iy0iTXWb1iydXWbiT01iydXWbiT01iyd为两个平行边界距离的二分之一dXWbyiTi)(dd超平面参数的求解目标是使d最大，且令如果能够找到这个超平面，那么凸多边形内或边上的点Xi，到超平面的距离M应大于等于d1||||WmidXWbydiTi,...2,1,)(max1||||ww,b,且dWXWbMiT||||||dWXWbyiTi||||dMWbXWiT||||dMWbXWiT||||令：且取消对样本i，有：dWXWbyiTi||||1iy1iy基本原理：线性可分问题||||1Wd1)(iTiXWby1iTXWb1iTXWb1||||W设：，为使d最大即使最小目标函数：约束条件：凸二次型规划求解问题：拉格朗日乘子ai0（i=1,2,…,m），拉格朗日函数：a代表约束条件变动时目标函数极值的变化率求L对参数W和b的最小值，对a的最大基本原理：线性可分问题||||22Wd||||||||21min)(min2miXWbyiTi,...,2,1,01)()1)((||||21),,(12iTimiiXWbyaWabWL1)(iTiXWby对参数求偏导分，且：对偶问题：还需满足KKT条件：由于ai0，ai=0的样本对超平面没有作用；ai0的样本点才对超平面的系数向量产生影响，这样的样本点称为支持向量最大边界超平面完全由支持向量所决定说明支持向量均落在边界上0),,(WabWL0),,(babWLmiiiiWXya1miiiya10)1)((||||21),,(12iTimiiXWbyaWabWL)(21)(max111'jTijimijmjimiiaXXyyaaaaLmiXWbyaiTii1,2,...,,0)1)((01)(iTiXWby若有l个支持向量，则：从l个支持向量中任选一个，计算由于最大边界超平面完全由支持向量决定，支持向量分类能够有效避免过拟合问题最大边界超平面相对比较稳定超平面对训练样本类别边界没有“过分适合”基本原理：线性可分问题liiiiXyaW1iTiXWyb决策函数：对新样本X*的预测：符号为正输出取＋1；符号为负，输出取－1基本原理：线性可分问题])([)]([])([)()(111iTiliiTiiliiTiiliiTXXyabSignXXyabSignXXyabSignXWbSignXh])([)(*1*iTiliiTXXyabSignXWbSign两个凸包重叠，超平面无法将它们全部正确分开，此时超平面的确定采用“宽松”策略引入松弛变量总的错划程度的度量广义线性可分的支持向量分类0i),...,2,1,0(1)(miXWbyiiiTimii1)(iiTiXWbydWXWbyiTi||||广义线性可分的支持向量分类1)(iiTiXWby足够大，总能满足约束条件miiCW12||||21min惩罚参数(C1)•C较大时，允许的总错划程度较低，分类的总体精度较高。反之•C起到了平衡目标函数两个部分大小的作用•C较大总体精度较高，超平面的边界减小。但过大的惩罚参数可能导致过拟合问题；•C较小总体精度较低，超平面的边界增大。但过小的惩罚参数会使模型因精度太低而不具实用价值低维空间中的线性不可分问题，通过非线性转换，可转化为高维空间中的线性可分问题通过特定的非线性映射函数()，将原低维空间中的样本X映射到高维空间H中后，再找超平面线性不可分的支持向量分类采用非线性映射函数。在新空间中的一个超平面，在原空间看起来是一条曲线或一个曲面常见的非线性映射：原有输入变量组成的所有n阶乘积形式例：输入变量x1、x2，所有3阶乘积项为高维空间中的维灾难（CurseofDimensionality）问题对于n维特征空间，产生d阶交乘多项式时，模型需估的参数个数为：10个输入5阶交乘，需估计2002个参数；16个输入5阶交乘，需估计1010个参数线性不可分的支持向量分类3222122131,,,xxxxxx032422132212311xwxxwxxwxwb)!1(!)!1(nddn支持向量分类通过引入核函数克服维灾难问题训练样本输入变量的内积决定了超平面的参数决策结果取决于新样本X与支持向量的内积线性不可分的支持向量分类)(21)(111'jTijimijmjimiiXXyyaaaaL])([)()(1iTiliiTXXyabSignXWbSignXh))()((21)(111'jTijimijmjimiiXXyyaaaaL]))()(([)()(1iTiliiTXXyabSignXWbSignXh参数和决策结果取决于转换处理后的样本内积如果找到一个函数，有：则：所有的参数估计和预测计算都可在原来的低维空间中进行线性不可分的支持向量分类),(jiXXK),(21))()((21)(111111'jijimijmjimiijTijimijmjimiiXXKyyaaaXXyyaaaaL]),([]))()(([)()(11iiliiiTiliiTXXKyabSignXXyabSignXWbSignXh例：有映射函数：有函数：称为核函数线性不可分的支持向量分类Txxxxxx),2,(),(2221212121212)(),(XXXXKTTxxxxX),2,()(21212112111TxxxxX),2,()(22222212212),()(]),)(,[()()2()()(122122121122212122211212122221211222121122112XXKXXxxxxxxxxxxxxxxxxXXTTT),(jiXXK利用函数()转换到高维空间以后的内积等于原空间中二阶多项式函数的结果常见核函数线性核函数多项式核函数径向基核函数Sigmoid核函数r为偏差，通常为0；d为阶数，决定映射新空间的维度，一般不超过10；增加可提高预测精度，但可能导致过拟合线性不可分的支持向量分类)(),(jTijiXXXXKdjTijirXXXXK)(),(2||||2||||21,),(222jijiXXXXjieeXXK1)tanh(),tanh(),(xxjTijieexrXXXXK不必真的进行空间转换，也不必关心函数()的具体形式，只需计算核函数即可不同参数的核函数，或不同类型的核函数，对应着不同维度空间的内积选择怎样的核函数及参数并没有唯一确定的准则，需要经验和反复尝试线性不可分的支持向量分类目标：分析输入和数值型输出之间的数量关系，预测来自训练样本集同分布的新样本的输出与线性回归有“异曲同工”之处支持向量回归支持向量回归的超平面XWbxwbyTniii1一般回归分析中的参数估计支持向量回归的参数估计：损失函数最小原则下的超平面参数估计-不敏感损失函数误差值小于指定值0的样本，对损失函数带来的“损失”将被忽略支持向量回归minjijjimiiimiixwbyyye1211212wb,)()ˆ(min绝对误差|ei|大于，损失随|ei|呈二次型增加；否则，损失保持为0支持向量回归2))||,0(max(iieL超平面两侧竖直距离为2的两平行实线的中间区域，称为-带。落入-带中的样本，其误差将被忽略支持向量回归•未落入-带中的样本将决定超平面，是支持向量，其拉格朗日乘子ai不等于0•松弛变量)||,0max(iie目标函数：和*分别表示当超平面位于第i个样本点上方和下方时的松弛值约束条件：过大：管道过宽，没有支持向量为使损失函数最小，超平面位于输出变量的均值位置上，是个“最平”超平面，没有价值过小：管道过窄，所有样本点都是支持向量，即为一般意义上的回归)(2||||21min12*22miiiCWmiyXWbiiiT,...,2,1,)(miXWbyiiTi,...,2,1,)(*miii,...,2,1,0,0*的大小时关键