SVR

支持向量回归机(SVR)支持向量机（SVM）本身是针对经典的二分类问题提出的，支持向量回归机（SupportVectorRegression，SVR）是支持向量在函数回归领域的应用。SVR与SVM分类有以下不同：SVR的样本点只有一类，所寻求的最优超平面不是使两类样本点分得“最开”，而是使所有样本点离超平面的“总偏差”最小。这时样本点都在两条边界线之间，求最优回归超平面同样等价于求最大间隔。1.线性支持向量回归机对于线性情况，支持向量机函数拟合首先考虑用线性回归函数bxxf)(拟合niyxii,...,2,1),,(，niRx为输入量，Ryi为输出量，即需要确定和b。图1-1aSVR结构图图1-1b不灵敏度函数惩罚函数是学习模型在学习过程中对误差的一种度量，一般在模型学习前己经选定，不同的学习问题对应的损失函数一般也不同，同一学习问题选取不同的损失函数得到的模型也不一样。标准支持向量机采用-不灵敏度函数，即假设所有训练数据在精度下用线性函数拟合如图（1-1a）所示，**()()1,2,...,,0iiiiiiiiyfxfxyin（1.1）式中，*,ii是松弛因子，当划分有误差时，，*i都大于0，误差不存在取0。这时，该问题转化为求优化目标函数最小化问题：niiiCR1**)(21),,(（1.2）式（1.2）中第一项使拟合函数更为平坦，从而提高泛化能力；第二项为减小误差；常数0C表示对超出误差的样本的惩罚程度。求解式（1.1）和式（1.2）可看出，这是一个凸二次优化问题，所以引入Lagrange函数：*11****111()[()]2[()]()nniiiiiiiinniiiiiiiiiiLCyfxyfx（1.3）式中，，0*i，i，0*i，为Lagrange乘数，ni,...,2,1。求函数L对，b，i，*i的最小化，对i，*i，i，*i的最大化，代入Lagrange函数得到对偶形式，最大化函数：***1,1**111(,)()()()2()()niijjijijnniiiiiiiWxxy（1.4）其约束条件为：*1*()00,niiiiiC（1.5）求解式（1.4）、（1.5）式其实也是一个求解二次规划问题，由Kuhn-Tucker定理，在鞍点处有：****[()]0[()]000iiiiiiiiiiiiyfxyfx（1.6）得出0*ii，表明i，*i不能同时为零，还可以得出：**()0()0iiiiCC（1.7）从式（1.7）可得出，当Ci，或Ci*时，iiyxf)(可能大于，与其对应的ix称为边界支持向量（BoundarySupportVector，BSV），对应图1-1a中虚线带以外的点；当),0(*Ci时，iiyxf)(，即0i，0*i，与其对应的ix称为支持向量（SupportVector，SV），对应图1-1a中落在带上的数据点；当0＝i，0i＝时，与其对应的ix为非支持向量，对应图1-1a中带内的点，它们对w没有贡献。因此越大，支持向量数越少。对于标准支持向量，如果0(0)iiC，此时0i，由式（1.6）可以求出参数b：1()()jlijjjijijjjixSVbyxxyxx同样，对于满足0(0)iiC的标准支持向量，有()jijjjixSVbyxx一般对所有标准支持向量分别计算b的值，然后求平均值，即**0*01{[()(,)][()(,)]}ijjiijjjiCxSVNSVijjjixSVCbyKxxNyKxx（1.8）因此根据样本点),(iiyx求得的线性拟合函数为bxxbxxfniiii1*)()(（1.9）2.非线性支持向量回归机非线性SVR的基本思想是通过事先确定的非线性映射将输入向量映射的一个高维特征空间（Hilbert空间）中，然后在此高维空间中再进行线性回归，从而取得在原空间非线性回归的效果。首先将输入量x通过映射HRn:映射到高维特征空间H中用函数bxxf)()(拟合数据),(iiyx，ni,...,2,1。则二次规划目标函数（1.4）式变为：***1,1**111(,)()()(()())2()()niijjijijnniiiiiiiWxxy（2.1）式（2.1）中涉及到高维特征空间点积运算)()(jixx，而且函数是未知的，高维的。支持向量机理论只考虑高维特征空间的点积运算)()(),(jijixxxxK，而不直接使用函数。称),(jixxK为核函数，核函数的选取应使其为高维特征空间的一个点积，核函数的类型有多种，常用的核函数有：多项式核：''(,)(,),,0pkxxxxdpNd;高斯核：2''2(,)exp()2xxkxx;RBF核：''2(,)exp()2xxkxx;B样条核：''21(,)()NkxxBxx;Fourier核：'''1sin()()2(,)1sin()2Nxxkxxxx;因此式（2.1）变成***1,1**111(,)()()()2()()niijjiijnniiiiiiiWKxxy（2.2）可求的非线性拟合函数的表示式为：*1()()()(,)niiiifxxbKxxb（2.3）支持向量回归机的算法如下:(1)给定训练集11{(,),,(,)}()nnnTxyxyRy，其中,,1,,;iinRyRinyx(2)选取适当的核函数'(,)Kxx以及适当的精度0和惩罚参数0;C(3)构造并求解凸二次规划问题****,111*1*1min()()(,)()(),2..()0,0,1,,,nnniijjijiiiiiijiiniiiiKxxystCin得解(*)**11(,,,,)nn；(4)计算b：选取位于开区间(0,)C中的(*)的分量j或*k。若选到的是j，则*1()(,);niijijibyKxx若选到的是*k，则*1()(,);niiikkibyKxx(5)构造决策函数*1()()(,).niiijifxKxxb