一种基于支持向量机与灰色的组合预测新方法(精)

第25卷第4期2008年12月河北省科学院学报JournaloftheHebeiAcademyofSciencesVol.25No.4Dec.2008文章编号:1001-9383(200804-0005-03一种基于支持向量机与灰色的组合预测新方法王培光,李扬,宗晓萍(河北大学电子信息工程学院,河北保定071002摘要:本文根据最小方差将支持向量机和灰色进行组合得到组合预测模型,弥补单模型方法的不足,算例结果表明预测精度明显提高。关键词:支持向量机;灰色预测;组合预测;最小方差中图分类号:O175文献标识码:AThenewforecastingmethodofcombinationbasedonSVMandgreyWANGPe-iguang,LIYang,ZONGXiao-ping(CollegeofElectronicandInformationEngineering,HebeiUniversity,BaodingHebei071002,ChinaAbstract:Accordingtominimumvariance,combinationforecastingmethodisproposedbycombiningSVMandgreyforecast.Combinationforecastingmethodremedythedefectinsinglemodel,andex-ampleresultsshowthatthismethodisanewwaytoimprovetheforecastingaccuracy.Keywords:SVM;Greyforecasting;Combinationforecasting;Minimumvariance支持向量机(SVM最初用来解决模式识别问题,用其分类算法实现较好的泛化功能,随着Vapnik的E不敏感损失函数的引入,SVM已经扩展到用于解决非线性回归估计问题,但核函数参数的选取没有统一的规则,而且针对不同的数据样本,核函数的参数也不同。所以支持向量机在核函数参数的选取上只能有个大致的范围,参数的不确定影响预测精度。灰色GM(1,1预测模型可在信息不完全的情况下,进行比较精确的预测,单数列微分模型有较好的拟合和外推特性,具有所需样本数据少,运算简便等特点,但理论上要求进行一次累加生成后的序列x(1具有近似指数变化规律,同时对参数的求解算法也存在一些理论缺陷[1]。1支持向量机(SVM与灰色预测模型1.1支持向量机回归算法给定样本{(xi,yi}(i=1,2,,,m,m为样本容量,xi是输入矢量,yi为相应目标输出数据。考虑到大多数情况下样本呈非线性关系,估计函数f可通过以下方法确定:将每一个样本点用一个非线性函数f映射到高维特征空间,再在高维特征空间进行线性回归,从而取得在原空间非线性回归的效果。应用此方法时函数f为f(x,X=X5(x+b=(X5(x+b(1式中X为权值矢量;b为偏差(bias;(X5(x表示内积。SVM采用结构风险最小化原理,这里的风险是用Vapnik的E不敏感损失函数来度量的,E不敏感损失函数的定义如下L(y-f(x,X=|y-f(x,X|E=0|y-f(x,X|[E|y-f(x,X|-E其它(2为训练X,需要极小化下面的泛函R(c,E=mEmi=1LE(yi-f(xi,X+2XTX(3*收稿日期:2008-09-16,,,教授,.C为惩罚系数。引入核函数K(x,xi,利用Wolfe对偶技巧,将上述问题转化为下面的对偶问题max{Ai},{A*i}-2Emi=1Emj=1(Ai-A*i(Aj-A*jK(xi,xj-XEmi=1(Ai+A*iEmi=1i(Ai-A*i(4s.t.Emi=1(Ai-A*i=0Ai,A*iI[0,C](5于是,回归函数表达式可写成f(x,Ai,A*i=Emi=1(Ai-A*iK(xi,xj+b(6式中称K(xi,xj为核函数,一般有多项式核函数、RBF核函数等。于是,式(6中的函数f完全由Ai,A*i决定。根据支持向量机回归函数的性质,只有少数的Ai,A*i不为零,这些参数对应的向量即称之为支持向量机[2]。1.2灰色预测GM(1,1模型对n个变量的x(0的原始数据序列x(0={x(0(1,x(0(2,,,x(0(n}进行一次累加生成处理,记生成数列为x(1,x(1={x(1(1,x(1(2,,,x(1(n}其中x(1(k=Eki=1x(0(i,则x(1称为x(0的一次累加生成数列。由于序列{x(1(k}具有指数增长规律,对此序列可建立白化形式的微分方程(1dt+ax(1=u(7待辨识参数为a和u。2支持向量机灰色组合预测方法核函数的选取在SVM方法中是一个较为困难的问题,至今没有一定的理论方面的指导,核函数使样本投影到一个高维的空间中,将其转化为一个线性回归问题.因此,核函数的选取直接影响了曲线的泛化能力,SVM中不同的内积核函数将形成不同的算法[5]。作者预测使用最常用的高斯径向基核函数(RBF,在实际测试中发现,核参数D和C对SVM算法的表现起着非常重要的作用,D的值太小,会对训练集造成过学习现象,D的,D对SVM的泛化性能起着关键作用;核参数C(惩罚系数对预测的影响,过小的C值会对训练数据造成欠学习现象,C值太大容易对训练数据造成过学习现象而导致泛化性能恶化,组合预测方法是通过求个体预测值的加权算术平均而得到它们的组合预测值。目前的研究己论证了组合预测的许多优点。组合预测集结了所有单一模型所包含的信息,用最小方差得到的组合预测,其误差方差不大于任一分量的误差方差。设y^gray为灰色预测值,y^svm为支持向量机预测值,两种预测的误差值分别为egray和esvm。取B1和B2为相应的权系数,且B1+B2=1,则y^t=B1y^gray+B2y^svm(8预测误差为e=B1egray+B2esvm。方差为D(e=B21D(egray+B22D(esvm+2B1B2cov(egrayesvm其中cov(egray,esvm为协方差。将B1对D(e求极小值,可得B1=svmgraysvmD(egray+D(esvm-2cov(egray,esvm(9根据最小方差准则可取cov(egray,esvm=0,记D(egray=D1,D(esvm=D2,则组合预测权系数分别为:B1=D2/(D1+D2,B2=D1/(D1+D2可得最终的组合预测模型[3]。3算例分析本文预测使用的数据为河北某市一新建开发区1993年1月1997年2月50个月的每月负荷,电力系统负荷的最大特点之一就是非线性,非线性给电力系统负荷预测的模型选取带来很大困难,又由于电力系统负荷变化的复杂性,无法建立一个确定的模型对它进行预测[4]。用SVM预测时,将前40组数据作为训练样本,预测后10组数据,在E选取0.001时反复训练这组数据发现D选择9,C选择3500时预测效果较好。训练结果如图1所示,拟合曲线的前40个数据表示曲线的拟合情况,后10个数据是在拟合曲线上的预测值,从图中看出曲线拟合情况较好。本文应用灰色预测方法选取95年6月到96年4月的11组数据作为灰色建模的数据,计算得到辨识参数为a=-0.0201,u=99.2317。在组合模型当中B1=0.4136,B2=0.5864。图1SVM训练拟合曲线与实际负荷曲线表1预测数据结果日期实际数据(kW组合预测数据(kW组合预测相对误差(%SVM预测数据(kWSVM预测相对误差(%灰色预测数据(kW灰色预测相对误差(%96年5月101.63101.350.2767100.710.9052102.25-0.614696年6月103.73103.590.1350103.070.6363104.32-0.575796年7月105.77106.12-0.3292105.89-0.1135106.44-0.635296年8月108.19108.86-0.6225109.05-0.7949108.59-0.378296年9月112.03111.700.2969112.33-0.2678110.801.097696年10月114.28114.46-0.1538115.45-1.0238113.051.079696年11月116.58116.94-0.3086118.07-1.2781115.341.065896年12月118.42118.94-0.4430119.84-1.1991117.680.628997年1月120.13120.28-0.1322120.45-0.2664120.060.058097年2月120.29120.84-0.2887119.670.6806122.49-1.6630绝对平均误差(%0.29870.71660.77974结语使用支持向量机理论预测电力系统负荷,预测非线性负荷效果很好,但是核函数的参数选取对预测精度影响较大;用灰色理论预测电力系统负荷,方法简单可靠,但对预测非线性较明显的负荷时预测精度下降。支持向量机灰色预测组合模型提高了预测精度,对中期电力负荷预测这类相关因素多的问题,采用本文方法进行预测是可行且有效的。参考文献:[1]张大海,江世芳,史开泉.灰色预测公式的理论缺陷及改进[J].系统工程理论与实践,2002,22(8:1-3.[2]潘峰,程浩忠,杨镜非,等.基于支持向量机的电力系统短期负荷预测[J].电网技术,2004,28:39-40.[3]李伟,韩力.组合灰色预测模型在电力负荷预测中的应用[J].重庆大学学报,2004,27:37-38.[4]牛东晓.具有二重趋势性的季节型电力负荷预测组合优化灰色神经网络模型[J].中国电机工程学报,2002,22(1:29-32.[5]蒋铁军,李积源.基于支持向量机的武器系统费用预测分析[J].系统工程理论与实践,2004,24(9:121-124.