PPT基于改进遗传算法的SVM参数优化研究

基于改进遗传算法的SVM参数优化研究计算机学院张YY2011年基本思想针对传统遗传算法的支持向量机参数选择方法易陷入局部极小点，导致过拟合或欠学习的问题，从而提出一种基于改进遗传算法的支持向量机参数选择方法。该方法在遗传算法初始化群体阶段采用加权深度优先搜索机制，克服了遗传算法局部搜索能力差的缺点，对支持向量机的径向基核参数进行优化，找出了具有较强推广能力的径向基核参数。将该算法用于3个基准数据集的仿真实验。结果表明该方法在保证分类精度前提下，大幅度缩短了训练建模时间，提高了运行效率。1引言简述支持向量机本文内容基于改进遗传算法的SVM参数优化研究支持向量机是Vapnik等人在是20世纪70年代提出的一种基于统计学习理论和结构风险最小化原理的新型机器学习算法，作为一种新兴的学习机器，支持向量机也存在许多不完善的地方，其参数选取便是亟待完善的问题之一。遗传算法在20世纪60年代末期由美国Johland等提出，在自动控制、组合优化、机器学习和图像处领域得到广泛的应用。但是遗传算法初始群体规模对遗传算法的收敛具有重要意义，传统方法采用随机化产生法，常易陷入局部极小点，导致过拟合或欠学习而难以求得满意的结果。本文针对传统初始群体产生方法易产生局部最小值问题，提出一种将加权深度优先搜索(WeightedDeepth—firstSearch，WDFS)引入到遗传算法，来保证初始群体的多样性，并将其引入到SVM参数寻优方法的过程中，产生一种强大的启发式全局快速参数寻优算法一IGA_SVM，对3个基据集进行仿真实验，来验证其有效性。1引言SVM概述判决函数：惩罚因子C，用于控制复杂度和逼近误差的折中；径向基核函数的σ值对分类精度有重要影响。以测试样本集数据的识别率（RR）为评价标准：SVM概述分类原理模型参数影响分析模型的评估))(()(1bxxkysignxfiilii数目测试样本集中总的样本的样本数目测试样本集中分类正确RR2SVM概述IGA_SVM模型流程图支持向量机参数编码加权深度产生初始种群适应度函数计算寻优是否停止选择、变异、交叉生成新的一代得到最优SVM预测结果是否f（x）SVM模型f（x）为适应度函数x为SVM参数3IGA_SVM模型IGA_SVM算法具体步骤Step1：初始种群的产生。Step2：利用该初始种群利用SVM模型对训练集进行训练，由训练好的模型对测试数据集进行测试，将总体测试样本识辩率(RR)折算成该模型的GA适应度。Step3：根据GA适应度。对a进行选择、变异以及交叉等操作，选择产生下一代参数a种群。Step4：利用得到的子代参数a种群，重新对SVM模型进行训练和测试，计算适应度；如果满足GA训练停止准则，则转步骤step5，否则，返回step3。Step5：结束训练，此时得到的参数(c，σ）为最终SVM模型的参数。具体步骤3IGA_SVM模型初始种群的产生(a)若初始种群的大小为PopSize，则为种群中每一个个体赋一权值；•找到符合群体规模要求的染色体数目IGA_SVM算法步骤1(b)对节点进行深度优先搜索时，按照节点权值的大小，采用轮盘赌选择法选择某一个节点；(c)如果找到一条满足要求的路径，则选择该路径作为初始种群的一个染色体，同时路径上所有的边的权值减1；(d)重复步骤（b）、（c）3IGA_SVM模型参比模型•LIBSVM•GA_SVM(基于标准遗传算法的SVM)•PSO_SVM(基于粒子群的SVM)过程•采取十折交叉确认方法；•将每个数据集随机等分成10个子集•做10次试验，取平均RR的百分比值来评价模型性能控制参数设置•群体规模：500；最大进化代数：1000•交叉概率：0.8；变异概率：0.05•参数的优化区间：c[1，10000]，σ[0.01，50]•数据集~cjlin／LIBSVMtools/datasets中的3个经典分类数据：a2a、diabetes、wla。实验环境及数据4仿真实验实验结果与分析数据名称训练样本数量测试集样本数量LIBSVMGA_SVMPSO_SVMIGA_SVMa2a22653029682.83984.42782.83985.145diabetes30046876.82379.91578.84680.872wla24774727297.03997.37197.72298.6744仿真实验a2adiabeteswla对于a2a数据集，LIBSVM和PSOSVM的RR相差不大，IGASVM和GA_SVM优于两者，其IGA_SVM的效果最好评价实验结果与分析对于wla和diabetes数据集,IGA_SVM精度明显高于其他算法对于a2a数据集，LIBSVM和PSOSVM的RR相差不大，IGASVM和GA_SVM优于两者，其IGA_SVM的效果最好4仿真实验IGA_SVM算法鲁棒性收敛性收敛速度利用带权深度优先搜索和轮盘赌选择法保证了遗传算法初始种群的多样性评价4仿真实验评价-在执行遗传算法时，每一个个体适应度的确定都需要对支持向量机进行10次训练，如果是留一法那训练时间消耗更大，同进也无法通过优化定参过程看出单个参数的变化对预测性能的影响。不足-要进一步研究各参数与预测能力的关系，寻找更高效的定参方法。改进IGA_SVM算法4仿真实验