94支持向量机回归算法的研究与应用

江南大学硕士学位论文支持向量机回归算法的研究与应用姓名：陈金凤申请学位级别：硕士专业：控制理论与控制工程指导教师：杨慧中20080501支持向量机回归算法的研究与应用作者：陈金凤学位授予单位：江南大学相似文献(10条)1.期刊论文杨晓伟.骆世广.余舒.吴春国.梁艳春.YangXiaowei.LuoShiguang.YuShu.WuChunguo.LiangYanchun基于支持向量机的大样本回归算法比较研究-计算机工程与应用2006,42(6)支持向量机的研究是当前人工智能领域的研究热点.基于支持向量机的大样本回归问题一直是一个非常具有挑战性的课题.最近,基于递归最小二乘算法,Engel等人提出了核递归最小二乘算法.文中基于块增量学习和逆学习过程,提出了自适应迭代回归算法.为了说明两种方法的性能,论文在训练速度、精度和支持向量数量等方面,对它们做了比较.模拟结果表明:核递归最小二乘算法所得到的支持向量个数比自适应迭代回归算法少,而训练时间比自适应迭代回归算法的训练时间长,训练和测试精度也比自适应迭代回归算法差.2.学位论文李洁薇支持向量机回归算法及参数优化方法的研究与应用2009统计学习理论是基于有限训练样本情况下的机器学习理论，通过控制学习机器的复杂度从而实现对学习机器推广能力的控制。支持向量机是基于统计学习理论的一种新的机器学习方法，它应用统计学习理论中的结构风险最小化原则，采用了核技术，巧妙地解决了“维数灾难”问题，比传统的方法表现出更好的理论优势；研究表明，支持向量机具有良好的泛化性能和推广能力，由于其出色的学习性能已经在模式识别、回归估计、时间序列预测等多方面得到成功应用，成为机器学习领域新的研究热点。br　　基于分类问题的支持向量机算法的应用已经得到了广泛的研究和发展，而对回归方面的研究尚需要进一步深入。支持向量机回归作为一种新的回归估计方法，仍然存在着很多问题有待于解决：如算法的学习本质上是一个二次规划问题的求解过程，传统的优化技术在计算中需要存储核函数矩阵，消耗大量内存，仅仅适用于小样本的回归预测；对于大规模样本的回归问题，很多改进的学习算法速度仍然达不到应用的要求，回归估计和预测的精度也需要进一步提高；另外，支持向量机回归算法中的核参数和自由参数，对算法的回归性能有重要的影响，然而要找到最合适的模型和参数选择则比较困难，仍然没有找到合适的方法来选择模型参数的最佳组合；这些问题都限制了支持向量机回归应用领域的扩展。br　　针对支持向量机回归问题的一些不足之处，本文对支持向量机回归算法及其参数选择问题进行了研究，展开了以下工作：br　　(1)首先对本文的研究背景进行了概述，阐明了支持向量机分类和回归问题的研究意义；对支持向量机学习和训练算法、模型和参数选择的相关研究现状进行了总结，并讨论了其存在的若干问题。br　　(2)其次研究了支持向量机基本理论，重点讨论了支持向量机回归的基本问题和核函数的选择，针对核函数及其参数选择问题，在理论分析的基础上进行了实验，分析了不同核函数对回归预测的性能影响，表明高斯径向基核函数对解决回归问题具有良好的性能。br　　(3)支持向量机回归的快速训练算法和改进的支持向量机回归算法的研究。br　　本文第三章研究了支持向量机的快速训练算法和各种新的回归算法，并对其进行了分析和比较。针对支持向量机解决大规模样本回归问题时训练时间长、占用内存大的缺点，引入了一种新的基于L2范数误差的软间隔支持向量机回归算法，采用基于SMO算法的思想来求解回归对偶问题，推导出了新的停机条件和基于二阶导数信息的工作集选择准则，该算法是一种快速的支持向量机回归算法，简称为“FL2-SVR”，算法的求解过程简化了KKT条件，采用二阶导数信息的工作集选择和优化方法大大加快了目标函数的收敛性，因此提高了SVM回归的运算速度。br　　通过在不同的数据集上的实验结果，表明了FL2-SVR算法是一种快速的回归算法，并且具有良好的预测性能；在处理较大规模样本时，与传统的SVM回归算法相比，在保证预测精度的情况下，大大缩短了支持向量机学习和训练的时间，对于提高支持向量机在大规模回归数据中的应用具有重要的意义。br　　(4)支持向量机回归的模型参数选择和优化的研究及应用。br　　模型选择是支持向量机一个重要的研究方向，核函数以及参数的选择都对支持向量机回归模型的训练速度和预测精度至关重要。不同的参数设置对支持向量机回归的性能有很大的影响，在训练前需要事先确定回归模型的参数，如核半径σ，和惩罚参数C和不敏感损失因子等，这些参数很难通过先验知识来确定。因此，支持向量机回归的参数选择和优化仍然是难以解决的难题。智能优化技术则为支持向量机参数优化问题提提供了良好的解决方案；其中差分演化算法是一种新的的高度并行、自适应的优化搜索算法，该算法有更好的鲁棒性和更快全局搜索能力。br　　本文第四章首先通过实验分析了支持向量机回归参数对模型的性能影响，对差分演化算法优化支持向量机参数的方法进行了尝试性的研究，提出了一种基于差分演化优化支持向量机回归参数的算法“DE-SVR”；在标准数据集上的进行了应用研究，结果表明该算法能够获得比基于遗传算法的SVR参数优化方法和传统参数选择方法更好的回归性能。表现在：DE-SVR算法的收敛速度明显快于GA-SVR算法，得到的SVR模型具有更高的预测精度；同时，其参数搜索的速度比传统的穷举搜索法效率更高，回归预测的精度可与其相比。因此，本文提出的基于差分演化的参数优化算法是一种有效的选择支持向量机回归参数的新方法。br　　最后对本文的主要工作进行了总结，得出了重要结论，并分析本文研究的不足之处，对今后关于支持向量机回归方面的研究工作进行了展望。3.期刊论文黄晨华.谢存禧.张铁.HUANGChenhua.XIECunxi.ZHANGTie支持向量机回归算法在机器人误差补偿中的应用研究-机床与液压2009,37(12)研究了支持向量机回归算法,并将该算法运用于机器人绝对误差的补偿.针对机器人绝对误差补偿多输入、多输出的特点,提出了用多个支持向量机回归算法实现多输出的解决策略;提出了基于支持向量机回归算法误差的2种补偿方法,并进行了仿真与实验,验证了所提方法的有效性.仿真结果表明运用该方法可以使机器人的定位精度平均提高95%以上.4.期刊论文滕文彦.TengWenyan工程岩体的支持向量机分类研究-铁道建筑2005,(11)文章提出一种新的工程岩体分类和寻找最优支持向量机网络的方法,通过采用支持向量机的回归算法来解决多类分类的问题.通过对相同工程岩体的分类结果对比,发现可以采用支持向量机回归算法来解决工程岩体的分类问题,取得与采用支持向量机多类分类算法相同的分类效果,从而证明了采用回归算法来解决分类问题是可行的.5.学位论文李海生支持向量机回归算法与应用研究2005基于数据的机器学习是现代智能技术中的重要方面。统计学习理论(SLT)是一种专门研究小样本情况下机器学习规律的理论，它建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架也发展了一种新的通用学习方法-支持向量机(SVM)，较好的解决小样本学习问题。与神经网络等其它学习方法相比，它的结构通过自动优化的方法计算出来，并且避免了局部最小点、过学习等缺陷。以往大部分研究主要集中在支持向量机分类理论和应用上，近年来关于支持向量机回归(SVMR)的研究也显示出其优异的性能。作为一个新的理论和方法，支持向量机回归在训练算法和实际应用等方面有诸多值得深入探讨的课题。本论文在深入了解支持向量机回归的基本原理和算法的基础上，提出一种用于在线训练的支持向量机回归(OSVR)算法。在线情况下采用批量训练方法对支持向量机回归(SVR)进行训练是非常低效的，因为训练集每次的变化都会导致对支持向量机的重新训练。0SVR训练样本采用序列输入代替了常规的批量输入。通过对两个标准集的测试表明：0SVR算法与SVMTorch算法相比具有可在线序列输入，生成支持向量机少和泛化性能强的优点。　　在分析和了解工业过程软测量原理的基础上，将支持向量机方法引入蒸煮过程纸浆的Kappa值软测量技术中。针对纸浆蒸煮过程机理复杂、影响因素众多和数据不完备条件下纸浆Kappa值预报问题，探讨了支持向量机方法在纸浆Kappa值预报中的应用，经过与线性回归方法和人工神经网络方法预报结果比较，表明该方法具有精度高、速度快、泛化能力强的特点，取得了较传统软测量建模方法更好的预报效果。　　本文利用LS-SVM为辨识器，提出了一种新的基于LS-SVM模型的预测控制结构。最小二乘支持向量机(LS-SVM)方法克服了经典二次规划方法求解支持向量机的维数灾问题，适合于大样本的学习。对一典型非线性系统-连续搅拌槽反应器(CSTR)的仿真表明，该控制方案表现出优良的控制品质并能适应被控对象参数的变化，具有较强的鲁棒性和自适应能力。在控制性能方面它优于神经网络预测控制和传统的PID控制；在研究了标准自抗扰控制器(ADRC)的遗传算法参数自整定的基础上，将支持向量机回归模型嵌入ADRC，并分析了采用该控制方案的原因。将SVM-ADRC与标准ADRC用于两个典型的非线性化工过程：CSTR反应器和pH中和过程的控制。仿真结果表明：线性系统模型对强非线性过程的“时间尺度”辨识简便易行，加入惩罚策略的遗传优化算法能高效、快速的完成ADRC多参数的大范围寻优，摆脱了控制器参数整定对经验的依赖；嵌入了支持向量机模型的ADRC可以提高控制器性能，尤其是提高过渡过程的控制品质，同时控制参数的适应范围更大，具有很好的应用前景。　　本文研究了基于支持向量机模型的逆系统实现及其直接逆模控制，并提出了一种新的支持向量机逆模PID复合控制策略。它充分利用支持向量机简单高效的系统建模能力，发挥了直接逆模控制和PID反馈控制各自的优势，通过CSTR的反应物浓度控制的仿真表明，支持向量机逆模/PID复合控制能克服因辨识逆模型不精确引起的缺陷，并具有良好的控制性能。　　总而言之，本论文以支持向量机回归算法和应用为主要研究内容，具体在训练算法、软测量建模、智能控制等方面进行了深入的研究，取得了一些有益的成果。这些成果对支持向量机回归的算法理论，特别是支持向量机在自动控制领域的结合与应用起到了促进、丰富与深化的作用。6.期刊论文孙德山.SunDeshan支持向量机分类与回归算法的关系研究-计算机应用与软件2008,25(2)基于统计学习理论的支持向量机算法以其优秀的学习性能已广泛用于解决分类与回归问题.分类算法通过求两类样本之间的最大间隔来获得最优分离超平面,其几何意义相当直观,而回归算法的几何意义就不那么直观了.另外,有些适用于分类问题的快速优化算法却不能用于回归算法中.研究了分类与回归算法之间的关系,为快速分类算法应用于回归模型提供了一定的理论依据.7.学位论文张仕华增量支持向量机回归算法及其应用研究2006支持向量机(SVM)是九十年代中期发展起来的新的机器学习技术，与传统的神经网络(NN)技术不同，SVM是以统计学习理论(SLT)为基础，NN是以传统统计学理论为基础。传统统计学的前提条件是要有足够多的样本，而统计学习理论是着重研究小样本条件下的统计规律和学习方法的，它为机器学习问题建立了一个很好的理论框架。实践表明，建立在(SLT)之上支持向量机不仅结构简单，而且技术性能尤其是推广能力明显提高，能够解决好大量实践中的小样本学习问题，它是一个全新的人工智能技术。目前，SVM己成为国际上机器学习领域新的研究热点。本文首次提出增量支持向量机算法的回归模型，并对其进行应用研究。论文的主要工作可归纳如下：首先，第一章简要介绍了机器学习的缺陷，而统计学习理论的发展，导致了支持向量机的诞生，分析了支持向量机与神经网络的差异，并指出了研究和应用支持向量机的必要性和重要性以及现有支持向量机的研究成果和存在的不足，提出了本文的研究内容及目的和意义。第二章探讨了支持向量机理论基础，对支持向量机的传统模型进行了