数据挖掘在股票预测中的应用

天津理工大学《数据挖掘技术》课程报告数据挖掘在股票预测中的应用学院：计算机与通信工程专业：计算机技术姓名：郑春园学号:153131314数据挖掘在股票预测中的应用摘要:作为海量数据的处理方法，数据挖掘从诞生起就和股票市场有着密不可分的联系。证券行业更是在信息化迅速发展的前提下成长起来的，很多业务都需要依赖对大量历史数据的分析，从中挖掘出有价值的信息。数据挖掘能够很好的处理这些非平稳、非正态、高噪声的数据。通过结合统计学的抽样、估计和假设检验；机器学习的搜索算法和建模技术；再加上最优化、信息论和信息检索等领域的思想，数据挖掘在处理海量数据和高频、多维数据上有着相当优势。最关键的是他能够对不断获得的新数据进行模型的动态更新，非常适合应用于新环境。本文使用了时间序列方法人工神经网络模型对证券市场的价格进行建模和预测。应用时间序列方法预测时使用了简单一次移动平均预测法、一次指数平滑预测法、两次指数平滑预测法。时间序列方法预测股票走势最为简单，但是误差过大。应用人工神经网络时，采用了BP算法和遗传算法来训练网络权值，同时使用动量法和学习率自适应调整相结合的策略，人工神经网络模型虽然预测效果最好，但是计算量过大。关键字：数据挖掘股票预测时间序列预测人工神经网络Abstract：Asahugeamountofdataprocessingmethods,dataminingandthestockmarketisinextricablylinked.Thesecuritiesindustryrapidlydevelopmentbecauseoftheinformationtechnology'simprovement.Manybusinessesinstockmarketrelyondiggingoutthelargeamountofhistoricaldataanalysistofindthevaluableinformation.Dataminingcanbeverygoodtodealwiththesenon-stationary,non-normal,high-noisedata.Bycombiningstatisticalsampling,estimationandhypothesistesting,machinelearningsearchalgorithmsandmodelingtechniques,datamininghaveaconsiderableadvantageindealingwithlargeamountsofdata、high-frequency,multi-dimensionaldata.Themostimportantfactoristhatitcancontinuetoembodythenewdatatodynamicupdatethedatamodelwhichisverysuitableforthenewenvironment.Itisusethetime．seriesmethods．theartifieialneuralnetworkmodelinthispapcr．AppIicationsoftime-seriesforecastingmethodshavebeenusedinasimplemovingaverageforecast．aforecastofexponentialsmoothing,twoexponentialsmoothingpredictionmethod．time-seriesmethodshavethemostsimpleinforc-eastingtrendofthestock,buthavethelargesterror．ApplicationofArtificialNeuralNetwork,BPalgorithmandusedgeneticalgorithmstotrainthenetworkweights，butalsoadoptedthelearningrateandmomentummethodofcombiningadaptiveadjustmentofthestrategy,thepriceofthesecuritiesmarkets．modelingandforecasting．Artificialneuralnetworkmodelinspiteoftheprojectedbcsteffect,butthevolumecalculated．Keyword：DataminingforecastofstockMarkerchainTimeArtificiaIneuralnetwork1绪论1.1论文的背景金融市场就是以金融资产为交易工具形成的供求和交易机制的总和，简言之即是金融商品的交易场所。随着经济市场化程度的提高，市场运作体制机制的不断完善，我国股票市场的发展也会逐渐步入理性运行的区间，非理性震荡将大幅减少或消失。2008年股市暴跌、投资者信心受挫，既有股权全流通的因素，也有国内经济形势波动以及国际金融动荡的因素，但其中也有我国特殊国情的因素，毕竟，证券市场对于我们这样的一个新兴的市场经济体而言，仍然算不上底蕴深厚，我们在股权文化上的缺失不是几年可以弥补的。1.2论文研究的目的与意义作为市场经济重要特征的股票市场，从诞生的那天起就牵挂着数以千万投资者的心。高风险高回报是股票市场的特征，因此投资者们时刻在关心股市、分析股市、试图预测股市的发展趋势。一百多年来，一些分析方法随着股市的产生和发展逐步完善起来，如：道氏分析法、K线图分析法、柱状图分析法、点数图分析法、移动平均法，还有形态分析法、趋势分析法、角度分析法、神秘级数与黄金分割比螺旋历法、四度空间法等，随着计算机技术在证券分析领域的普及与应用，不断推出新的指标分析法。然而，严格讲这些方法仅仅是分析手段，还不能直接预测股市的动态。此外，人们也试图用回归分析等统计手段建立模型来预测股市。然而，利用传统的预测技术进行股市预测有一个最根本的困难，那就是待处理的数据量非常巨大。由于股市的行情受到政治、经济等多方面因素的影响，其内部规律非常复杂，某些变化规律的周期可能是一年甚至是几年，因此需要通过对大量数据的分析才能得到，而传统的预测技术预测效果并不理想。近十年间，数据挖掘技术的研究工作取得了很大的进展，各种数据挖掘技术的应用极大地推动了人们分析、处理大量数据信息的能力，并为人们带来了很好的经济效益，因此可以预见数据挖掘技术在股市预测中将会有很大的潜力。1．3国内外研究现状技术分析方法近些年来发展很快，特别是随着计算机的普及，各种分析方法越来越多。针对股票市场表现出的不同特点，国内外学者提出了多种多样的分析和预测方法，常用的分析和预测方法有下面几种。1：(1)证券投资分析方法。这是市场分析家常用的方法。(2)时间序列分析法。这种方法主要是通过建立股价及综合指标平均模型(ARMA)、自回归移动平均模型(ARIMA)等来预测未来变化。(3)其他预测方法。如专家评估法和市场调查法等定性方法、季节变动法、马尔可夫链和判别分析法等定量预测方法。(4)神经网络预测法。神经网络是一种最新的时间序列分析方法。1．3．1国内研究现状90年代以来，我国计算机技术、尤其是数据库技术和网络技术在股票市场中得到充分应用，使得作为证券市场的重要组成的股票市场更加蓬勃发展起来，逐步成为证券业乃至整个金融业的必不可少的组成部分，显示出强大的生命力。早期市面流行的预测方法很多，其中技术分析便包括了移均线、l(D指标、RSI等30余种指标。这些预测方法大多使用了统计学知识。近两年，随着数据挖掘技术的日趋成熟，更多的国内学者采用了数据挖掘方法预测股市走势。常用的如：时间序列分析法，独立分量分析法、人工神经网络等。有些在算法方面对分析方法提出改进，如离散小波的学习算法、BP算法、正交最小二乘法、决策树算法、租糙集算法等㈣1。有些在模型建立上提出刨新，如建立混合型的神经网络模型哪御、多变量函数估计小波网络和模糊小波网络模型、运用最小描述长度原则选取显效因子建立模型等。1．3．2国外研究现状相比国内，国外对股票预测方面的研究要早很多。1987年，Ledes和Farbor首次将神经网络引入到预测领域中，无论是从思想上、还是技术上都是一种拓宽和突破。它解决了传统预测模型难以处理高维非线性、偏重定量指标、难以处理定性指标、缺少自适应和自学习能力的预测问题。随后，RefeneS等人将神经网络预测方法和多重线性回归方法在股票市场预测中的应用进行了比较研究，指出神经网络的平滑内插特性使其能较好的拟合数据并能更好地泛化，其预测精度比统计预测方法有较大的提高。1992年由美国的Pati和shnaprasad首次正式提出小波神经网络，通过小波函数作为神经元的映射函数，充分利用小波基的局域特性及具有自适应的时频特点，构造了离散仿射小波神经网络”。目前，国内外研究现状基本相同，都是对以往研究成果进行改进。其中比较有影响的是Last，M提出的首先对时间序列进行预处理，然后从中抽取关键的预测属性，这些属性对时间序列的发展趋势影响较大，将其组成属性集，这些预测属性表征了时间序列的某种特性，这种特性与时间没有关系，因此可以采用普通的静态的数据挖掘工具对时间序列进行行为趋势的分类预测。此外有些专家也将态势理论引入了股票走势预测中根据军事领域的数据融合理论，将所观测的多空力量分布与活动和当前的证券投资环境、对方投资操作意图及操作机动性有机地联系起来，分析证券涨跌的原因，得到关于个股，板块和大盘的估计，最终形成证券综合态势图。第二章数据挖掘技术与证券分析技术2．1数据挖掘技术近年来随着数据库和计算机网络的广泛应用，加上使用先进的自动数据生成和采集工具，人们所拥有的数据量急剧增大。数据的迅速增加与数据分析方法滞后之间的矛盾越来越突出，人们希望能够在对已有的大量数据分析的基础上进行科学研究，从而充分的利用海量数据。但是目前所拥有的数据分析工具很难对数据进行深层次的处理，使得人们只能望’数’兴叹．数据挖掘正是为了解决传统分析方法的不足，并针对大规模数据的分析处理而出现的。数据挖掘从大量数据中提取出隐藏在数据之后的有用的信息，它被越来越多的领域所采用并取得了较好的效果，为人们的正确决策提供了很大的帮助。目前，数据挖掘技术在银行、电信、保险、交通、零售等商业领域得到了广泛的应用，在股市预测方面也是一样。随着国内证券行业政策的逐步开放，证券行业的竞争越来越激烈，股市预测对数据的依赖性和敏感度也越来越高“”。数据挖掘是从数据中发现知识，挖掘、开发和利用这些数据可以使证券行业进行最适合的定位，将使企业长期的积累得以充分发挥，从而树立竞争优势。数据挖掘技术作为分析与辅助决策工具已经越来越得到国内券商的重视。2．1．1数据挖掘基本思想数据挖掘，顾名思义就是从大量的数据中挖掘出有用的信息，即从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中发现隐含的、规律性的、人们事先未知的，但是又是潜在有用的并且最终可理解的信息和知识的非平凡过程。事先未知的信息是指该信息是预先未预料到的，或称新颖性。新颖性要求发现的模式应该是从前未知的，该信息是预先未曾预料到的。数据挖掘就是要发现那些不能靠直觉发现的信息或知识，甚至是违背直觉的信息或知识。数据挖掘是一门交叉学科，融合了数据库、人工智能、机器学习、统计学等多个领域的理论和技术“”。数据挖掘利用各种分析工具在海量数据中发现模型和数据间关系的过程，使用这些模型和关系可以进行预测，它帮助决策者寻找数据潜在的关联，发现被忽略的因素，因而被认为是解决当今时代所面临的数据爆炸而信息贫乏问题的一种有效方法。2．1．2数据挖掘分类数据挖掘涉及多个学科，主要包括数据库、统计学和机器学习三大主要技术。可以按照数据库类型、挖掘对象、挖掘任务、挖掘方法和技术，以及应用等几方面进行分类。1．按数据库类型分类数据库主要是在关系数据库中挖掘知识。随数据库类型的不断增加，逐步出现了不同数据库