数据挖掘技术介绍(ppt-40页)

数据挖掘技术简介演讲人：钟云飞Email：[e-mail]2002年7月19日大纲•什么是数据挖掘•数据挖掘的标准流程：CRISP－DM•数据挖掘工具——SPSSClementine简介第一部分：什么是数据挖掘？数据挖掘都干了些什么？英国电信需要发布一种新的产品，需要通过直邮的方式向客户推荐这种产品。。。。。。使直邮的回应率提高了100％数据挖掘都干了些什么？GUS日用品零售商店需要准确的预测未来的商品销售量，降低库存成本。。。。。。通过数据挖掘的方法使库存成本比原来减少了3.8%数据挖掘都干了些什么？汇丰银行需要对不断增长的客户群进行分类，对每种产品找出最有价值的客户。。。。。。营销费用减少了30％数据挖掘都干了些什么？美国国防财务部需要从每年上百万比的军火交易中发现可能存在的欺诈现象。。。。。。发现可能存在欺诈的交易，进行深入调查，节约了大量的调查成本数据挖掘都干了些什么？美国国内税务局需要提高对纳税人的服务水平。。。。。。合理安排税务官的工作，为纳税人提供更迅捷、更准确的服务通过数据挖掘您可以发现最有价值的客户通过数据挖掘您可以使组合销售更有效率通过数据挖掘您可以留住那些最有价值的客户通过数据挖掘您可以用更小的成本发现欺诈现象•通过采用自动或半自动的手段，在海量数据中发现有意义的行为和规则的探测和分析活动。•数据挖掘能够帮助你选择正确瞄准潜在目标，向现有的客户提供额外的产品，识别那些准备离开的好客户。什么是数据挖掘•电信：流失•银行：聚类（细分）,交叉销售•百货公司/超市：购物篮分析（关联规则）•保险：细分，交叉销售，流失（原因分析）•信用卡：欺诈探测，细分•电子商务：网站日志分析•税务部门：偷漏税行为探测•警察机关：犯罪行为分析•医学：医疗保健数据挖掘应用领域数据挖掘效益分析(直邮）(BigBank&CreditCardCompany)目的：发现新客户数据挖掘以前数据挖掘以后差别发信的数量1,000,000750,000(250,000)成本$1,000,000$750,000($250,000)响应的数量10,0009,000(1,000)每个响应的毛利$125$125$0总毛利$1,250,000$1,125,000($125,000)净利润$250,000$375,000$125,000建模的费用040,000$40,000最终的利润$250,000$335,000$85,000第二部分：数据挖掘标准流程——CRISP-DMCRISP－DM简介•CRISP－DM是CRoss-IndustryStandardProcess－DataMining的缩写•由SPSS、NCR、Daimler-Benz在1996年制定•CRISP是当今数据挖掘业界通用流行的标准之一•它强调数据挖掘在商业中的应用，解决商业中存在的问题，而不是把数据挖掘局限在研究领域CRISP－DM•商业理解•数据理解•数据准备•建立模型•模型评估•模型发布商业理解（BusinessUnderstanding)•找问题－确定商业目标•对现有资源的评估•确定问题是否能够通过数据挖掘来解决•确定数据挖掘的目标•制定数据挖掘计划数据理解(DataUnderstanding)•确定数据挖掘所需要的数据•对数据进行描述•数据的初步探索•检查数据的质量数据准备(DataPreparation)•选择数据•清理数据•对数据进行重建•调整数据格式使之适合建模建立模型（Modeling)•对各个模型进行评价•选择数据挖掘模型•建立模型模型评估(Evaluation)•评估数据挖掘的结果•对整个数据挖掘过程的前面步骤进行评估•确定下一步怎么办？是发布模型？还是对数据挖掘过程进行进一步的调整，产生新的模型模型发布（Deployment）•把数据挖掘模型的结果送到相应的管理人员手中•对模型进行日常的监测和维护•定期更新数据挖掘模型第三部分：数据挖掘工具—SPSSClementine简介•Makeadifferencewiththe•predictivepowerofdatamining应用Clementine达到你数据挖掘的目标•图形化的界面、数据流的形式建立模型，保证了应用Clementine进行数据挖掘关注商业更甚于关注技术本身•开放式的技术是更好的保护您的投资的保障•高度的扩展性保证对数据库中大量的数据进行挖掘•业界领先的发布技术使数据挖掘结果更好的传递到相应管理人员手中把你的商业经验溶入数据挖掘过程是数据挖掘成功的关键Betterdataminingresults!InsightBusinessproblem?Whatyouknow丰富的数据挖掘算法•PredictionNeuralnet,C5.0•ClassificationNeuralnet,C5.0•SegmentationKohonen,Kmeans,C5.0•AssociationApriori,GRI,Webgraph•SequenceCaprI,NeuralNet,Regression与SPSS及AnswerTree无缝集成提供更多的算法•LogisticRegression•DiscriminantAnalysis•FactorAnalysis•Manymore...•C&RT•CHAID•ExhaustiveCHAID•QUEST使你在数据仓库上的投资得到最大的回报•Sybase•DB2•Informix•OpenIngress•Oracle•SQLServer•+ODBCdriversforothers•+ODBCsocketfornativedrivers开放的建模性能在Clementine中通过CEMI加入新的算法Clementine的系统结构1.Performmanyoperationsinthedatabase.2.Performtherestonapowerfulserver.3.Usetheclientprocessorforviewingresults.ClementineServerdelivershugeperformancegains•Generatingadistributiongraph–995secondswhenprocessedonthedesktop–69secondswhenprocessedontheserver–19secondswhenpushedbackintothedatabaseIn-databaseprocessingdeliversbetterperformanceasdatasetsgetlarger•Selectingcases–secondsrequiredformillionsofrecordswhenprocessedontheserverv.inthedatabaseClementineServercutsmodelbuildingtimeupto90%•Modelbuilding–timeneededforbuildingmodelsontheserverasapercentageofthetimeneededforbuildingthemodelonthedesktopClementineSolutionPublisher:领先的模型发布技术ModelexportClementineSolutionPublisher:modelandprocessingSPSS为您提供全方位的服务，帮助您获得商业成功•全方位的服务•全球性的公司•与业界领袖的伙伴关系谢谢大家！1、机遇对于有准备的头脑有特别的亲和力。2、不求与人相比，但求超越自己，要哭就哭出激动的泪水，要笑就笑出成长的性格！3、在你内心深处，还有无穷的潜力，有一天当你回首看时，你就会知道这绝对是真的。4、无论你觉得自己多么的了不起，也永远有人比你更强；无论你觉得自己多么的不幸，永远有人比你更加不幸。5、不要浪费你的生命，在你一定会后悔的地方上。6、放弃该放弃的是无奈，放弃不该放弃的是无能；不放弃该放弃的是无知，不放弃不该放弃的是执着。7、不要轻易用过去来衡量生活的幸与不幸！每个人的生命都是可以绽放美丽的，只要你珍惜。8、千万别迷恋网络游戏，要玩就玩好人生这场大游戏。9、过错是暂时的遗憾，而错过则是永远的遗憾！10、人生是个圆，有的人走了一辈子也没有走出命运画出的圆圈，其实，圆上的每一个点都有一条腾飞的切线。11、没有压力的生活就会空虚；没有压力的青春就会枯萎；没有压力的生命就会黯淡。12、我以为挫折、磨难是锻炼意志、增强能力的好机会。——邹韬奋13、你不能左右天气，但可以改变心情。你不能改变容貌，但可以掌握自己。你不能预见明天，但可以珍惜今天。14、我们总是对陌生人太客气，而对亲密的人太苛刻。15、人之所以痛苦，在于追求错误的东西。16、知道自己要干什么，夜深人静，问问自己，将来的打算，并朝着那个方向去实现。而不是无所事事和做一些无谓的事。17、逆境是成长必经的过程，能勇于接受逆境的人，生命就会日渐的茁壮。18、哪里有天才，我是把别人喝咖啡的功夫，都用在工作上的。——鲁迅19、所谓天才，那就是假话，勤奋的工作才是实在的。——爱迪生20、做一个决定，并不难，难的是付诸行动，并且坚持到底。21、不要因为自己还年轻，用健康去换去金钱，等到老了，才明白金钱却换不来健康。22、如果你不给自己烦恼，别人也永远不可能给你烦恼，烦恼都是自己内心制造的。23、命运负责洗牌，但是玩牌的是我们自己！24、再长的路，一步步也能走完，再短的路，不迈开双脚也无法到达。25、成功，往往住在失败的隔壁！26、大多数人想要改造这个世界，但却罕有人想改造自己。27、人生是一场旅行，在乎的不是目的地，是沿途的风景以及看风景的心情。28、伟大的事业不是靠力气、速度和身体的敏捷完成的，而是靠性格、意志和知识的力量完成的。29、人生最大的喜悦是每个人都说你做不到，你却完成它了！30、在实现理想的路途中，必须排除一切干扰，特别是要看清那些美丽的诱惑。31、激情，这是鼓满船帆的风。风有时会把船帆吹断；但没有风，帆船就不能航行。32、滴水穿石不是靠力，而是因为不舍昼夜。33、忍别人所不能忍的痛，吃别人所别人所不能吃的苦，是为了收获得不到的收获。34、时间是个常数，但也是个变数。勤奋的人无穷多，懒惰的人无穷少。——字严35、不同的信念，决定不同的命运！36、只有你学会把自己已有的成绩都归零，才能腾出空间去接纳更多的新东西，如此才能使自己不断的超越自己。37、突破心理障碍，才能超越自己。38、人不怕走在黑夜里，就怕心中没有阳光。9、过错是暂时的遗憾，而错过则是永远的遗憾！10、人生是个圆，有的人走了一辈子也没有走出命运画出的圆圈，其实，圆上的每一个点都有一条腾飞的切线。11、没有压力的生活就会空虚；没有压力的青春就会枯萎；没有压力的生命就会黯淡。12、我以为挫折、磨难是锻炼意志、增强能力的好机会。——邹韬奋13、你不能左右天气，但可以改变心情。你不能改变容貌，但可以掌握自己。你不能预见明天，但可以珍惜今天。14、我们总是对陌生人太客气，而对亲密的人太苛刻。39、生命里最重要的事情是要有个远大的目标，并借助才能与坚毅来完成它。——歌德40、工作中，你要把每一件小事都和远大的固定的目标结合起来。41、大部分人往往对已经失去的机遇捶胸顿足，却对眼前的机遇熟视无睹20、对所学知识内容的兴趣可能成为学习动机。——赞科夫21、游手好闲地学习，并不比学习游手好闲好。——约翰·贝勒斯22、读史使人明智，读诗使人灵秀，数学使人周密，自然哲学使人精邃，伦理学使人庄重，逻辑学使人善辩。——培根23、我们在我们的劳动过程中学习思考，劳动的结果，我们认识了世界的奥妙，于是我们就真正来改变生活了。——高尔基24、我们要振作精神，下苦功学习。下苦功，三个字，一个叫下，一个叫苦，一个叫功，一定要振作精神，下苦功。——毛泽东25、我学习了一生，现在我还在学习，而将来，只要我还有精力，我还要学习下去。——别林斯基