数据挖掘论文

pa车行数据挖掘案例——电子商务数据挖掘应用内容摘要本论文讨论了电子商务中应用数据挖掘工具的现状与主流方法，并通过pa车行的数据挖掘案例分析C4.5、k-means聚类、贝叶斯聚类三种方法的原理、实现与案例并讨论不同方法的优缺点和局限性。关键字C4.5；k-means聚类；贝叶斯聚类目录1电子商务和数据挖掘概述....................................................................................................21．1电子商务......................................................................................................21．2数据挖掘技术............................................................................................31．3.数据挖掘过程.............................................................................................31.3.1确立目标..........................................................................................31．3．2数据准备......................................................................................41.3.3模式分析..........................................................................................42.数据挖掘的具体应用场景和意义......................................................................................52.1决策树分类算法..............................................................................................52.1.1C4.5算法简介.......................................................................................52.1.2C4.5算法的实现...............................................................................62.1.3C4.5算法的基本原理.......................................................................72.1.4实例：本论文以C4.5算法计算pa车行的各项指标对其影响.......92.2k-means算法..................................................................................................102.2.1k-means算法简介...............................................................................102.2.2K-means原理.....................................................................................102.2.3实例：本论文以k-means算法计算pa车行的各项指标聚类结果112.3贝叶斯分类算法............................................................................................112.3.1贝叶斯分类算法简介.........................................................................112.3.2贝叶斯分类算法原理........................................................................122.3.3实例：本论文以贝叶斯分类算法算法计算pa车行的各项指标聚类结果..............................................................................................................121电子商务和数据挖掘概述1．1电子商务电子商务是指个人或企业通过Internet网络，采用数字化电子方式进行商务数据交换和开展商务业务活动。目前国内已有网上商情广告、电子票据交换、网上订购，网上、网上支付结算等多种类型的电子商务形式。电子商务正以其低廉、方便、快捷、安全、可靠、不受时间和空间的限制等突出优点而逐步在全球流行。电子商务是指以Internet网络为载体、利用数字化电子方式开展的商务活动。随着网络技术和数据库技术的飞速发展，电子商务正显示越来越强大的生命力。电子商务的发展促使公司内部收集了大量的数据，并且迫切需要将这些数据转换成有用的信息和知识，为公司创造更多潜在的利润。利用数据挖掘技术可以有效地帮助企业分析从网上获取的大量数据，发现隐藏在其后的规律性，提取出有效信息，进而指导企业调整营销策略，给客户提供动态的个性化的高效率服务1．2数据挖掘技术数据挖掘(DataMining)，又称数据库中的知识发现(KnowledgeDiscoveryinDatabase,KDD)，是从大量的、不完全的、有噪声的、模糊的和随机的数据中，提取隐含在其中的、人们事先不知道的，但又是潜在有用的信息和知识的过程。数据挖掘是一门广义的交叉学科，它汇聚了不同领域尤其是数据库、人工智能、数理统计、可视化、并行计算等方面的知识。数据挖掘技术从一开始就是面向应用领域，它不仅是面向特定数据库的简单检索查询调用，而且，要对数据进行微观、中观乃至宏观的统计、分析、综合和推理，以指定实际问题的求解，企图发现事件间的相互关联，甚至利用已有的数据对未来的活动进行预测。数据挖掘技术在金融、保险、电信、大型超市等积累有大量数据的电子商务行业有着广泛的应用，如信用分析、风险分析、欺诈检验、用户聚类分析、消费者习惯分析等。而电子商务中的数据挖掘是一项综合技术涉及到Internet技术学、人工智能、、信息学、学等多个领域。1．3.数据挖掘过程挖掘数据过程可以分为3个步骤：确立分析目标，数据预准备，模式分析，挖掘结果的表述和评价。1.3.1确立目标清晰地定义业务问题和认清数据挖掘的目标是进行数据挖掘的第一步，也是最重要步。要想充分发挥数据挖掘的价值，首要的条件是要对用户的目标有一个清晰明确的定义因此，在挖掘之前要明确业务的目标和需求。1．3．2数据准备实际系统中的数据一般都具有不完全性、冗余性和模糊性。因此，数据挖掘一般不对原始数据进行挖掘，要通过预处理提供准确、简洁的数据。预处理主要完成以下工作：包括合并数据，将多个文件或多个数据库中的数据进行合并处理；选择数据，提取出适合分析的数据集合；数据清洗、过滤，剔除一些无关记录，将文件、图形、图像及多媒体等文件转换成可便于数据挖掘的格式等。1.3.3模式分析模式分析是从模式发现阶段获得的模式、规则中过滤掉不感兴趣的规则和模式。通过技术手段，对得到的模式进行数据分析，得出有意义的结论。常用的技术手段有：关联规则、分类、聚类、序列模式等。电子商务是现代信息技术发展的必然结果，也是未来商业运作模式的必然选择。利用数据挖掘技术来分析大量的数据，可以挖掘出商品的消费规律与客户的访问模式，帮助企业制定有效的营销策略，充分发挥企业的独特优势，促进管理创新和技术创新，提高企业竞争力。在大多数的商业领域中，业务发展的主要指标包括新客户的获取能力。企业的市场部门人员可以采用传统的方法来发展新客户，如开展广告活动；也可以根据所了解的目标客户群，将他们分类，然后进行直销活动。但是，随客户数量不断增长和每位客户的细节因素增多，要得出选择出相关的人口调查属性的筛选条件也会变得很困难。而数据挖掘技术可以帮助完成潜在客户的筛选工作。算法能够以图形化的形式表现挖掘的结果，从而方便于使用者快速做出决定或预测。决策树实际在各行业应用非常广泛，如客户资源管理（CRM）系统等。4．挖掘结果的表述和评价这个阶段分为结果表述和结果评价两个步骤。将挖掘出的结果以一种易于理解的形表示出来，并进行分析和评价。具体包括消除无关的、多余的模式，过滤出要呈现给用的信息。利用可视化技术将有意义的模式以图形或逻辑可视化的形式表示，转化为用户以理解的语言。成功的应用数据挖掘技术可以把原始数据转换为更简洁、更易理解、可确定义关系的形式，此外还可以解决发现的结果与以前知识的潜在冲突及利用统计方法模式进行评价，从而决定是否需要重复以前的操作，以得到最优、最适合的模式。我们可将分析所得到的知识集成到业务信息系统的组织结构中去，实现知识的同化。综上所述，数据挖掘是一个多种专家合作的过程，也是一个在资金上和技术上高投的过程，这一过程要反复进行。在反复过程中，不断地趋近事物的本质，不断地优化问的解决方案。2.数据挖掘的具体应用场景和意义2.1决策树分类算法2.1.1C4.5算法简介数据挖掘中最常用、最经典的分类算法，是决策树（DecisionTree）用于分类和预测的主要技术，它着眼于从一组无规则的事例推理出决策树表示形式的分类规则，采用自顶向下的递归方式，在决策树的内部节点进行属性值的比较，并根据不同属性判断从该节点向下分支，在决策树的叶节点得到结论。因此，从根节点到叶节点就对应着一条合理规则，整棵树就对应着一组表达式规则。基于决策树算法的一个最大的优点是它在学习过程中不需要使用者了解很多背景知识，只要训练事例能够用属性即结论的方式表达出来，就能使用该算法进行学习。决策树技术是一种对海量数据集进行分类的非常有效的方法。通过构造决策树模型，提取有价值的分类规则，帮助决策者做出准确的预测已经应用在很多领域。决策树算法是一种逼近离散函数值的方法。它是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。决策树的典型算法有ID3、C4.5和CART等，基于决策树的分类模型有如下几个特点：（1）决策树方法结构简单，便于理解；（2）决策树模型效率高，对训练集较大的情况较为适合；（3）决策树方法通常不需要接受训练集数据外的知识；（4）决策树方法具有较高的分类精确度。本论文主要通过分析C4.5算法来研究决策树算法。在决策树算法中，最常用的、最经典的是C4.5算法，它在决策树算法中的主要优点是：形象直观。该算法通过两个步骤来建立决策树：树的生成阶段和树的剪枝阶段。该算法主要基于信息论中的熵理论。熵在系统学上是表示事物的无序度，是系统混乱程度的统计量。C4.5基于生成的决策树中节点所含的信息熵最小的原理。它把信息增益率作为属性选择的度量标准，可以得出很容易理解的决策规则。C4.5算法的优点是产生的分类规则易于理解，准确率较高。缺点就是在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。此外，C4.5算法只适合于能够驻