大数据算法综述

数据挖掘算法综述张娴162107201332017.04.28CONTENTS大数据概述数据挖掘算法分类经典算法简介123PARTONE大数据概述大数据概述大数据是指无法在一定时间范围内用常规的软件工具进行捕捉、管理和处理的数据集合。是由于目前存储和计算模式与能力不能满足存储与处理现有数据集规模的需求而产生的相对概念。大数据平台的设计大数据分布式存储系统：研究大规模、非结构化数据的存储问题，突破大数据的存储、管理和高效访问关键技术平台层高可扩展性大数据挖掘算法：基于云计算的分布式大数据处理与挖掘算法，构建高可扩展的大数据处理与挖掘算法库功能层基于Web的大数据挖掘技术：Web的大数据挖掘方法和流程，实现易于使用的基于Web的大数据挖掘技术，构建基于Web的大数据分析环境。服务层PARTTWO数据挖掘算法分类数据挖掘大数据的挖掘是从海量、不完全的、有噪声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知识的过程，也是一种决策支持过程。大数据的挖掘常用的方法有分类、回归分析、聚类、关联规则、神经网络方法、Web数据挖掘等。这些方法从不同的角度对数据进行挖掘。数据挖掘算法分类找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到摸个给定的类别中。分类反映了数据库中数据的属性值的特性，通过函数表达数据映射的关系来发现属性值之间的依赖关系。回归分析针对数据的相似性和差异性将一组数据分为几个类别。属于同一类别的数据间的相似性很大，但不同类别之间数据的相似性很小，跨类的数据关联性很低。聚类数据挖掘算法分类隐藏在数据项之间的关联或相互关系，即可以根据一个数据项的出现推导出其他数据项的出现。关联一种先进的人工智能技术，具有自行处理、分布存储和高度容错等特性。非常适合处理非线性的以及那些以模糊、不完整、不严密的知识或数据。神经网络Web从文档结构和使用的集合C中发现隐含的模式P，如果将C看做是输入，P看做是输出，那么Web挖掘过程就可以看做是从输入到输出的一个映射过程。Web数据挖掘PARTTHREE经典算法简介ID3算法决策树是一种依托决策而建立起来的一种树。在机器学习中，决策树是一种预测模型，代表的是一种对象属性与对象值之间的一种映射关系，每一个节点代表某个对象，树中的每一个分叉路径代表某个可能的属性值，而每一个叶子节点则对应从根节点到该叶子节点所经历的路径所表示的对象的值。决策树仅有单一输出，如果有多个输出，可以分别建立独立的决策树以处理不同的输出。ID3算法ID3算法是决策树的一种，它是基于奥卡姆剃刀原理的，即用尽量用较少的东西做更多的事。在信息论中，期望信息越小，那么信息增益就越大，从而纯度就越高。ID3算法的核心思想就是以信息增益来度量属性的选择，选择分裂后信息增益最大的属性进行分裂。该算法采用自顶向下的贪婪搜索遍历可能的决策空间。ID3算法En𝑡𝑟𝑜𝑝𝑦(𝑆)=−914𝑙𝑜𝑔2914−514𝑙𝑜𝑔2514=0.940259ID3算法En𝑡𝑟𝑜𝑝𝑦(𝑠𝑢𝑛𝑛𝑦)=−25𝑙𝑜𝑔225−35𝑙𝑜𝑔235=0.970951En𝑡𝑟𝑜𝑝𝑦(𝑜𝑣𝑒𝑟𝑐𝑎𝑠𝑡)=−44𝑙𝑜𝑔244−0∙𝑙𝑜𝑔20=0En𝑡𝑟𝑜𝑝𝑦(𝑟𝑎𝑖𝑛𝑦)=−35𝑙𝑜𝑔235−25𝑙𝑜𝑔225=0.970951ID3算法En𝑡𝑟𝑜𝑝𝑦(𝑆|𝑇)=514∙0.970951+414∙0+514∙0.970951=0.693536IG(T)=En𝑡𝑟𝑜𝑝𝑦𝑆−En𝑡𝑟𝑜𝑝𝑦(𝑆|𝑇)=0.24675C4.5算法C4.5相比于ID3改进的地方有：1、用信息增益率来选择属性。2、在树构造过程中进行剪枝，在构造决策树的时候，那些挂着几个元素的节点，不考虑最好，不然容易导致overfitting。3、对非离散数据也能处理。4、能够对不完整数据进行处理。K-Means算法K-Means算法是聚类算法，k在在这里指的是分类的类型数，所以在开始设定的时候非常关键，算法的原理是首先假定k个分类点，然后根据欧式距离计算分类，然后取同分类的均值作为新的聚簇中心，循环操作直到收敛。K-Means算法Apriori关联算法Apriori算法学习数据的关联规则(associationrules)，适用于包含大量事务（transcation）的数据库。关联规则学习是学习数据库中不同变量中的相互关系的一种数据挖掘技术。Apriori关联算法基本的Apriori算法有三步：1、参与：扫描一遍整个数据库，计算1-itemsets出现的频率。2、剪枝：满足支持度和可信度的这些1-itemsets移动到下一轮流程，再寻找出现的2-itemsets。3、重复：对于每种水平的项集一直重复计算，直到我们之前定义的项集大小为止。THANKSFORYOURLISTENINGQ&A