【2019年整理】数据挖掘知识点整理

第一章1、数据挖掘的概念及其特点数据挖掘概念：在大量的数据中挖掘感兴趣的知识（规则，规律，模式，约束）数据挖掘(从数据中发现知识)特点：从大量的数据中挖掘哪些令人感兴趣的、有用的、隐含的、先前未知的和可能有用的模式或知识挖掘的不仅仅是数据（所以“数据挖掘”并非一个精确的用词）2、数据挖掘的核心（KDD）是什么？知识挖掘（KDD）数据挖掘与知识发现从KDD对数据挖掘的定义中可以看到当前研究领域对数据挖掘的狭义和广义认识数据清理:(这个可能要占全过程60％的工作量)1、数据集成2、数据选择3、数据变换4、数据挖掘（选择适当的算法来找到感兴趣的模式）5、模式评估6、知识表示3、数据挖掘的体制结构。4、数据挖掘的主要方法（能够区分）常用模式5、6、7、分类预测的说明：比如：按气候将国家分类，按汽油消耗定额将汽车分类导出模型的表示:判定树、分类规则、神经网络可以用来预报某些未知的或丢失的数字值聚类分析的说明：例：对WEB日志的数据进行聚类，以发现相同的用户访问模式孤立点分析的说明（应用)信用卡欺诈检测/移动电话欺诈检测/客户划分/医疗分析（异常）第二章1、数据仓库的概念（特点就在概念里）数据仓库是一个(1)面向主题的、(2)集成的、(3)随时间而变化的、(4)不容易丢失的数据集合，支持管理部门的决策过程.2、OLAP（联机分析处理）和OLTP（联机事务处理）的区别1、用户和系统的面向性：面向顾客（事务）VS.面向市场（分析）2、数据内容：当前的、详细的数据（事务）VS.历史的、汇总的数据（分析）3、数据库设计：实体－联系模型(ER)和面向应用的数据库设计（事务）VS.星型/雪花模型和面向主题的数据库设计（分析）4、数据视图：当前的、企业内部的数据（事务）VS.经过演化的、集成的数据（分析）5、访问模式：事务操作（事务）VS.只读查询（但很多是复杂的查询）（分析）6、任务单位：简短的事务VS.复杂的查询7、访问数据量：数十个VS.数百万个8、用户数：数千个VS.数百个9、数据库规模：100M-数GBVS.100GB-数TB10、设计优先性：高性能、高可用性VS.高灵活性、端点用户自治11、度量：事务吞吐量VS.查询吞吐量、响应时间3、多维数据模型在多维数据模型中，数据以数据立方体(datacube)的形式存在数据立方体允许以多维数据建模和观察。它由维和事实定义维是关于一个组织想要记录的视角或观点。每个维都有一个表与之相关联，称为维表。多维数据模型围绕中心主题组织，该主题用事实表表示事实表包括事实的名称或度量以及每个相关维表的关键字事实指的是一些数字度量一个n维的数据的立方体叫做基本方体。给定一个维的集合，我们可以构造一个方体的格，每个都在不同的汇总级或不同的数据子集显示数据，方体的格称为数据立方体。0维方体存放最高层的汇总，称作顶点方体；而存放最底层汇总的方体则称为基本方体。3、几种常见的概念模型星型模式（Starschema）:事实表在中心，周围围绕地连接着维表（每维一个），事实表含有大量数据，没有冗余。雪花模式（Snowflakeschema）:是星型模式的变种，其中某些维表是规范化的，因而把数据进一步分解到附加表中。结果，模式图形成类似于雪花的形状。事实星座（Factconstellations）:多个事实表共享维表,这种模式可以看作星型模式集，因此称为星系模式（galaxyschema），或者事实星座（factconstellation）4、一种数据挖掘查询语言DMQL一种是立方体定义，一种是维定义立方体定义(事实表)definecubecube_name[dimension_list]:measure_list维定义(维表)definedimensiondimension_nameas(attribute_or_subdimension_list)5、概念分层的概念一个概念分层定义一个映射序列，将低层概念映射到更一般的高层概念多维数据模型（数据立方体）使得从不同的角度对数据进行观察成为可能，而概念分层则提供了从不同层次对数据进行观察的能力；结合这两者的特征，我们可以在多维数据模型上定义各种OLAP操作，为用户从不同角度不同层次观察数据提供了灵活性：6、多维数据模型上的OLAP操作上卷(roll-up):汇总数据通过一个维的概念分层向上攀升或者通过维规约当用维归约进行上卷时，一个或多个维由给定的数据立方体删除下钻(drill-down)：上卷的逆操作由不太详细的数据到更详细的数据，可以通过沿维的概念分层向下或引入新的维来实现(为给定数据添加更多细节)7、数据仓库设计的三种方法（自顶向下法、自底向上法或者两者的混合方法）自顶向下法：由总体设计和规划开始在技术成熟、商业理解透彻的情况下使用自底向上法：以实验和原型开始常用在模型和技术开发的初期，可以有效的对使用的技术和模型进行评估，降低风险混合方法：上述两者的结合8、元数据的概念，可以分为哪几类？元数据就是定义数据仓库对象的数据1、数据仓库结构的描述仓库模式、视图、维、层次结构、导出数据的定义，以及数据集市的位置和内容2、操作元数据包括数据血统(datalineage)、数据类别(currencyofdata)，以及监视信息3、汇总用的算法4、由操作环境到数据仓库的映射5、关于系统性能的数据索引，profiles，数据刷新、更新或复制事件的调度和定时6、商务元数据商务术语和定义、数据拥有者信息、收费政策等（技术元数据、业务元数据）第三章1、什么是数据预处理？为什么进行？预处理的主要方法和内容。概念：数据预处理是知识发现过程的重要步骤。检测数据异常、尽早地调整数据，并归约待分析的数据，将在决策过程中得到高回报。进行的原因：现实世界的数据是“肮脏的”——数据多了，什么问题都会出现不完整的：有些感兴趣的属性缺少属性值，或仅包含聚集数据含噪声的：包含错误或者“孤立点”不一致的：在编码或者命名上存在差异没有高质量的数据，就没有高质量的挖掘结果高质量的决策必须依赖高质量的数据数据仓库需要对高质量的数据进行一致地集成主要方法和内容：数据清理:填写空缺的值，平滑噪声数据，识别、删除孤立点，解决不一致性数据集成:集成多个数据库、数据立方体或文件数据变换:规范化和聚集数据归约:得到数据集的压缩表示，它小得多，但可以得到相同或相近的结果数据离散化:数据归约的一部分，通过概念分层和数据的离散化来规约数据，对数字型数据特别重要所占工作量最多的过程：数据清理2、如何处理空缺值？最理想的是哪个方法？忽略元组：当类标号缺少时通常这么做（假定挖掘任务涉及分类或描述），当每个属性缺少值的百分比变化很大时，它的效果非常差。人工填写空缺值：工作量大，可行性低使用一个全局变量填充空缺值：比如使用unknown或-∞使用属性的平均值填充空缺值：使用与给定元组属同一类的所有样本的平均值使用最可能的值填充空缺值：使用像Bayesian公式或判定树这样的基于推断的方法（最理想）3、什么是噪声，引起噪声的原因。噪声：一个测量变量中的随机错误或偏差引起噪声数据的原因：数据收集工具的问题、数据输入错误、数据传输错误、技术限制、命名规则的不一致。4、数据平滑地分箱分箱(binning):首先排序数据，并将他们分到等深的箱中然后可以按箱的平均值平滑、按箱中值平滑、按箱的边界平滑等等方法：price的排序后数据（单位：美元）：4，8，15，21，21，24，25，28，34划分为（等深的）箱：箱1：4，8，15箱2：21，21，24箱3：25，28，34用箱平均值平滑：箱1：9，9，9箱2：22，22，22箱3：29，29，29用箱边界平滑：箱1：4，4，15箱2：21，21，24箱3：25，25，345、数据变换（规范化、最小最大要求掌握，计算），并解释为什么要做这样的变换。规范化：将数据按比例缩放，使之落入一个小的特定区间（最小－最大规范化、z-score规范化、小数定标规范化）最小－最大规范化数据规范化的一种方法是“最小—最大规范化”，即假设数据的取值区间为[old_min,old_max]，“最小—最大规范化”即把这个区间映射到新的取值区间[new_min,new_max]。对于任意一个在原来区间中的变量，在新的区间中都有一个值和它对应，计算公式为：现假设“客户基本情况”表中的客户月收入属性的实际值范围为[2100，8300]，要把这个属性值规范到[0，1]，对月收入属性值5600请应用上述公式将其进行规范，并解释为什么要进行这样的数据变换才是适于挖掘的形式。练习：假设数据集D是某公司每月利润增长数据，数据单位为元，取值范围-13000---32000之间，5%点为-9000,95%点在280000，根据3-4-5规则划分区间。规范化对于基于距离的分类算法（如聚类）和神经网络算法是非常重要的，可以保证输入值在一个相对小的范围内，加快训练速度；另外，不会发生因为输入值的范围过大而使权重过大的情况。参考：运算空间量小，处理小数总比大数方便，对于计算效率和速度都有好处6、3—4—5规划（例子要求掌握）自然划分的3-4-5规则常被用来将数值数据划分为相对一致，“更自然”的区间规则的划分步骤：1、如果一个区间最高有效位上包含3，6，7或9个不同的值，就将该区间划分为3个等宽子区间；(7-2,3,2)2、如果一个区间最高有效位上包含2，4，或8个不同的值，就将该区间划分为4个等宽子区间；3、如果一个区间最高有效位上包含1，5，或10个不同的值，就将该区间划分为5个等宽AAAAAAminnewminnewmaxnewminmaxminvv_)__('5645.00)01(2100830021005600xnew_min)new_min-(new_maxold_minold_maxold_minxx子区间；4、将该规则递归的应用于每个子区间，产生给定数值属性的概念分层；5、对于数据集中出现的最大值和最小值的极端分布，为了避免上述方法出现的结果扭曲，可以在顶层分段时，选用一个大部分的概率空间。e.g.5%-95%例子如下图（参考书上P90—91）：7、关于属性值的类型（名称、序数连续、区间）8、离散化中的三种类型的属性值：名称型——e.g.无序集合中的值；序数——e.g.有序集合中的值；连续值（区间）——e.g.实数第四章1、四种兴趣度量单位常用的四种兴趣度的客观度量：简单性：模式是否容易被人所理解模式结构的函数（模式的长度、属性的个数、操作符个数）。e.g.规则长度或者判定树的节点个数。确定性：表示一个模式在多少概率下是有效的。置信度(A=B)=(包含A和B的元组值)/(包含A的元组值)，e.g.buys(X,“computer)=buys(X,“software”)[30%,80%]100%置信度：准确的。实用性：可以用支持度来进行度量：支持度(A=b)=(包含A和B的元组数)/(元组总数)e.g.buys(X,“computer)=buys(X,“software”)[30%,80%]同时满足最小置信度临界值和最小支持度临界值的关联规则称为强关联规则。新颖性：提供新信息或提高给定模式集性能的模式通过删除冗余模式来检测新颖性（一个模式已经为另外一个模式所蕴涵）Location(X,“Canada”)=buys(X,“Sony_TV”)[8%,70%]Location(X,“Vancouver”)=buys(X,“Sony_TV”)[2%,70%]2、特征化单词、关联、分类。数据挖掘语言，指定挖掘知识类型特征化minecharacteristics数据区分minecomparison[aspattern_name]关联mineassociations分类mineclassification[aspattern_name]第四章1、数据挖掘可以分为描述性挖掘和预测性挖掘，概念描述属于描述性挖掘。2、面向属性归纳的基本思想面向属性归纳的基本思想：1）、使用关系数据库查询收集