数据仓库与数据挖掘知识总结

华北科技学院课程考查报告班级:软件B121姓名:_梁高荣学号:201207044107课程名称:数据仓库与数据挖掘课程性质:专业选修开设学期:2015-2016学年第1学期考核成绩:______________________________任课教师:栾尚敏2015年11月20日1目录一．数据仓库.....................................................................................................................21．仓库的概念...........................................................................................................22．数据仓库的特点...................................................................................................23．据仓库的结构.......................................................................................................31．数据挖掘的概念...................................................................................................42．数据挖掘的作用...................................................................................................4四、数据挖掘的步骤.........................................................................................................51．信息收集...............................................................................................................52．数据规约：...........................................................................................................63．数据清理...............................................................................................................64．数据变换...............................................................................................................65．数据挖掘过程.......................................................................................................66．模式评估...............................................................................................................67．知识表示...............................................................................................................7五、数据挖掘常的基本技.................................................................................................71.统计学....................................................................................................................72.聚类分析和模式识别............................................................................................73.决策树分类技术....................................................................................................74.人工神经网络和遗传基因算法............................................................................85.规则归纳................................................................................................................86.可视化技术............................................................................................................8六、文本挖掘.....................................................................................................................81.文本挖掘的概念......................................................................................................82.文本挖掘方法..........................................................................................................83.挖掘工具..................................................................................................................94.应用..........................................................................................................................9七、Web挖掘.....................................................................................................................91．Web挖掘与Web信息检索..................................................................................92．Web挖掘的任务.................................................................................................103．Web文本挖掘方法.............................................................................................122一．数据仓库1．仓库的概念数据仓库(DataWarehouse)是一个面向主题的(SubjeclOriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(TimeVariant)的数据集合，用于支持管理决策。对于数据仓库的概念我们可以从两个层次予以理解，首先，数据仓库用于支持决策，面向分析型数据处理，它不同于企业现有的操作型数据库；其次，数据仓库是对多个异构的数据源有效集成，集成后按照主题进行了重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改。2．数据仓库的特点根据数据仓库概念的含义，数据仓库拥有以下四个特点：(1)面向主题。操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离。数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念，是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关。(2)集成的。面向事务处理的操作型数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构的。而数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。(3)相对稳定的。操作型数据库中的数据通常实时更新，数据根据需要及时发生变化。数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。(4)反映历史变化。操作型数据库主要关心当前某一个时间段内的数据，而数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓3库的时点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。企业数据仓库的建设，是以现有企业业务系统和大量业务数据的积累为基础的。数据仓库不是静态的概念，只有把信息及时交给需要这些信息的使用者，供他们做出改善其业务经营的决策，信息才能发挥作用，信息才有意义。而把信息加以整理归纳和重组，并及时提供给相应的管理决策人员，是数据仓库的根本任务。因此，从产业界的角度看，数据仓库建设是一个工程，是一个过程。3．据仓库的结构整个数据仓库系统是一个包含四个层次的体系结构：数据源：是数据仓库系统的基础，是整个系统的数据源泉。通常包括企业内部信息和外部信息。内部信息包括存放于RDBMS中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等等。数据的存储与管理：是整个数据仓库系统的核心。数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库(通常称为数据集市)。OLAP服务器：对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。其具体实现可以分为：ROLAP、MOLAP和HOLAP。ROLAP基本数据和聚合数据均存放在RDBMS之中；MOLAP基本数据和