杭州市权力阳光电子政务系统

1数据仓库与数据挖掘中国科学技术大学商学院2课程内容简介:第一部分：数据仓库技术数据仓库概念数据仓库设计操作数据存储多维数据模型联机分析处理3课程内容简介:第二部分：数据挖掘概念与技术数据挖掘概念概念描述关联规则分类和预测聚类分析数据挖掘应用实例4第一章数据仓库技术概述1.1数据库到数据仓库1.2数据仓库的概念和特征1.3数据仓库中的数据组织1.4数据库体系化环境5传统的数据环境：以数据库为中心，数据资源组织方式单一。数据处理不断有新需求，从事务处理，批处理到决策分析等，且不同类型的数据处理有不同的处理特点。人们认识到：当数据处理方式发生变化，而数据组织方式并没有改变时，就会出现数据处理方式和数据环境不相适应，从而使得数据处理不能获得理想的结果。结论：以单一的数据组织方式进行组织的数据库，不能满足数据处理多样化的要求，数据仓库技术应运而生。1.1从数据库到数据仓库61.1从数据库到数据仓库数据处理具有多层次的特点，可分为两大类:操作型处理对数据库联机的日常操作，通常是对一个或一组记录的查询或修改，主要为企业的特定应用服务。它采用实时或在线的方式处理数据库，人们关心的是响应时间，数据的安全性和完整性。71.1从数据库到数据仓库分析型处理用于管理人员的决策分析，经常要访问大量的历史数据，而很少对数据库进行写操作，除非对数据库进行更新或装入时。人们希望从中获得跟公司经营效益紧密相关的信息。两种不同类型的数据处理存在巨大差异，从应用的对象到数据的结构、内容和用法都不相同。具体表现在：81.1从数据库到数据仓库（1）事务处理和分析处理的性能特征不同事务处理环境：用户的行为特点是数据的存取操作频率高，而每次操作处理的时间短。因此系统可以允许多个用户按分时方式使用系统资源，同时保持较短的响应时间。分析处理环境：用户的行为模式与上面完全不同，一个分析处理程序可能要连续运行几个小时，从而消耗大量系统资源。91.1从数据库到数据仓库【例】在OLTP系统中，事务的吞吐量比率通常使用每秒钟完成的数据处理数TPS或TPM来表示。在DSS中，吞吐量通常用每小时处理的查询数QPH来表示。这些查询数量庞大，在它完成前，占用绝大部分机器资源。一个OLTP系统即使很大，也不过300GB左右，而一个大型DSS的规模可以轻易达到1TB。（1TB=1000GB）101.1从数据库到数据仓库（2）数据集成问题事务处理：目的在于使业务处理自动化，一般只需要与本部门业务相关的当前数据，而对整个企业范围内的集成应用考虑很少。分析处理：需要集成的数据，不仅需要整个企业内部各部门的相关数据，还需要企业外部、竞争对手等处的相关数据。111.1从数据库到数据仓库当前绝大多数企业内部数据的真正状况是分散而非集成的，主要原因：事务处理应用的分散“蜘蛛网”问题数据不一致问题外部数据和非结构化数据121.1从数据库到数据仓库（3）数据动态集成静态集成：对所需数据一次性集成，之后就一直以此集成数据做为分析基础，不再与数据源发生联系。它最大缺点在于：当数据源发生变化（集成后），而这些变化不能反映给决策者，导致决策者使用的是过时的数据。动态集成：集成数据以一定的周期进行刷新。OLTP不具备动态集成，而分析处理需要数据的动态集成。131.1从数据库到数据仓库（4）历史数据问题事务处理：一般只需当前数据。数据库中也只存储短期数据，并且不同数据保存期也不相同。即使有历史数据保存，也不利用。分析处理：对决策者而言，历史数据相当重要，许多分析方法必须以大量历史数据为依托，没有对历史数据的详细分析，很难把握企业的发展趋势。141.1从数据库到数据仓库（5）数据的综合问题事务处理积累了大量的细节数据，一般DSS不对细节数据分析。一是细节数据量大，严重影响分析效率；二是太多的细节数据不利于分析人员将注意力集中在有用信息上。因此，分析处理前经常要综合，而事务处理系统不具备这种综合能力。15第一章数据仓库技术概述1.1数据库到数据仓库1.2数据仓库的概念和特征1.3数据仓库中的数据组织1.4数据库体系化环境161.2数据仓库的概念和特征数据仓库系统构造方面的领头设计师W.H.Inmen对数据仓库的定义为：数据仓库是面向主题的、集成的、具有时间特征的、稳定的数据集合，用于支持经营管理中的决策制定过程。SAS软件研究所的观点：数据仓库是一种管理技术，旨在通过通畅、合理、全面的信息管理达到有效的决策支持。171.2数据仓库的概念和特征从定义可看出：DW是明确为决策支持服务，而DB是为事务处理服务。前面简短而又全面的定义指出了数据仓库的主要特征，四个关键词：面向主题的、集成的、时变的、稳定的，将数据仓库与其他数据存储系统相区别。下面讨论数据仓库的关键特征：181.2数据仓库的概念和特征1.数据仓库的数据是面向主题的主题是一个在较高层次将数据归类的标准，每一个主题基本对应一个宏观的领域，基于主题组织的数据被划分为各自独立的领域，每一个领域都有自己的逻辑内容而互不相交。191.2数据仓库的概念和特征－DW的数据是面向主题的面向应用的数据经常会随着各种经营环境的改变而发生变化，面向主题的数据则因为比应用具有更高的抽象层次而比较稳定。但数据的产生都是基于应用而产生，因此数据在进入数据仓库之前，必然要经过加工和集成，将原始数据结构做一个从面向应用到面向主题的大转变。201.2数据仓库的概念和特征－DW的数据是面向主题的【例】一家采用“会员制”经营方式的商场，按业务建立起若干子系统，并按业务处理要求建立各自数据库模式：采购子系统：订单（订单号，供应商号，总金额，日期）订单细则（订单号，商品号，类别，单价，数量）供应商（供应商号，供应商名，地址，电话）销售子系统：顾客（顾客号，姓名，性别，年龄，文化程度，地址，电话）销售（员工号，顾客号，商品号，数量，单价，日期）211.2数据仓库的概念和特征－DW的数据是面向主题的人事管理子系统：员工（员工号，姓名，性别，年龄，文化程度，部门号）部门（部门号，部门名称，部门主管，电话）库存管理子系统：领料单（领料单号，领料人，商品号，数量，日期）进料单（进料单号，订单号，进料人，收料人，日期）库存（商品号，库房号，库存量，日期）库房（库房号，仓库管理员，地点，库存商品描述）221.2数据仓库的概念和特征－DW的数据是面向主题的传统的面向应用进行数据组织方式的特征为：重点在“数据”和“处理”；通常要反映一个企业内数据的动态特征；所生成的各项数据库模式与企业实际的业务处理流程中所涉及的单据及文档，有很好的对应关系；并没有真正体现数据与数据处理的分离。231.2数据仓库的概念和特征－DW的数据是面向主题的面向应用到面向主题的转变:面向主题的数据组织方式应分为两个步骤：抽取主题确定每个主题所包含的数据内容仍以商场为例，它所应有的主题包括：商品、供应商、顾客。每个主题有各自独立的逻辑内涵，对应一个分析对象。241.2数据仓库的概念和特征－DW的数据是面向主题的商品：商品固有信息：商品号，商品名，类别，颜色等商品采购信息：商品号，供应商号，供应价，供应日期，供应量等商品销售信息：商品号，顾客号，售价，销售日期，销售量等商品库存信息：商品号，库房号，库存量，日期等251.2数据仓库的概念和特征－DW的数据是面向主题的供应商：供应商固有信息：供应商号，供应商名，地址，电话等。供应商品信息：供应商号，供应价，供应日期，供应量等。顾客：顾客固有信息：顾客号，顾客名，性别，年龄，文化程度，住址，电话等。顾客购物信息：顾客号，商品号，售价，购买日期，购买量等。261.2数据仓库的概念和特征－DW的数据是面向主题的从面向应用面向主题丢弃了原来不必要，不适合分析的信息。将分散在各子系统中的有关主题的信息集成，形成关于商品的一致信息。不同主题之间也有重叠的内容，但只是逻辑上的重叠，细节级上的重叠，另外主题间并不是两两重叠。供应商顾客商品271.2数据仓库的概念和特征－DW的数据是面向主题的主题的实现：一个主题可划分成多个表，基于一个主题的所有表都有一个公共码，作为主码的一部分，将各表统一起来，体现它们是属于一个主题。例如实现商品主题：281.2数据仓库的概念和特征－DW的数据是面向主题的主题：商品公共码键：商品号商品表（商品号，商品名，类型，颜色，…）采购表1（商品号，供应商号，供应日期，供应价，…）采购表2（商品号，时间段，采购总量，…）：采购表n（商品号，时间段，采购总量，…）描述的是商品的固有信息描述的是商品的采购细节信息时间段不等的采购综合表291.2数据仓库的概念和特征－DW的数据是面向主题的销售表1（商品号，顾客号，销售日期，售价，销售量，…）销售表2（商品号，时间段，销售总量，…）：销售表n（商品号，时间段，销售总量，…）库存表1（商品号，库房号，库存量，日期，…）库存表2（商品号，库房号，库存量，月份，…）：库存表n（…，…）301.2数据仓库的概念和特征－DW的数据是面向主题的面向主题的数据组织方式：根据分析要求将数据组织成主题域，即要具有：独立性：可交叉，但必须具有独立内涵完备性：能在主题内找到该分析处理所要求的一切内容311.2数据仓库的概念和特征2.数据仓库的数据是集成的通常，构造数据仓库是将多个异种数据源(如关系DB、一般文件和联机事务处理记录)集成在一起，使用数据清理和数据集成技术，确保命名约定、编码结构、属性度量等的一致性。主要做两个工作统一源数据中所有矛盾之处进行数据综合和计算321.2数据仓库的概念和特征3.数据仓库的数据是稳定的数据仓库主要供企业决策分析使用，包括大量历史数据，数据经集成进入DW后极少或根本不更新。所以通常它只需要两种数据访问：数据的初始装入数据访问因此数据仓库不需要事务处理、恢复和并发控制机制。331.2数据仓库的概念和特征4.数据仓库的数据是不同时间的数据集合数据仓库的数据不可更新是针对应用而言，它随时间而发生变化的特征体现在：数据仓库随时间变化不断增加新内容；数据仓库随时间变化不断删除旧内容；数据仓库随时间变化不断重新综合数据。数据仓库的关键结构都隐式或显式地包含时间元素。34第一章数据仓库技术概述1.1数据库到数据仓库1.2数据仓库的概念和特征1.3数据仓库中的数据组织1.4数据库体系化环境351.3数据仓库中的数据组织1.数据仓库的数据组织结构高度综合级轻度综合级当前细节级早期细节级1990-1996每月销售表1990-1996每周销售表1990-1996销售情况表1985-1990销售明细表元数据361.3数据仓库中的数据组织可看出：数据仓库中存在不同的综合级别，称为“粒度”数据仓库中数据级别的划分是根据粒度进行的元数据是“关于数据的数据”，在数据仓库环境中，主要有两种元数据：为了从操作环境向DW环境转换而建立的元数据DSS的元数据371.3数据仓库中的数据组织2.粒度与分割数据粒度粒度是对数据仓库中数据的综合程度高低的一个度量，它即影响数据仓库中数据量的多少，也影响数据仓库所能回答的查询种类。粒度代表数据的细节化程度，粒度越大，数据的汇总程度越高。事务级数据的粒度最小，它是汇总型数据的数据源。数据仓库中数据的粒度取决于数据仓库的类型。381.3数据仓库中的数据组织－粒度与分割一种特殊形式的粒度—样本数据库的采样粒度样本DB是根据需求从源数据中获得的一个抽样，可代替源数据进行分析。在源数据量很大的情况下，抽样数据量可大大下降，量越大，下降比例也越大，但分析结果的误差极小。样本DB的高效率是显而易见的，但不能回答细节性问题。样本DB的粒度级别是根据采样率的高低来划分的，采样粒度不同的样本DB可以有相同的综合级别，一般它是以一定的采样率从细节数据或轻度综合数据中抽取的一个子集，并需要定期刷新。适用于作统计分析和观察发展趋势，当数据必须以整体观察时,样本数据库能提供非常理想的结果391.3数据仓库中的数据组织－粒度与分割数据分割分割是指将数据分片后，分散存储到相应的物理单元中，以便能分别独立处理，提高数据处理效率。分割的标准