第二章数据仓库的技术与开发-hym

第二章数据仓库的技术与开发数据仓库的技术与开发•数据仓库的体系结构•元数据•数据仓库的数据模型•粒度和分割•数据仓库和开发流程•总线型结构的数据仓库数据仓库的技术与开发•数据仓库的体系结构•元数据•数据仓库的数据模型•粒度和分割•数据仓库和开发流程•总线型结构的数据仓库数据仓库的体系结构•用户眼中的数据仓库结构•数据仓库系统的体系结构•数据集市数据仓库的体系结构•用户眼中的数据仓库结构•数据仓库系统的体系结构•数据集市组成部分•数据源•数据仓库的数据存储•数据仓库的应用工具•可视化用户界面图示数据仓库的数据存储应用工具1.OLAP2.数据挖掘3.其它用户界面内部数据源外部数据源数据源抽取、净化、变换提供原始数据企业内部信息企业外部信息对存放在数据仓库中的数据进行分析处理数据仓库的用户能够方便直观与系统进行交互支持比较复杂的查询分析从大量数据中寻找尚未发现的知识从数据源中获取有效数据，进行有效组织，存储在数据仓库中数据仓库的体系结构•用户眼中的数据仓库结构•数据仓库系统的体系结构•数据集市数据仓库系统的体系结构•数据仓库体系结构的框架•数据仓库的技术体系结构数据仓库系统的体系结构•数据仓库体系结构的框架•数据仓库的技术体系结构数据仓库体系结构的框架•数据体系结构•系统体系结构•技术体系结构数据仓库体系结构的框架数据体系结构系统体系结构技术体系结构商务需求（内容）进行商务分析与决策的信息需求对网络环境、软硬件平台的性能要求如何获得信息？如何使用信息？体系结构模型(系统平台)如何用多维数据模型来表达信息，应该包括哪些事实表和维表？事实表和维表怎样连接？选择什么样的网络环境和软硬件平台？数据具体存放在哪里？系统能否满足数据计算、数据存储和数据传递的性能要求如何将原始数据变换成所需的信息，在适当的时间以正确的内容和恰当的格式存储或输出？实现方法创建数据库，建立相应的表、索引，进行数据库的维护安装测试网络环境和软硬件平台对原始数据进行抽取、清洗、转换和存储，生成分析报表等数据处理结果提供给用户。数据仓库系统的体系结构•数据仓库体系结构的框架•数据仓库的技术体系结构数据仓库的技术体系结构•后台数据预处理•数据仓库数据管理•数据仓库的前台查询服务数据仓库的技术体系结构内部数据源应用工具OLAP数据挖掘其它外部数据源用户界面数据源数据预处理工具抽取/清洗转换/加载数据准备区数据仓库的数据存储数据仓库管理工具数据集市数据集市查询服务数据元数据三大过程：预处理数据管理查询服务数据仓库的技术体系结构-预处理内部数据源应用工具OLAP数据挖掘其它外部数据源用户界面数据源数据预处理工具抽取/清洗转换/加载数据准备区数据仓库的数据存储数据仓库管理工具数据集市数据集市查询服务数据元数据功能：对数据源中的数据进行预处理数据仓库的技术体系结构---数据管理内部数据源应用工具OLAP数据挖掘其它外部数据源用户界面数据源数据预处理工具抽取/清洗转换/加载数据准备区数据仓库的数据存储数据仓库管理工具数据集市数据集市查询服务数据元数据功能：完成数据仓库的建模、确定数据的粒度级别、指定数据仓库的物理存储模式、确保数据仓库的运行效率数据仓库的技术体系结构---数据管理数据存储:•数据源•主题数据•数据准备区•查询服务数据数据源主题数据最终查询结果数据准备区查询服务数据数据仓库的技术体系结构---应用服务内部数据源应用工具OLAP数据挖掘其它外部数据源用户界面数据源数据预处理工具抽取/清洗转换/加载数据准备区数据仓库的数据存储数据仓库管理工具数据集市数据集市查询服务数据元数据功能：提供各种应用工具来对数据仓库中的数据进行处理数据仓库的技术体系结构---应用服务工具分类•数据挖掘工具•特别查询工具•OLAP•交互报告•静态报告内部数据源应用工具OLAP数据挖掘其它外部数据源用户界面数据源数据预处理工具抽取/清洗转换/加载数据准备区数据仓库的数据存储数据仓库管理工具数据集市数据集市查询服务数据元数据数据仓库的体系结构•用户眼中的数据仓库结构•数据仓库系统的体系结构•数据集市数据集市•数据集市的概念•数据集市的分类数据集市•数据集市的概念•数据集市的分类数据集市的概念•数据集市我们可以把它理解成为部门级的数据仓库•数据仓库是数据集市的集合数据集市•数据集市的概念•数据集市的分类数据集市的分类•独立的数据集市•从属的数据集市数据集市的分类•独立的数据集市•从属的数据集市独立的数据集市•如果一个数据集市不依赖于中央数据仓库,则这个数据集市为独立数据集市。•独立数据集市可能会造成各数据集市中的数据不一致、形成信息孤岛、维护困难等问题。数据源独立数据集市独立数据集市数据源数据源应用工具应用工具应用工具数据集市的分类•独立的数据集市•从属的数据集市从属的数据集市•从数据仓库中获得数据，并根据部门的分析领域和查询功能进行重新组织和优化的数据集市称为从属数据集市。•保证了各个数据集市间和数据仓库中数据的一致性。数据源从属数据集市从属数据集市数据源数据源应用工具应用工具应用工具数据仓库内部数据源应用工具OLAP数据挖掘其它外部数据源用户界面数据源数据预处理工具抽取/清洗转换/加载数据准备区数据仓库的数据存储数据仓库管理工具数据集市数据集市查询服务数据元数据数据仓库的技术与开发•数据仓库的体系结构•元数据•数据仓库的数据模型•粒度和分割•数据仓库和开发流程•总线型结构的数据仓库元数据•元数据的定义•元数据的主要作用•元数据的分类元数据•元数据的定义•元数据的主要作用•元数据的分类元数据的定义•定义一：关于数据的数据。•定义二：元数据的描述前台元数据：更具描述性质，它帮助查询工具和报表生成更顺利地工作，它主要出于终端用户考虑。后台元数据：与过程相关，它指导着数据抽取、净化和装载的过程。元数据•元数据的定义•元数据的主要作用•元数据的分类元数据的主要作用•管理数据仓库：利用元数据来存储和更新数据。•帮助使用数据仓库：用户利用元数据来了解、访问数据。元数据•元数据的定义•元数据的主要作用•元数据的分类元数据的分类•据内容分：•据作用分：元数据的分类---内容元数据无处不在内部数据源应用工具OLAP数据挖掘其它外部数据源用户界面数据源数据预处理工具抽取/清洗转换/加载数据准备区数据仓库的数据存储数据仓库管理工具数据集市数据集市查询服务数据元数据数据源元数据预处理数据元数据数据仓库主题数据元数据查询服务元数据元数据的分类---作用•管理元数据：创建和维护数据仓库（包括数据源元数据、预处理数据元数据和数据仓库主题数据元数据三类）•用户元数据：帮助用户进行查询（包括查询服务元数据）数据仓库的技术与开发•数据仓库的体系结构•元数据•数据仓库的数据模型•粒度和分割•数据仓库和开发流程•总线型结构的数据仓库数据仓库的数据模型---对现实世界进行抽象的工具•类似数据库的设计•数据仓库的数据建模概念建模逻辑建模物理建模数据仓库的数据模型---对现实世界进行抽象的工具•类似数据库的设计•数据仓库的数据建模概念建模逻辑建模物理建模数据库的设计需求收集和分析设计概念结构设计逻辑结构数据模型优化设计物理结构设计评价性能预测物理实现实验性运行使用维护数据库不满意需求分析阶段概念设计阶段逻辑设计阶段物理设计阶段数据库实施阶段数据库运行维护阶段不满意数据仓库的数据模型---对现实世界进行抽象的工具•类似数据库的设计•数据仓库的数据建模概念建模逻辑建模物理建模数据仓库的数据建模现实世界概念世界逻辑世界物理世界身高特性属性列(字段、数据项)张三个体实体记录客户整体同质总体表文件客户与产品整体间联系异质总体数据库数据仓库的数据建模现实世界概念模型逻辑模型物理模型数据仓库元数据模型数据粒度模型数据建模的三个层次：概念模型逻辑模型物理模型数据仓库的数据模型---对现实世界进行抽象的工具•类似数据库的设计•数据仓库的数据建模概念建模逻辑建模物理建模概念建模•概念建模的目的•概念建模的工作内容•概念建模的方法•概念建模的例子概念建模•概念建模的目的•概念建模的工作内容•概念建模的方法•概念建模的例子概念建模的目的确定数据仓库中应该包含的数据类及其相互关系，而不必考虑具体技术条件的限制。概念建模•概念建模的目的•概念建模的工作内容•概念建模的方法•概念建模的例子概念建模的工作内容•确定系统应包含的主题域•确定数据挖掘中各主题的要素及其描述属性分析问题时所关心的事实分析问题时的各种观察角度描述事实及观察角度的属性对数据仓库系统设计的需求分析概念建模•概念建模的目的•概念建模的工作内容•概念建模的方法•概念建模的例子概念建模的方法•传统方法——ER图•缺点•多维数据模型（星型模型）维度事实度概念建模的方法•传统方法——ER图•缺点•多维数据模型（星型模型）维度事实度传统方法——ER图•从数据模型的角度看，所有实体之间的关系是对等的。•但是实际上数据仓库的实体绝不会是相互对等的。供应商客户订单发货产品概念建模的方法•传统方法——ER图•缺点•多维数据模型（星型模型）维度事实度缺点•如左图，代表供应商、客户、产品和发货的实体数量只是一些说明订单的实体，而订单实体则是管理者所关心的分析对象。•这样，在数据仓库的应用中将有大量的数据载入订单实体表，而其他实体表中的数据载入量则相对较少。因此需要一种不同的数据模型设计处理方式，来管理数据仓库中载入某个实体的大量数据的设计结构。•这就是多维数据模型供应商客户订单发货产品概念建模的方法•传统方法——ER图•缺点•多维数据模型（星型模型）维度事实度多维数据模型（星型模型）•它是一种能够清楚表达分析领域的数据模型。•它包括两种建模要素：•观察事物的角度---维度•观察得到的事实数据---事实事实维度3维度4维度2维度1概念建模•概念建模的目的•概念建模的工作内容•概念建模的方法•概念建模的例子概念建模的例子问题：为了对应日趋激烈的市场竞争，商场经理需要更加准确地了解商场的经营状况，跟踪市场需求，更加合理地定制商品采购与销售策略。概念建模的例子•主题域的确定：商场经理迫切地需求在于把握商场的经营状况，这主要是商场商品的采购情况和销售情况。一般经理感兴趣或需要进行分析主要有：顾客的购买趋势商品供应市场的变化趋势供应商信用等级情况要进行以上分析，所需要的数据包括：商品销售数据商品采购数据商品库存数据顾客数据供应商数据概念建模的例子•确定各主题的事实和维度（以商品销售为例）销售事实销售量销售额时间维日期日月年商品维商品编号商品名称子类大类顾客维顾客编号顾客名性别年龄文化程度概念建模的例子（描述属性）对象名类型属性组销售事实事实销售量，销售额时间维度日期，日，月，年商品维度商品编号，商品名称，子类，大类，销售单价等顾客维度顾客编号，顾客名，性别，年龄，文化程度，住址，电话等概念建模的例子练习：以商品采购为例确定各主题的事实和维度采购事实采购量采购额时间维日期日月年商品维商品编号商品名称子类大类顾客维顾客编号顾客名性别年龄文化程度供应商维供应商编号供应商名信用等级数据仓库的数据模型---对现实世界进行抽象的工具•类似数据库的设计•数据仓库的数据建模概念建模逻辑建模物理建模逻辑建模逻辑模型是概念模型到物理模型的一个过渡•逻辑模型的作用•逻辑模型的描述方法•逻辑模型的工作内容逻辑建模逻辑模型是概念模型到物理模型的一个过渡•逻辑模型的作用•逻辑模型的描述方法•逻辑模型的工作内容逻辑模型的作用由于概念模型并不能直接建立数据仓库的物理模型，所以我们必须通过逻辑模型来指导数据仓库的物理实施。逻辑建模逻辑模型是概念模型到物理模型的一个过渡•逻辑模型的作用•逻辑模型的描述方法•逻辑模型的工作内容逻辑模型的描述方法逻辑模型的描述方法是利用关系模型，即用一系列的关系模式来表达数据仓库概念模型中的事实实体和维度实体（另外还要考虑粒度）逻辑建模逻辑模型是概念模型到物理模型的一个过渡•逻辑模型的作用•逻辑模型的描述方法•逻辑模型的工作内容逻辑模型的工作内容•粒度