数据仓库和数据挖掘deOLAP技术

数据仓库和数据挖掘deOLAP技术苟清龙2002年9月火龙果整理uml.org.cn第一节从数据库到数据仓库OLTP不适于DSS应用数据仓库的定义及其特征数据仓库的数据组织数据仓库的体系化环境火龙果整理uml.org.cnOLTP不适于DSS应用1.事务处理的性能特性不同2.数据集成问题事务处理应用分散“蜘蛛网”问题数据不一致问题外部数据和非结构化问题3.数据动态集成问题4.历史数据问题5.数据的综合问题火龙果整理uml.org.cn什么是数据仓库数据仓库是一个用以更好地支持企业或组织的决策分析处理的、面向对象主题的、集成的、不可更新的、随时间不断变化的数据集合。火龙果整理uml.org.cn操作型数据和分析型数据的区别操作型数据分析型数据细节的综合的，或提炼的在存取时刻是准确的代表过去的数据可更新不更新操作需求事先可知道操作需求事先不知道对性能要求高对性能要求宽松生命周期符合SDLC完全不同的生命周期一时刻操作一单元一时刻操作一集合事务驱动分析驱动面向应用面向分析一次操作数据量小一次操作数据量大支持日常操作支持管理需求火龙果整理uml.org.cn数据仓库的四个特性面向主题的集成的随时间不断变化的不可更新的火龙果整理uml.org.cn数据仓库数据的面向主题性什么是主题？面向主题的例子面向主题的性质面向主题的实现方式面向主题的实现示例主题域及其特性火龙果整理uml.org.cn什么是主题？主题是一个抽象的概念，是在较高层次上将企业信息综合、归类，并进行分析利用的抽象；在逻辑意义上，他是对企业中某一宏观领域所涉及的分析对象；面向主题的数据组织方式，就是在较高层次上对分析对象的数据一个完整、一致的描述，能完整、统一地刻画各个分析对象所涉及的企业的各项数据，以及数据之间的联系。火龙果整理uml.org.cn一个传统OLTP环境下的数据库模式示例采购子系统定单（定单号，供应商号，总金额，日期）定单细则（定单号，商品号，类别，单价，数量）供应商（供应商号，供应商名，地址，电话）销售子系统顾客（顾客号，姓名，年龄，文化程度，地址，电话）销售（员工号，顾客号，商品号，数量，单价，日期）火龙果整理uml.org.cn一个传统OLTP环境下的数据库模式示例（续）库存管理子系统领料单（领料单号，领料人，商品号，数量，日期）进料单（进料单号，定单号，进料人，收料人，日期）库存（商品号，库房号，库存量，日期）库房（库房号，库房管理员，地点，库存商品描述）人事子系统员工（员工号，姓名，性别，年龄，文化程度，部门号）部门（部门号，部门名称，部门主管，电话）火龙果整理uml.org.cn一个传统OLAP环境下的数据库模式示例商品商品固有信息：商品号，商品名，类别，颜色等；商品采购信息：商品号，供应商号，供应价，供应量，供应日期等；商品销售信息：商品号，顾客号，售价，销售量，销售日期等；商品库存信息：商品号，库房号，库存量，日期等。火龙果整理uml.org.cn一个传统OLAP环境下的数据库模式示例（续）供应商供应商固有信息：供应商号，供应商名，地址，电话等；供应商品信息：供应商号，商品号，供应价，供应日期，供应量等。顾客顾客固有信息：顾客号，顾客名，性别，年龄，文化程度，地址，电话等。顾客购物信息：顾客号，商品号，售价，购买日期，购买量等。火龙果整理uml.org.cn面向主题数据组织模式的说明在从面向应用到面向主题的转变过程中，丢弃了原来有的但不必要的、不适于分析的信息；在原有的数据库模式中，有关商品的信息分散在各个子系统之中；面向主题的数据组织方式所强调的就是要形成关于主题一致的信息集合；不同主题之间有重叠内容。火龙果整理uml.org.cn主题的实现两种主题实现方式多维数据库关系数据库在具体实现中，一个主题可划分为多个表，主题只是一个逻辑概念。火龙果整理uml.org.cn主题实现的范例主题：商品公共码键：商品号商品表1（商品号，商品名，类型，颜色，……）/*商品固有信息*/采购表1（商品号，供应商号，供应日期，供应价，采购量，……）/*商品采购的细节描述*/采购表2（商品号，时间段，采购总量，……）/*某时段商品采购信息*/……采购表n（……，……）/*时间段不等的采购综合表*/火龙果整理uml.org.cn主题实现的范例（续）销售表1（商品号，顾客号，销售日期，售价，销售量，……）/*商品销售细节信息*/销售表2（商品号，时间段，销售总量，……）/*某时段内商品销售信息*/……销售表n（……，……）/*时段不等的销售综合表*/库存表1（商品号，库房号，库存量，日期，……）/*商品库存述细节信息*/库存表2（商品号，库房号，库存量，月份，……）/*每月月底的商品库存信息*/……库存表n（……，……）/*时点不同的商品库存信息*/……火龙果整理uml.org.cn主题域面向主题的数据组织方式根据分析要求将数据组织成一个完整的分析领域，即主题域。主题域的特性：独立性一个主题域可以和其他主题有交叉部分，但他必须有独立内涵，即要求有明确的界限规定数据是否属于该主题。完备性对一个主题的任意分析处理要求，都能在该主题内找到该处理要求的一切内容。火龙果整理uml.org.cn数据仓库的数据集成性涵义：数据仓库的数据是从原有的分散数据库数据中抽取集成而来的。问题：操作型数据与分析型数据的差别需要完成的工作要统一数据库中所有的矛盾，如字段的同名异义，异名同义，单位不统一，字长不一致等；进行数据综合和计算。火龙果整理uml.org.cn数据仓库数据的不可更新性数据仓库的数据主要提供企业决策分析之用，所涉及的数据操作主要是数据查询，一般情况不进行修改操作。火龙果整理uml.org.cn数据仓库数据的时变性数据仓库随时间变化不断增加新的数据内容；数据仓库随时间变化不断删去旧的数据内容；数据仓库中含有大量的综合数据，这些数据随时间变化不断进行重新组合。火龙果整理uml.org.cn数据仓库的数据组织数据仓库的数据组织结构图元数据粒度与分割数据仓库的数据组织形式数据仓库的数据追加火龙果整理uml.org.cn数据仓库的数据组织结构元数据高度综合级轻度综合级当前细节级早期细节级火龙果整理uml.org.cn元数据元数据：关于数据的的数据DW中的两种元数据①为从操作型环境向DW环境转换而建立的元数据，②在DW中用来与终端用户的多维商业模型/前端工具之间建立映射的元数据。火龙果整理uml.org.cn粒度第一种粒度：对数据仓库中的数据综合程度高低的度量，它影响数据仓库中数据量的多少，也影响所能回答问题的种类。第二种粒度：样本数据库采样率的高低。（采样粒度不同的样本数据库可以有相同级别的综合级别。）火龙果整理uml.org.cn分割将数据分散到各自的物理单元中去以便能分别独立处理，以提高处理效率，数据分割后的数据单元称为分片。分割的一个例子健康保险生命保险事故保险1988分片1分片2分片31989分片4分片5分片61990分片7分片8分片9火龙果整理uml.org.cn数据仓库的数据组织形成①简单堆积文件②轮转综合文件（如股市）③简化直接文件（按一定时间间隔对数据库采样）④连续文件火龙果整理uml.org.cn数据仓库的数据追加时标方法DELTA文件前后映象文件的方法日志文件火龙果整理uml.org.cn数据库体系化环境什么是数据库体系化环境？四层体系化环境数据集市火龙果整理uml.org.cn什么是数据库体系化环境数据库体系化环境是在一个企业或组织内，由各面向应用的OLTP数据库及各级面向主题的数据仓库所组成的完整的数据环境,在这个数据环境上建立和进行一个企业或部门的从联机事务处理到企业管理决策的所有应用。两个组成部分：操作型环境分析型环境火龙果整理uml.org.cn四层体系化环境操作型环境数据仓库局部仓库个人仓库全局级部门级个人级（1）操作型环境：存放细节操作性数据，服务于高性能事务处理。（2）全局级DW：存放细节数据，以及大量导出数据。（3）部门级DW：一般仅包含导出数据。（4）个人级DW：都是暂时的，用于启发式分析。火龙果整理uml.org.cn数据集市全局数据仓库数据再抽取与集成采购子系统销售子系统库存子系统人事管理财务子系统数据抽取数据抽取数据抽取数据抽取数据抽取DATAMART火龙果整理uml.org.cn第二节数据仓库设计数据仓库系统设计方法概述DW设计的三级数据模型提高DW性能数据仓库中的元数据数据仓库的设计步骤火龙果整理uml.org.cn数据仓库系统设计方法概述DWS与DBS设计的不同之处SDLC与CLDS方法比较“数据驱动”系统设计方法的基本思路数据模型是数据驱动设计方法的中心DW系统设计是一个动态反馈循环过程DW的三级数据模型提高DW的性能火龙果整理uml.org.cnDWS与DBS设计的不同之处面向处理类型不同面向需求不同系统设计的目标不同两者的数据来源或系统的输入不同系统设计方法和步骤不同火龙果整理uml.org.cnSDLC与CLDS方法比较收集应用需求分析应用需求构建数据库应用编程系统测试系统实施DB应用A应用B应用C数据仓库建模数据获取与集成构建数据仓库DSS应用编程系统测试理解需求DWDBDB外部数据火龙果整理uml.org.cn“数据驱动”系统设计方法的基本思路“数据驱动”系统设计方法的思路就是利用以前所取得的工作成果来进行系统建设。DW的设计是从已有的DB系统出发，按照分析领域对数据及数据之间的联系重新考察、组织DW中的主题。系统设计方法的中心是利用数据模型有效地识别原有的数据库中的数据和数据仓库中主题的数据的“共同性”。火龙果整理uml.org.cn数据模型是数据驱动设计方法的中心操作型环境设计操作型处理应用开发与设计DBDBDB数据仓库设计DSS应用开发与设计DW数据模型火龙果整理uml.org.cnDW系统设计是一个动态反馈循环过程DW的数据内容、结构、粒度、分割以及其他物理设计根据用户所返回的信息不断调整、完善，以提高系统的效率和性能。通过不断的理解用户的分析需求，向用户提供更准确，更有用的决策信息。火龙果整理uml.org.cnDW与DB三级数据模型的区别DW的数据模型不包含纯操作型数据;DW的数据模型扩充了码结构，增加了时间属性作为码的一个部分；DW的数据模型中增加了一些导出数据。火龙果整理uml.org.cnDW的三级数据模型概念模型逻辑模型物理模型火龙果整理uml.org.cn高级模型、中级模型和低级模型高级模型：即E-R图；低级模型：即物理数据模型中级模型：称为数据项（dis-dataitemset）火龙果整理uml.org.cnDis中的数据组联接数据组：主要用于本主题域与其他主题域之间的联系，体现E-R图中实体之间的关系。基本数据组二级数据组类数据组火龙果整理uml.org.cn提高DW的性能粒度划分分割其他问题火龙果整理uml.org.cn粒度划分粒度划分的决定因素并非总的数据量,而是总的行数。划分步骤(1)估算DW中数据行数和所需的DASD(DirectAccessStorageDevice)数。(2)根据估算算出的数据行数和DASD，决定是否划分粒度，如果要，如何划分。火龙果整理uml.org.cn分割核心：选择适当的分割标准考虑因素：数据量、数据分析处理的实际情况、简单易行、粒度划分火龙果整理uml.org.cn数据仓库物理设计中的其他一些问题合并表建立数据序列引入冗余表的物理分割生成导出数据建立广义索引火龙果整理uml.org.cn第三节数据操作存储(ODS)ODS的定义与特点ODS的功能