第3章+数据仓库模型与建立过程

1.数据仓库设计方法概述2.数据仓库的三级模型3.数据仓库概念模型4.数据仓库逻辑模型5.数据仓库物理模型6.数据仓库设计的步骤7.数据仓库的建设过程数据仓库模型和建立过程第3章对比内容数据库系统设计数据仓库系统设计面向的处理类型面向应用面向分析应用需求比较明确不太明确系统设计的目标事务处理的并发性、安全性、高效性保证数据的四个特征和全局一致性数据来源业务操作员的输入业务系统系统设计的方法需求驱动数据驱动1数据仓库和数据库设计的区别1.11面向的处理类型1.2•数据库系统设计–面向应用来进行设计，根据具体的操作事件和操作对象（实体）来进行设计；–目的是建立一个操作型的数据环境。•数据仓库设计–面向分析的；–从最基本的主题开始，不断完善已有主题，发展新主题；–最终建立起一个面向主题的分析型数据环境。1应用需求1.3•数据库系统设计–面向明确的应用需求–设计人员能够清晰地了解应用的需求和数据流程•数据仓库设计–很难获得对用户需求的确切了解–应用人员往往是企业的中高层人员–他们自己一开始不知道想看什么，需要人引导–后期又想什么东西都看，需要给他解释1系统设计的目标1.4•数据库系统设计–为了进行OLAP处理–通常是对一个或者一组记录的查询和修改–主要为企业的特定应用服务的–事务处理响应时间、数据的安全性和完整性是系统的目标•数据仓库设计–为了分析决策–主要目标是保证数据的四个特征（面向主题、集成的、稳定的、时变的），建立起一个全局一致的数据环境，作为企业决策支持的基础1数据来源1.5•数据库系统设计–数据来源主要是业务操作员的输入–描述如何通过操作员输入获取数据–描述如何将获取的数据按照OLAP的需求合理存放–如何使得OLTP的性能更加优化–如何保证事务处理的安全性•数据仓库设计–数据来源于业务系统–主要解决如何从业务系统中得到完整一致的数据–如何对数据进行转换、清洗、综合–如何有效提高数据分析的效率与准确性1两者系统设计方法的不同1.6•数据库系统设计–“需求驱动”，先收集需求、分析需求，再进行设计和开发；–系统的需求在收集和分析需求阶段之后就定下来了，一旦进入构建数据库阶段，系统的需求就基本不变了。–所以系统设计一般采用系统生命周期法(SystemsDevelopmentLifeCycle，SDLC)。•数据仓库设计–“数据驱动”，从业务系统已经存在的数据出发，获取之后对数据进行集成并检查数据的准确性–按照分析领域对数据及数据之间的联系重新考察，组织数据仓库中的主题。–“数据驱动”的系统设计方法的优点是可以通过了解原有数据库系统中的数据和需要建设的数据仓库中主题的数据的共同性，最大限度地利用现有系统，减少系统建设的工作量。–对这种需求不确定的开发过程，设计方法有很大的不同，采用与SDLC相反的CLDS法。收集应用需求分析应用需求构建数据库应用编程系统测试系统实施DB应用A应用B应用C数据仓库建模数据获取与集成构建数据仓库DSS应用编程系统测试理解需求DWDBDB外部数据数据仓库设计方法概述1两者系统设计方法的不同1.6SDLC方法CLDS方法2流行的的三级模型2.1•概念模型（设计定义和主要工作）–从客观世界到主观认识的映射–首先将现实世界抽象为概念模型，然后再用适合计算机世界的模型和语言来描述•逻辑模型（设计定义和主要工作）–数据仓库一般是建立在关系数据库基础上，所以采用的逻辑模型是关系模型–主题还有主题之间的关系都用关系来表示–逻辑模型描述了数据仓库的主题的逻辑实现，每个主题对应关系表的关系模式的定义•物理模型（设计定义和主要工作）–逻辑模型在数据仓库中的实现，如数据存储结构、数据的索引策略、数据的存储策略以及存储分配优化等2Inmon提出的三级模型2.2•高级模型–即概念模型，用E-R图表示–首先将现实世界抽象为概念模型，然后再用适合计算机世界的模型和语言来描述•中级模型–数据项（Dataitemset，DIS）模型–E-R图的细分–每个主题都与一个DIS对应–DIS中的数据份为4个组别：基本数据组、二级数据组、连接数据组和类型数据组•低级模型–物理数据模型2Inmon提出的三级模型2.2客户ID姓名性别身份证号码住址文化程度电话Email商品ID交易ID商品金额购买时间交易ID商品金额购买时间交易ID商品金额购买时间连接数据组基本数据组类型数据组二级数据组电器服装图书3概念模型的定义和主要工作3.1•概念模型–是数据仓库的数据模型的第一层或最高层。–由于大多数业务数据是多维的，但传统的数据模型表示三维以上的数据有一定困难。–数据仓库中可以采用信息包图来表示概念模型–信息包图允许用户设计多维信息包并与开发者和其他用户建立联系。–这种模型集中在用户对信息包的需要，信息包提供了分析人员思维模式的可视化表示。•工作–确定系统边界：决策类型、需要的信息、原始信息–确定主题域及其内容：主题域的公共键码、主题域之间的联系、属性组–确定维度：如时间维、销售位置维、产品维、组别维等–确定级别：相应维的详细层次–确定度量：也称指标和事实，用于进行分析的数值化信息维度级别度量3信息包图3.2数据仓库的概念模型信息包：〖例〗画出销售分析的信息包图概念首先根据销售分析的实际需求，确定信息包的维度、类别和指标与事实：›维度：包括日期维、销售地点维、销售产品维、年龄组别维、性别维等。›（维度）级别：确定各维的详细类别如：日期维包括年（10）、季度（40）、月（120）等类别，括号中的数字分别指出各类别的数量；销售地点维包括国家（15）、区域（45）、城市（280）、区（880）、商店（2000）等类别，括号中的数字同样分别指出各类别的数量；类似地，可以确定销售产品、年龄组别维、性别维等的详细类别。›度量：确定用于进行分析的数值化信息，包括预测销售量、实际销售量和预测偏差等。3信息包图3.2数据仓库的概念模型度量:预测销售量、实际销售量、预测偏差商店（2000)区(880)产品(240)城市(280)月(120)产品组(48)区域(45)季度(40)性别组(2)年龄组(8)产品类(6)国家(15)年(10)性别年龄组别销售产品销售地点日期信息包：销售分析维度级别3信息包图3.2数据仓库的概念模型•维度是一个物理特性（如时间、地点、产品等），它是表达数据仓库中信息的一个基本途径，可作为标识数据的索引。通常的报表只包含有行和列两维，但在数据仓库中所存储的数据大多是用多维（三维或三维以上）视图表示的。•维度是多维数据集的结构性特性。它们是事实数据表中用来描述数据的分类的有组织的层次结构（级别）。这些分类和级别描述了一些相似的成员集合。•所有维度均直接或间接地基于表，定义此维度的列，选择列的顺序至关重要。数据仓库概念模型3维度的定义3.3选择下表中的“区域”列，再选择“州”列，即可定义维度。State_id区域州1东部缅因2东部俄亥俄3西部爱达荷4西部德克萨斯3维度定义3.3数据仓库概念模型4月份我在北京卖掉了价值十万美元的可乐例子1关系数据库的记录视图：产品时间地区销量VCD机2002.3.10北京5728传真机2002.3.10北京6739刻录机2002.3.10北京3976复印机2002.3.10北京6395打印机2002.3.10上海6365传真机2002.3.10上海67443维度定义3.3数据仓库概念模型例子2多维数据库视图：时间上海北京VCD地区产品57826365传统型：二维（关系型）记录、字段数据仓库：多维（立方体）维、单一事实传统型的一个二维表，在数据仓库中可能需要多个立方体来表示；数据仓库的一个立方体可能由多个传统型的表组成；产品时间地区数量金额VCD机2002.3.10北京57282345556销售数量立方体销售金额立方体一个二维表的数据可装载到两个立方体维的层次：关系数据库在字段上做文章，数据仓库在维上做文章；维不仅是查询数据的一个角度，而且提供查询的深度；年所有产品全国季产品大类地区月产品小类城市日产品超市同一属性数据可有多种归类层次：顾客-性别-所有顾客、顾客-文化程度-所有顾客2.时间维每个数据仓库都用到无限的；粒度要求高时，细分数据剧增。维度的分解与合成›是在一个维度内进一步细分数据或将数据按照另一标准组合的过程。›例如，当以地理位置维观察数据时，用户可以首先以国家（如中国）为单位观察数据，然后可以选择观察某一个地区（如华东地区）的数据，接下来可以选择观察某一个省或城市（如上海）的数据，这就是数据分解的过程。›而合成则是分解的逆过程，例如用户开始以省市为观察对象，接着再以地区、国家等为观察对象，就是一个数据合成的过程。数据仓库概念模型3维度的定义3.3我们有大量的会员›年龄在20–60岁›月薪在0–8000元55%的会员被我们认可为忠实会员（好会员）55%会员都是些什么会员？数据仓库概念模型3维度的定义3.3维度分解的例子维度分解的例子维度分解的例子维度分解的例子NameStatusMajorBirthPlaceGPAAndersonM.A.historyVancouver3.5BachJuniormathCalgary3.7CarltonJuniorliberalartEdmonton2.6FraserM.S.physicsOttawa3.9GuptaPh.D.mathBombay3.3HartSophomorechemistryRichmond2.7JacksonSeniorcomputingVictoria3.5LiuPh.D.biologyShanghai3.4……………MeyerSophomoremusicBurnaby3.0MonkPh.D.computingVictoria3.8WangM.S.statisticsNanjing3.2WiseFreshmanliteratureToronto3.9加拿大某大学数据库ANYCanadaforeignB.COntario…ChinaIndia……Vancouver…Victoria……Beijing….Bombay…“出生地”维度之级别{Bumaby,…..,Vancouver,Victoria}BritishColumbia{Calgary,…..Edmonton,Lethbridge}Alberta{Hamilton,Toronto,Waterloo}Ontario{Bombay,…..,NewDelhi}India{Beijing,Nanjing,…..,Shanghai}China{India,China}foreign{BritishColumbia,Alberta,…..,Ontario}Canada{foreign,Canada}ANY(place){biology,chemistry,computing,…..,physics｝science{literature,music,…..,painting}art{science,art}ANY(major){freshman,sophomore,junior,senior}undergraduate{M.S.,M.A.,Ph.D.}graduate{undergraduate,graduate}ANY(status){0.0-1.99}poor{2.0-2.99}average{3.0-3.99}good{4.0-4.99}excellent{poor,average,good,excellent}ANY(grade)freshmansophomorejuniorseniorM.S.M.A.Ph.DundergraduategraduateANY维度合成的例子将研究生数据合成出来NamesMajorBirthPlaceGPAVoteAndersonhistoryVancouver3.51FraserphysicsOttawa3.91GuptamathBombay3.31LiubiologyShanghai3.41……………M