11数据仓库技术讲座_57

2019年8月1日星期四DataWarehousingandOLAPTechnology1数据仓库和OLAP技术什么是数据仓库（Whatisadatawarehouse）?多维数据模型（Amulti-dimensionaldatamodel）数据仓库体系结构（Datawarehousearchitecture）数据仓库实现（Datawarehouseimplementation）FurtherdevelopmentofdatacubetechnologyFromdatawarehousingtodatamining2019年8月1日星期四DataWarehousingandOLAPTechnology2数据库的定义传统的数据库技术是以单一的数据资源为中心，同时进行从事务处理，批处理到决策分析的各类处理；数据库主要是为自动化，精简工作任务和高速数据采集服务的。它的运行是事务驱动，面向应用的，数据库的根本任务是完成数据操作，即及时安全地将当前事务所产生的记录保存下来。2019年8月1日星期四DataWarehousingandOLAPTechnology3两种不同的数据处理需求计算机系统中存在着两类不同的数据处理需求，即：操作型处理（事务处理）：主要是对一个或一组记录的查询和修改，这时候人们关心的是响应时间、数据的安全性和完整性；分析型处理（信息型处理）：用于管理人员的决策分析，如DDS(decisionsupportsystem)、多维分析等。2019年8月1日星期四DataWarehousingandOLAPTechnology4为什么要建立数据仓库？数据DATA知识KNOWLEDGE决定DECISIONSPatternsTrendsFactsRelationsModelsAssociationsSequencesTargetMarketsFundsallocationTradingoptionsWheretoadvertiseCatalogmailinglistSalesgeography财经的Financial经济的Economic政府Government销售分数Point-of-Sale人口统计学Demographic生活方式Lifestyle痛苦:太多数据，无法作出正确判断！2019年8月1日星期四DataWarehousingandOLAPTechnology5WhatisDataWarehouse?数据仓库是在企业管理和决策中面向主题的,集成的,与时间相关的和不可修改的数据集合“Adatawarehouseisasubject-oriented,integrated,time-variant,andnonvolatilecollectionofdatainsupportofmanagement’sdecision-makingprocess.”—W.H.InmonDatawarehousing:Theprocessofconstructingandusingdatawarehouses2019年8月1日星期四DataWarehousingandOLAPTechnology6DataWarehouse—Subject-OrientedOrganizedaroundmajorsubjects,suchascustomer,product,sales.Focusingonthemodelingandanalysisofdatafordecisionmakers,notondailyoperationsortransactionprocessing.Provideasimpleandconciseviewaroundparticularsubjectissuesbyexcludingdatathatarenotusefulinthedecisionsupportprocess.2019年8月1日星期四DataWarehousingandOLAPTechnology7面向应用举例采购子系统：订单（订单号，供应商号，总金额，日期）订单细则(订单号，商品号，类别，单价，数量）供应商（供应商号，供应商名，地址，电话）销售子系统：顾客(顾客号，姓名，性别，年龄，地址，电话）销售(员工号，顾客号，商品号，数量，单价日期)库存管理子系统：领料单(领料单号，领料人，商品号，数量，日期)进料单（进料单号，订单号，进料人，收料人，日期）库存（商品号，库房号，库存量，日期）库房(库房号，仓库保管员，地点，库存商品描述)人事管理子系统：员工（员工号，姓名，性别，年龄，部门号）部门（部门号，部门名称，部门主管，电话）面向主题举例：商品：商品固有信息：商品号，商品名，类别，颜色等商品采购信息：商品号，供应商号，供应价，供应日期，供应量等商品销售信息：商品号，顾客号，售价，销售日期，销售量等商品库存信息：商品号，库房号，日期，库存量等供应商：供应商固有信息：供应商号，供应商名，地址，电话等供应商品信息：供应商号，商品号，供应价，供应日期，供应量等顾客：顾客固有信息：顾客号，顾客名，性别，年龄，住址，电话等顾客购物信息：顾客号，商品号，售价，购买日期，购买量等2019年8月1日星期四DataWarehousingandOLAPTechnology8DataWarehouse—IntegratedConstructedbyintegratingmultiple,heterogeneousdatasourcesrelationaldatabases,flatfiles,on-linetransactionrecordsDatacleaninganddataintegrationtechniquesareapplied.Ensureconsistencyinnamingconventions,encodingstructures,attributemeasures,etc.amongdifferentdatasourcesE.g.,Hotelprice:currency,tax,breakfastcovered,etc.Whendataismovedtothewarehouse,itisconverted.2019年8月1日星期四DataWarehousingandOLAPTechnology9DataWarehouse—TimeVariantThetimehorizonforthedatawarehouseissignificantlylongerthanthatofoperationalsystems.Operationaldatabase:currentvaluedata.Datawarehousedata:provideinformationfromahistoricalperspective(e.g.,past5-10years)EverykeystructureinthedatawarehouseContainsanelementoftime,explicitlyorimplicitlyButthekeyofoperationaldatamayormaynotcontain“timeelement”.2019年8月1日星期四DataWarehousingandOLAPTechnology10DataWarehouse—Non-VolatileAphysicallyseparatestoreofdatatransformedfromtheoperationalenvironment.Operationalupdateofdatadoesnotoccurinthedatawarehouseenvironment.Doesnotrequiretransactionprocessing,recovery,andconcurrencycontrolmechanismsRequiresonlytwooperationsindataaccessing:initialloadingofdataandaccessofdata.2019年8月1日星期四DataWarehousingandOLAPTechnology11DataWarehousevs.HeterogeneousDBMSTraditionalheterogeneousDBintegration:Buildwrappers/mediatorsontopofheterogeneousdatabasesQuerydrivenapproachWhenaqueryisposedtoaclientsite,ameta-dictionaryisusedtotranslatethequeryintoqueriesappropriateforindividualheterogeneoussitesinvolved,andtheresultsareintegratedintoaglobalanswersetComplexinformationfiltering,competeforresourcesDatawarehouse:update-driven,highperformanceInformationfromheterogeneoussourcesisintegratedinadvanceandstoredinwarehousesfordirectqueryandanalysis2019年8月1日星期四DataWarehousingandOLAPTechnology12DataWarehousevs.OperationalDBMSOLTP(on-linetransactionprocessing)MajortaskoftraditionalrelationalDBMSDay-to-dayoperations:purchasing,inventory,banking,manufacturing,payroll,registration,accounting,etc.OLAP(on-lineanalyticalprocessing)MajortaskofdatawarehousesystemDataanalysisanddecisionmakingDistinctfeatures(OLTPvs.OLAP):Userandsystemorientation:customervs.marketDatacontents:current,detailedvs.historical,consolidatedDatabasedesign:ER+applicationvs.star+subjectView:current,localvs.evolutionary,integratedAccesspatterns:updatevs.read-onlybutcomplexqueries2019年8月1日星期四DataWarehousingandOLAPTechnology13OLTPvs.OLAPOLTPOLAPusersclerk,ITprofessionalknowledgeworkerfunctiondaytodayoperationsdecisionsupportDBdesignapplication-orientedsubject-orienteddatacurrent,up-to-datedetailed,flatrelationalisolatedhistorical,summarized,multidimensionalintegrated,consolidatedusagerepetitivead-hocaccessread/writeindex/hashonprim.keylotsofscansunitofworkshort,simpletransactioncompl