元数据管理-实用

元数据管理冷鹏（2006年编写）2数据集成技术数据展现分析数据仓库建模厂商解决方案谈元数据管理数据仓库基础项目开发管理3元数据管理工具InformaticaMetaManagerDAGMetaCenterIBMMetaStageOracleOWBCADecisionbaseTransformer……4元数据MDC的开放信息模型•分析与设计（AnalysisandDesign）•对象与组件（ObjectandComponent）•数据库与数据仓库（DatabaseandWarehousing）•业务工程（BusinessEngineering）•知识管理（KnowledgeManagement）OMG组织的CWM模型•UML•MOF（元对象设施）•XMI（XML元数据交换）5元数据的重要性及时发现系统变化找出需要调整的ETL程序给出仓库中数据和指标的来源及规则调整仓库的数据模型促进项目组成员的沟通监控数据质量采用元数据跟用户确认新的需求6技术元数据7业务元数据8业务专家元数据开发人员项目经理架构师谁需要元数据业务经理分析人员业务定义如：某销售指标不正确，找出销售指标的计算方法及计算项来源……业务专家9分析人员开发人员业务专家项目经理架构师谁需要元数据业务经理元数据需求分析定义如：分析指标定义、报表定义、数据来源定义10开发人员业务专家项目经理架构师谁需要元数据业务经理元数据不同开发小组之间的交流如：DBA工程师与ETL工程师DBA工程师与BI工程师…..分析人员11元数据开发人员业务专家项目经理架构师谁需要元数据业务经理业务管理与信息消费如：数据分析、业务决策、给前系统提出改进建议，对数据仓库系统二期、三期提出更多的业务需求分析人员12开发人员业务专家项目经理架构师谁需要元数据业务经理元数据数据仓库项目管理控制如：定义项目范围、控制项目风险、评估不同系统集成时产生的影响（影响分析）……分析人员13元数据开发人员业务人员项目经理架构师谁需要元数据业务经理项目架构设计如：了解多个业务系统的结构、关联关系，数据转换规则设计…..分析人员14元数据的存储区15数据仓库元数据结构图16元数据管理示意图源数据EDW（ODS+DW+DM）前端工具connections暂存区元数据数据库17InformaticaMetadataMangerMetadataObjectBrowserandGraphicalReportsPowerCenterIntegrationServerSuperGlueWarehouseMetadataSourcesSGIntegrationRepositoryCWMClassMetaModelPresentationServerMetadataXConnectsSGConsoleRolebaseddashboardsandMetadataReportsWinNT,2000,XPWarehouse-Oracle8.1.7,9.2.0.1andabove,10g-SQLServer2000SP3-DB2UDB8.xEE/EEEIntegrationRepo-Oracle8.1.7,9.2.0.1andabove,10g-SQLServer2000SP3-DB2UDB7.xEE/EEEandaboveREPOSITORIES18PowerCenterIntegrationServerInformaticaMetadataManagerMetadataObjectBrowserandGraphicalReportsSuperGlueWarehouseSGIntegrationRepositoryCWMClassMetaModelPresentationServerMetadataXConnectsSGConsoleRolebaseddashboardsandMetadataReportsWinNT,2000,XPSERVERSPC7.1.1IntegrationServerPC7.1.1on:NT,SOLARISHPUnix,IBMAIX(PCsupportedversions)PA4.1.1AppsServer[BrowserIE6.0using:iPlanet6.0,IIS6.0ORApache1.3]BEAWL6.1SP4on:-NT4.0SP5,NT2000SP2,Win2003-SOLARIS7.0,8.0-HPUnix11.0,11i-IBMAIX4.3,5.1Websphere5.1on:-NT4.0SP5,NT2000SP2,Win2003-SOLARIS7.0,8.0-IBMAIX4.3,5.1MetadataSources19InformaticaMetadataManagerMetadataObjectBrowserandGraphicalReportsPowerCenterIntegrationServerSuperGlueWarehouseSGIntegrationRepositoryCWMClassMetaModelPresentationServerMetadataXConnectsSGConsoleRolebaseddashboardsandMetadataReportsWinNT,2000,XPETL-PowerCenter5.x,6.x,7.x*-PowerMart5.x,6.x,7.x*BI-PowerAnalyzer4.x*-BOBJ5.0,5.1.x,6.x-COGNImpromptu7.x-COGNReportNet1.x-MSTRDesigner7.x-DB2CubeViewsXCONNECTS*(onOracle8.1.7andabove,SQLServer2000SP3andDB27.xEE/EEEandabove)Databases-Oracle8.1.7,9i,10g-SQLServer2000-Sybase12.x-TERADATAV2R5-DB2UDB7.1,7.2,8.1EE/EEE-IBMInformix9.2DesignTools-ERwin3.0to3.5.2,4.0SP1to4.1-OracleDesigner1.3.2,2.1.2,6.0,6i,9i-SybasePowerDesignerPDM6.1.x,7.5to9.5-IBMRationalER98(I)to2000,2000eto2002-MicrosoftVISIODatabase(ERX)-EmbarcaderoERStudio5.1to6.0MetadataSources20Sourcedefinition源系统地址,网络连接,访问方式Location,networkconnection,accessmethods计算机系统,操作系统Computerplatformdefinition,operatingsystemdefinition数据库服务器名,访问方式,数据结构,有关的表,列Databaseservername,accessmethods,schema,table,elementsofinterests源数据库链接说明Sourcedatabaselinks逆工程与源系统设计获取定义说明Reverseengineeringandsourcedesigncapturespecification元数据交换说明Metadataexchangedefinition21Stagingareadefinition源至暂存区映像（Source-stagingmapping）暂存区至目标区映像Staging-targetmapping中间文件的传输说明Filetransportspecification中间文件的说明及使用Filespecificationandusage中间文件的前后处理(清理与压缩)说明Filepre/posteventprocessingspecification暂存区数据库的前后处理及中间处理说明及使用Stagingdatabaseusageandpre/postprocessspecification22Targetmodelingdefinition星结构Starschema事实表定义说明Facttabledefinition度量Measurement数字键Numerickey交替键Foreignkey索引Indexdefinition定义数据（如数据类型，数值大小和省缺值）有效性制约Validationconstraint数据域值定义Datarangevalidation分区定义说明Partitionspecification存储说明Storagespecification维表定义与说明Dimensiontabledefinition主键Primarykey缓慢变化的维Slowlychangeddimension维的等级/层次Dimensionhierarchy维的共享Dimensionsharing维的版号化Dimensionversioning数据库完整性限定Databaseintegrityconstraints23Targetmodelingdefinition维表定义与说明Dimensiontabledefinition主键Primarykey缓慢变化的维Slowlychangeddimension维的等级/层次Dimensionhierarchy维的共享Dimensionsharing维的版号化Dimensionversioning数据库完整性限定Databaseintegrityconstraints24Mappingdefinition源至目标映像Source-targetmapping基本数据到综合数据的映像Basicdata-summarymapping标准字典Standarddictionary转换字典Conversiondictionary参照表Lookuptables映像表Mappingtables25ETLdefinition转换规则和方法Conversionruleandmethod数据清洗说明Datacleaningspecifications批作业说明Batchjobspecification加载频率Loadingfrequency累加时间片控制说明Incrementaltimeslicecontrolspecification回退说明与准则Rollbackspecificationandpolicy剥离与修改数据准则Stripandmodificationinbounddatapolicy转换函数库Conversionfunctionlibrary传输定义与说明Transportationdefinition加载定义与说明Loadingdefinition26ETLdefinition会期/对话管理定义与说明Sessionmanagementdefinition预定作业排时Scheduling批作业前后事件说明及处理方法Pre-batchandpost-batchjobevents批作业日志Batchlogging会期/对话日志Sessionlog拒收日志Rejectedlog坏数据日志Baddatalog27Summarymanagementdefinition事实表/维表至总计方阵映像Fact/dimension-summarycubemapping总计至总计映像Summary-summarymapping总计方阵设计Summarycubelayout聚合定义说明Aggregatedefinition实体化视图/方阵定义说明Materializedview/cubedefinition方阵间关系Relationshipsbetweencubes嵌