2_数据治理中的数据质量和元数据管理重要性

数据治理中的数据质量和元数据管理数据治理中的数据质量和元数据管理数据治理中的数据质量和元数据管理数据治理中的数据质量和元数据管理数据治理中的数据质量和元数据管理数据治理中的数据质量和元数据管理数据治理中的数据质量和元数据管理数据治理中的数据质量和元数据管理重要性重要性重要性重要性刘春霞资深工程师•数据治理中的数据质量和元数据
数据质量重要性
元数据管理重要性
IBM解决方案（InformationServer）议程议程议程议程•数据质量和元数据管理–工具
业务术语表（BusinessGlossary）
洞察数据（InformationAnalyzer）
规范开发（Fasttrack）
清洗/转换数据（QualityStage/DataStage）
元数据工作台（MetadataWorkbench)•数据治理中的数据质量和元数据
数据质量重要性
元数据管理重要性
IBM解决方案（InformationServer）议程议程议程议程•数据质量和元数据管理–工具
业务术语表（BusinessGlossary）
洞察数据（InformationAnalyzer）
规范开发（Fasttrack）
清洗/转换数据（QualityStage/DataStage）
元数据工作台（MetadataWorkbench)动态提供整合的信息动态提供整合的信息动态提供整合的信息动态提供整合的信息People,Processes,ApplicationsRichStandards,相互没有关联的相互没有关联的相互没有关联的相互没有关联的信息孤岛信息孤岛信息孤岛信息孤岛日新月异信息架构日新月异信息架构日新月异信息架构日新月异信息架构Sources:IBMAttributes&CapabilitiesStudy,2005;ClientInterviews2004;IBMCFOStudy,20065XMoreValuecreationbyorganizationseffectiveatusinginformation60%+ofCEOssaytheyneedtodoabetterjobleveraginginformationRepositories,ApplicationsIntegratedInformationPlatformIntegratedInformationPlatformRichStandards,FlexibleArchitecture70%ofpeople’stimecanbespentfindingrelevantinformation数据不完整数据不完整数据不完整数据不完整关键ID缺少，或者明显位数不符；部分辅助信息的代码不规范很多是文本描述；数据不一致数据不一致数据不一致数据不一致相关联业务系统数据不同步；不同系统之间描述同一业务问题的数据定义存在数据不完整数据不一致数据治理中遇到的问题数据治理中遇到的问题数据治理中遇到的问题数据治理中遇到的问题描述；历史数据保留期限不一致。数据冗余数据冗余数据冗余数据冗余重复数据记录非法键值数据逻辑错误数据逻辑错误数据逻辑错误数据逻辑错误违反业务规则违反业务代码定义的数据定义存在差异。数据逻辑错误数据冗余数据质量表现数据质量表现数据质量表现数据质量表现““““经常花费数小时甚至经常花费数小时甚至经常花费数小时甚至经常花费数小时甚至几天找到我需要的信息几天找到我需要的信息几天找到我需要的信息几天找到我需要的信息””””””””我们常常很难理解我们常常很难理解我们常常很难理解我们常常很难理解业务需求业务需求业务需求业务需求,,,,因为因为因为因为ITITITIT使使使使用的定义同业务不一用的定义同业务不一用的定义同业务不一用的定义同业务不一致致致致.”.”.”.”““““我们的数据不能满足业我们的数据不能满足业我们的数据不能满足业我们的数据不能满足业务需求务需求务需求务需求.”.”.”.”数据架构数据架构数据架构数据架构师师师师主主主主题专题专题专题专家家家家业务分析人员业务分析人员业务分析人员业务分析人员数据治理中遇到的问题数据治理中遇到的问题数据治理中遇到的问题数据治理中遇到的问题““““是否存在数据是否存在数据是否存在数据是否存在数据风险风险风险风险????我能否审我能否审我能否审我能否审计信息来源计信息来源计信息来源计信息来源?”?”?”?”数据管家数据管家数据管家数据管家““““我们有很多信息我们有很多信息我们有很多信息我们有很多信息,,,,但是我但是我但是我但是我不知道哪些数据是可靠的不知道哪些数据是可靠的不知道哪些数据是可靠的不知道哪些数据是可靠的,,,,能用来做决策的能用来做决策的能用来做决策的能用来做决策的....””””项项项项目目目目执执执执行者行者行者行者““““因为缺乏有效的沟通因为缺乏有效的沟通因为缺乏有效的沟通因为缺乏有效的沟通,,,,项目常常超出预算项目常常超出预算项目常常超出预算项目常常超出预算””””数据分析人员数据分析人员数据分析人员数据分析人员83%数据集成项目需要重复实施甚至失败消费者缺乏信心无效和重复性工作增加运作成本危害危害危害危害低劣数据质量严重地降低公司年收入无法预测商机而造成损失，比事后弥补将多达10~100倍25%时间浪费在辨别数据是否“坏数据”错误或不完整数据导致BI和CRM系统不能正常发挥优势甚至失效痛失商机元数据需求元数据需求元数据需求元数据需求业务需求业务需求业务需求业务需求可信可信可信可信赖赖赖赖信息信息信息信息更好地理解信息更好地理解信息更好地理解信息更好地理解信息
端到端数据端到端数据端到端数据端到端数据连线连线连线连线
表述数据所反映的业务内涵表述数据所反映的业务内涵表述数据所反映的业务内涵表述数据所反映的业务内涵数据治理需求数据治理需求数据治理需求数据治理需求易于查询易于查询易于查询易于查询更好地有助于数据管治更好地有助于数据管治更好地有助于数据管治更好地有助于数据管治业务业务业务业务和和和和IT共同共同共同共同协协协协作作作作
丰富的信息丰富的信息丰富的信息丰富的信息类别类别类别类别和和和和揭揭揭揭示一示一示一示一对对对对多相互多相互多相互多相互关关关关系系系系
风险分析和变更管理风险分析和变更管理风险分析和变更管理风险分析和变更管理
业务和技术用户共享元数据库业务和技术用户共享元数据库业务和技术用户共享元数据库业务和技术用户共享元数据库DataProfileDataCleanDataVerify高效与完善的数据质量实施和管理体系高效与完善的数据质量实施和管理体系高效与完善的数据质量实施和管理体系高效与完善的数据质量实施和管理体系•Foundationtoanysuccessbusinessprojects•SourceSystemanalysis•AuditableDataQuality•SetupDatasourceviewbyfederation•AutogenerateverifySPwithMDR•VerifyresultwillbestorewithMDR数据质量管理平台数据质量管理平台数据质量管理平台数据质量管理平台•DCruleswillbestoredinMDR•DCruleswillbeimplementinETL•DCresultwillberecordIBMInformationServerInformationServicesDirector为整合信息和访问发布SOA服务开发人员开发人员开发人员开发人员主题专家主题专家主题专家主题专家数据分析师数据分析师数据分析师数据分析师业务用户业务用户业务用户业务用户架构师架构师架构师架构师DBAs归档业务术语&连接到数据源标准化、合并和纠正信息组合和重构信息以用于新的用途异构信息的虚拟化访问MetadataServer/MetadataWorkbench分析&理解源数据跨信息整合生命周期的统一的元数据管理输入行业数据模型ServicesOrientedArchitectureInformationServicesDirector发布部属ExchangeDataStructuresLinkRationalDataArchitect基于基于基于基于InformationServer的数据管治架构图的数据管治架构图的数据管治架构图的数据管治架构图11分析并建立源数据轮廓InformationAnalyzerBusinessGlossaryDataStageandQualityStage转换和清洗映射源数据到目标模型FastTrack发布共享部属共享共享共享MetadataServerandMetadataWorkbench互动的跨平台的共享,管理和报表共同的企业词典DevelopersSubjectMatterExpertsDataAnalystsBusinessUsersArchitectsDBAs加强协作，让IT向业务看齐基于基于基于基于InformationServer的元数据管理架构图的元数据管理架构图的元数据管理架构图的元数据管理架构图12易于集成易于集成易于集成易于集成基于基于基于基于”可信赖可信赖可信赖可信赖”信息信息信息信息，，，，更有信心使用更有信心使用更有信心使用更有信心使用信息信息信息信息遵循业界规范和标准遵循业界规范和标准遵循业界规范和标准遵循业界规范和标准易于变更管理易于变更管理易于变更管理易于变更管理&重用重用重用重用技术技术技术技术,操作操作操作操作,业务业务业务业务统一元数据管理统一元数据管理统一元数据管理统一元数据管理IBM元数据管理目标元数据管理目标元数据管理目标元数据管理目标•集合各个产品元数据管理到一个单一的，共享的元数据管理库中。•消除了元数据在不同工具之间的交换需要。“”•通过“统一模型”提供连续的元数据管理视图。•提供开放的体系架构允许额外的组件方便的扩展。•提供元数据管理的新的目标集合。•允许通过整个套件共享元数据分析。•数据治理中的数据质量和元数据
数据质量重要性
元数据管理重要性
IBM解决方案（InformationServer）议程议程议程议程•数据质量和元数据管理–工具
业务术语表（BusinessGlossary）
洞察数据（InformationAnalyzer）
规范开发（Fasttrack）
清洗/转换数据（QualityStage/DataStage）
元数据工作台（MetadataWorkbench)输入行业数据模型ServicesOrientedArchitectureInformationServicesDirector发布部属ExchangeDataStructuresLinkRationalDataArchitect基于基于基于基于InformationServer的数据管治架构图的数据管治架构图的数据管治架构图的数据管治架构图15分析并建立源数据轮廓InformationAnalyzerBusinessGlossaryDataStageandQualityStage转换和清洗映射源数据到目标模型FastTrack发布共享部属共享共享共享MetadataServerandMetadataWorkbench互动的跨平台的共享,管理和报表共同的企业词典InfoSphereBusinessGlossaryBusinessGlossary创建和管理业务词典和层级关系创建和管理业务词典和层级关系创建和管理业务词典和层级关系创建和管理业务词典和层级关系,及及及及相关的物理信息源相关的物理信息源相关的物理信息源相关的物理信息源获取业务数据和类别连接业务术语&类别到IT资产识别数据管理员和类别访问管理需求需求需求需求信息的内容对每个人都是可以立即了解到的IT项目同数据监管结合促进业务和IT的紧密协作益处益处益处益处Category:CostsTerm:TaxExpenseFullName:TaxtobepaidonGrossIncome“The