Informatica数据质量控制方法

Informatica数据质量控制方法一种可实现普遍深入的数据质量控制的框架——通过业务部门与IT部门之间更为有效的协作本文档含有InformaticaCorporation的保密、专有信息和商业秘密信息（“机密信息”），事先未经Informatica的书面同意，不得进行拷贝、散发、复印或以任何其它方式复制。尽管我们尽最大努力确保本文档中信息的准确性和完整性，但仍可能存在一些印刷错误或技术误差。如因使用本文档所含信息而造成任何损失，Informatica概不负责。本文档中包含的信息随时可能更改，恕不另行通知。Informatica自行决定将这些材料中讨论的产品属性纳入其任何软件产品的发布或升级中，并自行决定任何此类发布或升级的时间安排。受下列一项或多项美国专利保护：6,032,158；5,794,246；6,014,670；6,339,775；6,044,374；6,208,990；6,850,947；6,895,471；或受下列正在申请的美国专利保护：09/644,280；10/966,046；10/727,700。此版本发布于2010年5月1Informatica数据质量控制方法白皮书.....................................................2.........................................3业务部门与IT部门协作的重要性.....................................5用于加强协作的基于角色的工具......................................51.........................72.......................83.......................94..............105..............................116..........................12....................................................13................................................13Informatica...........................................132任何数据质量方案都具有人员、流程和技术三个要素。为了能够从数据质量方案中获得最大的回报，必须有一个结构化的明确方法来协调这三个要素。虽然数据质量管理方法的价值似乎不言自明，然而太多的组织采用不明确的数据质量方案，从而导致问题被混淆、细节被忽视、工作重复多余而且效果欠佳。一个战略性和系统性的方法能帮助您正确研究您的数据质量项目，业务部门与IT部门的相关人员将各自具有明确角色和责任，配备正确的技术和工具，以应对数据质量控制的挑战。本白皮书探讨了劣质数据质量所带来的影响，并介绍了Informatica®数据质量控制方法，这是一个分为六步实现的框架，范围从初始探查、持续监测，直到实现在整个企业范围内产生和交付优质数据的最终目标。您的业务部门与IT部门的数据使用者—业务分析师、数据管理员、IT开发人员和管理员，能够在六个步骤的每一步中协同使用Informatica数据质量解决方案；并在整个扩展型企业的所有数据领域和应用程序中嵌入数据质量控制。白皮书3Informatica数据质量控制方法您的业务表现直接与其数据的质量和可信度相关联。拥有高质量数据，您的企业将平稳地以最高效率运作。高质量数据提高您的竞争优势，并增强您以下方面的能力：获得并留住客户• 优化销售和财务• 运行高效的供应链和生产流程• 摒弃昂贵代价的操作失误• 作出明智、及时的业务决策• 迅速进入新市场• 虽然大多数企业意识到数据质量的理论重要性，然而很多企业还是采取观望态度，直到劣质数据影响到其运营效率和盈利能力时，他们才采取行动。结果可能导致客户服务退化、供应链错误、财务报告错误，甚至导致出现每年损失数百万美元的主要运营错误。同样，企业通常采取临时性的办法实施数据质量管理，从部门或功能角度迅速修复错误；然而这样的方法通常未能全面解决整个企业的数据质量缺陷，因此不仅目光短浅且无法实现可持续应用。其代价是昂贵的。Gartner分析公司通过调查140多家公司后估计，由于数据质量管理不善，他们平均每年损失820万美元。22%的受访机构称每年损失超过2000万美元，而有4%的公司每年损失超过1亿美元。1“虽然数百万美元的损失已为数不少，我们相信这些估计值其实低估了大多数机构实际承受的财务影响—问题的实际影响范围通常比业务部门和IT部门领导预计的要大得多（以数量级计）。”Gartner公司报告评论道。1GartnerInc.，“主要研究成果报告：数据质量问题对组织的成本带来较大影响”，2009年8月。4要应对此问题，各机构需要在人员、流程和技术方面做必要的投资，以将有缺陷的数据转变成可信的、可操作的业务信息，无论何时何地都可以满足相关人员使用这些数据的需要。最好的数据质量方案有以下四个特征：• 业务部门和IT部门为数据质量共同担责，业务分析师、数据管理员、IT开发人员和管理员各自将具有明确分工和适于其独特技能和视角的技术。• 业务部门和IT部门认识到所有机构都会不同程度地受到劣质数据的影响，有必要在劣质数据严重影响到企业业绩之前，积极探查数据以发现和纠正问题。• 有关数据探查与清洗的业务规则可被重复运用于任意数量的应用程序，以简化并加快流程，便于确保达到较高的质量水准。• 数据质量环境将扩展至所有相关人员、数据领域、项目和应用程序，而不论数据是内部预置、在合作伙伴处还是在云环境中。如要获得最有效的数据质量控制，则需要有一个兼具以上各特征的方法。理想状况下，该方法可由一个专门的数据管理部门来监督和实施，或者也可以在卓越中心进行规范化。Informatica的六步法为帮助指导数据质量控制而设计，从初始的数据探查到持续监测以及持续进行的数据优化。在过去近10年间，Informatica数据质量控制方法已经演变成一个成熟并行之有效的架构，帮助指导世界各地的机构执行数据质量控制。该方法运用Informatica数据质量解决方案，提供您公司所需要的各种数据质量管理能力，并确保其所有数据均是完整的、一致的、准确的、通用的。该解决方案包括几个针对特定用途优化的组件：InformaticaDataQuality™、InformaticaDataExplorer™、和InformaticaIdentityResolution™。InformaticaDataExplorer• 运用基于角色的工具可促进业务部门与IT部门之间的协作，该数据探查软件发现和分析任何来源中任何类型数据的内容、结构和缺陷。InformaticaDataQuality• 软件执行清洗、解析、标准化和匹配流程并使得可视记分卡和仪表盘上的持续监测得以进行。与InformaticaDataExplorer类似，它特有基于角色的工具，业务部门和IT部门可以借此得以协同工作。InformaticaIdentityResolution• 软件能使各机构从60多个国家/地区以及各企业和第三方应用程序中搜寻和匹配一致数据。白皮书5Informatica数据质量控制方法IT业务部门与IT部门间缺乏协作是导致很多数据质量管理项目未能发挥其潜能的重要因素。这两个部门曾经依赖于传统的电子数据表、文档、电子邮件以及其它繁琐和不精确的机制来沟通数据质量要求。毫无疑问，对于业务分析师和数据管理员而言，它们难以用IT部门可以理解的明确术语来概述数据质量业务要求。我们常常见到数据领域中发生的误解、延误、高成本以及不理想的结果，这是因为业务部门和IT部门使用的是两种不同的工作语言，没有共同的构架。很多关键性的明细在转化过程中丢失。业务部门与IT部门间的协作对于数据质量管理和相关数据管理方案的重要性已经越来越获得重视。例如，在数据仓库学院(TDWI)的一项调查中，64%的受访者表示在其组织中存在数据集成协作问题。2“越来越多的业务人员从事数据集成，”TDWI的高级研究经理PhilipRussom在TDWI的《WhatWorks》杂志中写道：“数据质量管理树立了一个成功先例。此形式的协作确保数据集成可真正满足业务部门的需求。”Informatica数据质量解决方案为业务部门与IT部门间的协作提供基础。其基于角色的工具特色设计使得业务分析师、数据管理员、IT开发人员和管理员能够充分利用他们独特的技能体系，并在流程中与所有相关人员沟通。该基于角色的工具能同时针对业务部门和IT部门就相同数据提供不同视图。例如，IT开发人员在开发环境中查看技术版本的数据和规则。业务分析师在基于浏览器的工具中查看对同一数据的非技术性表述。业务部门和IT部门可以使用一致的数据和规则工作，运用彼此理解的术语，在一个提倡共同负责的公用环境中工作。使用可共享的书签和注释交流：发现、要求、成果和状态，使得团队成员能够在多项目组间、不同的地理位置和时区中加速并简化数据质量控制流程。规则可以通过这些沟通制定，并可视作探查结果的一部分，能够显著减少对规定认识不够所带来的风险。2数据仓库学院，“协作性数据集成”，TDWI《WhatWorks》，2009年8月。6三个基于角色的工具—InformaticaAnalyst、InformaticaDeveloper和InformaticaAdministrator，都是InformaticaDataExplorer和InformaticaDataQuality的通用工具。InformaticaAnalyst• 适用于业务分析师和数据管理员。通过用语义术语表述数据，该款基于浏览器的工具使分析师和数据管理员能够探查数据、创建和分析质量记分卡、管理异常记录、开发和使用规则，以及与IT部门展开协作。InformaticaDeveloper• 适用于IT开发人员。这个基于Eclipse的开发环境允许开发人员发现、访问、分析、探查和清洗处于任何位置的数据。开发人员可以为逻辑数据对象建模、将数据质量规则与复杂转换逻辑合并，并在逻辑制定后，进行中游探查以验证和调试逻辑。InformaticaAdministrator• 适用于IT管理员。该工具为IT管理员带来集中配置和管理的能力。管理员可以监测和管理安全性、用户访问、数据服务、网格和高可用性配置。在了解Informatica数据质量解决方案的组成部分之后，我们可以进一步研究Informatica数据质量管理方法的六个步骤，以及相关人员可以如何运用每个步骤中的技术。图1展现了这六个步骤。125634Informatica图1.Informatica数据质量方法从最初的数据探查阶段拓展到持续的监测和优化。白皮书7Informatica数据质量控制方法1第一步是探查数据以发现和评估数据的内容、结构和异常。通过探查，可以识别数据的优势和弱势，帮助您确定您的项目计划。一个关键目标是明确指出数据错误和问题，例如将会给业务流程带来威胁的不一致和冗余。一个全面的数据探查操作将为数据质量控制的成功奠定基础。通过识别眼前的问题，您可以避免代价高昂耗时的后续纠正过程。一旦找出问题，IT人员和业务人员将调查每个数据属性并生成描述数据属性的元数据。该元数据（或有关数据的数据）用于清洗下游数据或用于数据转换过程。业务分析师、数据管理员和IT开发人员能够且应该在数据探查工作中进行协作。InformaticaDataExplorer通过基于角色的数据探查技术有助于为协作所存在的沟壑搭桥。业务分析师和数据管理员通过InformaticaAnalyst来评估数据质量、识别异常、建立业务规则和创建记分卡。开发人员使用InformaticaDeveloper处理业务用户的输出，或生成他们自己的数据探查。该工具为开发人员带来更大的灵活性和更多功能，例如：构建、