通过数据质量管理从商业智能投资中获得更多

通过数据质量管理(DQM)从商业智能(BI)投资中获得更多将数据质量运用到五种形式的商业智能本文档含有 Informatica Corporation 的保密、专有信息和商业秘密信息（“机密信息”），事先未经Informatica的书面同意，不得进行拷贝、散发、复印或以任何其它方式复制。尽管我们尽最大努力确保本文档中信息的准确性和完整性，但仍可能存在一些印刷错误或技术 误差。如因使用本文档所含信息而造成任何损失，Informatica概不负责。本文档中包含的信息随时可能更改，恕不另行通知。Informatica将自行决定是否将这些材料中讨论的产品属性纳入其任何软件产品的发布或升级中，并自行安排任何此类发布或升级的时间。受下列一项或多项美国专利保护：6,032,158；5,794,246；6,014,670；6,339,775；6,044,374；6,208,990；6,208,990；6,850,947；6,895,471；或受下列正在申请的美国专利保护：09/644,280；10/966,046；10/727,700。此版本发布于2009年5月1运用数据质量白皮书目录概要....................................................2面向普遍深入的BI：挑战和机遇...........................3什么是数据质量？为什么要关注？.........................5数据质量和商业智能的五种形式...........................6 记分卡和仪表板.................................................6 企业报告......................................................7 OLAP 分析.....................................................7 高级/预测分析.................................................8 通知和警报....................................................8数据质量管理技术........................................9面向企业商业智能的企业数据质量控制.....................10案例分析................................................102概要许多组织将数据质量视为影响分析和决策支撑的最重要事项之一。一方面，商业智能 (BI) 数据的激增，以及从不同系统和应用程序中提取的数据，都可能导致数据质量下降及BI报告置信度丧失。另一方面，部署了高质量数据的BI能够帮助组织更高效、更果断地展开竞争。换言之，数据质量是让组织处于攻还是守将取决于您对它的掌控程度。这就是为什么组织必须了解数据质量如何影响BI的最流行形式，以及端到端监控和管理数据质量的技术。在本白皮书中，我们将为商业智能专业人士和管理人员提供指导，通过及时准确的数据帮助引导组织优化商业智能投资。为运营人员，决策者，以及其他关键相关人士提供更快捷可靠的信息是组织能够作出与合理策略相一致的运营决策的基石。 我们将探讨：• 面向普遍深入的BI：挑战和机遇• 什么是数据质量？为什么要关注？• 数据质量和商业智能五种形式• 数据质量管理技术• 企业数据质量在本白皮书的最后，我们将以实例分析的方式讨论了一家领先的金融机构如何构建了一个与普遍深入的BI相符的强大数据质量管理(DQM)流程，从而实现了超过2300万美元的节约。白皮书3运用数据质量面向普遍深入的BI：挑战和机遇现今，组织面临更大压力，需要在技术上进行投资以便提升竞争优势和经营业绩。商业智能(BI)的成功部署可以帮助评估一个组织的健康状况，建立适当的关键绩效指标，并监控拉动顶线和底线增长的日常运作。因此，用于执行 BI 任务的准确数据的需求将会从信息使用和供给两方面持续增长。强化对更多数据的需求正在推动整个用户群，从管理层到处于影响点的用户，广泛采用BI功能。这一广泛应用已经促使商业智能设施超越了传统查询，分析报告和在线分析处理(OLAP)功能，现在还包括运营仪表板，可定制的记分卡，以及先进的可视化技术。从信息供应链的角度，这意味着不管什么格式，只要用户需要，支持数据就必须能被访问，聚合和合理化，以用于BI。而且，每一天风险都会增大。与传统的BI应用侧重于查询和分析不同，许多新的BI应用以运营决策和后续行动为中心。普遍深入的BI作为向一线员工，客户和业务伙伴提供适时信息的功能，它为组织提供必要的可见性，洞察力以及事实，以便任何时候在所有流程中都能作出更明智决策。这意味着用户在报告和警报上采取的每个行动都会受到报告数据的准确性以及用户信任数据的能力的影响。当我们看BI报告时，我们是否经常觉得数据显示怪异，或不值得信任？这种不适的感觉，无论合理与否，将会导致延迟，甚至会导致停止采取对业务至关重要的必要措施。4现在，让我们回顾并思考这对我们现有环境意味着什么。我们无法通过一夜之间的 演变实现普遍深入的商业智能。一个典型的组织包含图1所示的五个阶段。垂直轴显示了部署特定类型BI的组织的分布情况。水平轴显示了成熟度级别，1级为最不成熟，5级为最成熟。第一阶段为临时型，在此阶段组织依赖电子表单和手动协调。错误率很高，必须做许多返工。第2级为策略型。将使用部门数据集市。第3级则为一个正式的分析型BI方案，使用部门数据仓库。在第4级，组织能够为BI提供充分的可见性和控制，提升企业范围的报告和分析。在第5级，组织从传统的分析和报告方法过渡到更具有可操作性的与企业分析和报告相结合的决策支持。正如谚语所说，信任是赢得的，对于数据的信任也不例外。显然，在 BI 团队和 BI报告用户之间建立对数据的信任至关重要。如果数据不完整，不准确，或充满重复内容，整个信任系统会被削弱，并且人们会不愿意使用他们的 BI 工具。但除了明显的数据清洗和匹配，需要为数据仓库，运营存储，以及生成整个企业连续数据流的其它系统和应用程序创建信任网络。这就是越来越多的组织将数据质量方案作为企业BI方案的核心宗旨的原因。图1.普遍而深入的BI成熟度模型白皮书5运用数据质量什么是数据质量？为什么要关注？“数据质量”就是一个如此简单而随意的术语，以至于需要定义它说的是什么。TDWI将数据质量定义为数据内容和结构的质量（根据不同的标准），再加上改进数据的标准技术和商业惯例，如名称和地址数据清洗、匹配、仓储、去重复、标准化，以及追加第三方数据（PhillipRussom，“通过数据治理为企业提供数据质量”，数据仓库研究院（TDWI），2006年3月）。一个组织可以将衡量数据质量作为一种手段，根据特定规则和标准定义的业务预期来分配数据资产的价值。数据质量维度框架（图2）可包括一系列可用来识别及归类数据质量问题的参数。因此，如果有人说“我们的数据不好，”我们现在可以进一步调查，并用实实在在的数字描述数据质量水平。例如，“数据质量等于百分之八十”，可能是关键属性的完整性，如符合性，重复性等百分比的汇总。通常，组织从此框架开始，并基于成熟度和优先级在任何时间点对它进行修改。 业务和IT团队就要衡量的指标达成一致也是很重要的。由于 BI 部署越来越趋向于跨部门化，管理各类主数据而不仅仅是客户数据的数据质量已成为最佳实践。主数据是一套附带关联属性的数据元素，如客户、产品、员工、以及供应商。其它类型的主数据包括产品数据、财务数据、资产以及其它银行数据和人力资源数据，多种平台上现有的各种格式的所有数据–从ERP系统和关系数据库到半结构化数据源。一个重要的部分是，由于聚合和合并所有类型 BI 的企业数据后，数据量日益增大，从而要求数据质量管理技术具备相应的性能和可扩 展性。图2.数据质量维度框架6基于这个原因，无论有多大数据量和复杂性，始终能探查、清理并提供高质量的各类数据的能力是商业智能成功的基础。而且，回报也是巨大的。凭借良好的数据质量，通过商业智能获得的业务洞察力会更快变得可行，通常会快更多。通过增强对数据的信心，主管、经理和业务用户可以随时了解新模式和 趋势，以及更高粒度和准确性的业务预警信号，并采取措施。确认多付的款项和其它减缓及节约成本的机会，可能直接取决于业务用户能够使用报告和警报中可保证准确的数据。并且，端到端的数据质量管理也增加了 BI 报告的可审计性和可见性，尤其是对合规性和风险管理用途特别有价值的数据。但也有不利方面：在一系列研究的基础上，质量差的数据将会造成广泛和深刻的 影响。代表性的影响包括：• 需要大量的IT时间和资源来调查、清洗和核对数据• 需要额外的运营开销来手动抽取和更正分析数据• 系统和整个BI供应链的信誉损失• 较慢或错误的决策，对客户满意度和业务绩效造成负面影响• 满足合规性和风险要求时出现失败和延迟。数据质量和五种形式的商业智能如前所述，商业智能已经发展成为多种形式，旨在满足企业不断增长的要求和任务关键型活动日益增长的水平。这些形式都有其自己的一套数据质量要求。记分卡和仪表板记分卡和仪表板正被广泛采用，越来越多的用户利用它们获取财务，业务和绩效监控的鸟瞰图。通过可视化的图形、图表和计量表，这些传输机制帮助跟踪性能指标并向员工通知相关趋势和可能需要的决策。提供集成视图所需的数据元素通常跨越多个部门和学科，需要绝对最新才能有效。数据质量会影响记分卡和仪表板用户，因此这些用户必须能够：• 使用仪表板中计量表和刻度盘上的完整数据，并迅速采取措施• 获取集成视图并使用标准化数据进行协作• 利用具有一致数据的正式记分卡方法• 向下钻取以查看组或个人级别绩效的准确数据• 找到能够生成明显趋势且重复数据最少的业务流程• 推导关联性并通过验证的数据执行交叉影响分析白皮书7运用数据质量企业报告企业报告为所有级别的个人提供来自企业资源规划(ERP)、客户管理管理(CRM)、合作伙伴关系管理(PRM)、发票和帐单系统，以及整个企业内其它源系统的各种运营报告和其它业务报告。这些报告分布广泛，而薪酬和其它激励计划通常与报告的结果有关。数据质量会影响组织报告，因为组织必须：• 浏览多个报告，将它们显示到从不同来源聚合数据的多个表单中• 选择各种参数并通过标准化数据为用户定制报告• 利用各种性能指标的协调数据呈现多个表格和图表• 使业务用户能够利用高精准数据创建自己的报告，无需IT部门参与• 通过清洗和匹配的数据减少合规性管理的人工检查和审计• 利用完整财务数据直接从商业智能报告开具发票和帐单OLAP分析OLAP 使用户能够即时以交互方式对相关数据子集进行“切片和切块”。例如，用户可以按地区分析特定时间段的销售情况，产品的性能，销售员的绩效，等等。OLAP功能，如向上钻取、向下钻取、或任意挖掘（跨业务维度）、透视、排序、筛选、以及翻阅，可用于提供关于绩效的基本详细信息。最为重要的是它能够回答存在的任何业务问题。这意味着调查深入到单个或多个数据仓库中可用的最原子级别的详细信息。数据质量会影响OLAP分析，因为用户和组织需要：• 通过对目标数据的完全访问在所有维度中任意钻取以进行深入调查• 通过设置好格式的一致数据将OLAP轻松应用于任何维度子集• 利用一致的基本数据对象最大限地减少冲突报告，确保交互性• 利用多个维度的正确数据执行用户驱动的适时分析• 提供更新的同步数据来处理事务级数据分析8高级/预测分析高级和预测分析使富有经验的用户能够充分调查和发现特定业务绩效背后的详细信息并使用该信息预测远期效果。此方法可能涉及高级统计分析和数据挖掘功能。为了推动积极决策和改进对潜在商业威胁的姿态，预测分析可能包括假设测试，客户流失预测，供应和需求预测，以及客户评分。预测建模可用于预测各种业务活动及相关效果。数据质量会影响高级和预测分析，因为用户