数据仓库ETl工具箱8

操作“整个系统的速度取决于昀慢的部件”。――GeneAmdahl开发装载数据仓库的ETL过程仅仅是ETL开发周期中的一部分，生命周期中的其它阶段主要是执行这些过程。在装载数据仓库过程中，不管作业是实时执行还是批处理方式执行，其调度时间、执行顺序和执行环境都是关键点。另外，当新作业创建后，新作业的执行必须与现有ETL过程无缝集成起来。本章假设已经创建了ETL作业，我们把重点放到ETL的操作策略上来。在本章中，我们将描述如何创建一个ETL操作策略，来保证数据仓库的数据即时可用。本章前半部分，我们将描述在系统设计完成后支持ETL操作的关于ETL调度的一些技巧和技术。本章后半部分描述了许多在作业或系统一级度量和控制ETL系统性的方法（我们在第7章中描述了数据库软件的性能问题）。可能会有数十种控制性的方法，我们将提供一个针对你的环境非常重要的平衡的方法。本章昀后，我们提供了一种简单而有效的在数据库、开发环境、QA环境、生产环境和基础文件系统级别实现ETL系统安全性的方法。流程检查规划与设计：需求/现状-架构-实现-测试/发布数据流：抽取-清洗-规格化-提交本章描述了执行ETL操作的昀佳实践方法。这些操作包括了初始化数据装载、执行和监控每天的数据流、容量计划、性能监控、元数据资料库维护和控制对后台数据库的访问。调度和支持ETL执行策略主要分下面两种：„调度。ETL调度是一个综合的应用，而不仅仅是安排作业在给定的时间点执行这么简单。在现实情况下，作业在哪天执行其实是无关紧要的。一个有效的调度包括ETL作业间的关联和依赖关系的指定，并作为一个可靠的机制来管理执行策略的物理实施。„支持。一旦部署了数据仓库，它便一直成为一个关键应用系统。用户，也包括一些下游应用系统，都会依靠数据仓库提供他们需要的信息。如果数据仓库没有持续装载数据，就被认为是失败了。因此，为了确保ETL过程运行并完成，数据仓库必须能够被监控活动状况，并且必须由专人来支持。ETL的可靠性、可用性和可管理性分析数据仓库具有昀好的维度数据模型，昀优秀的商务智能工具，并为昀高领导层服务。但是在它成为企业分析信息的可靠性来源之前，还不能证明它是真正完美的解决方案。新数据仓库的目标是创建一个一致的、可靠的数据源的备份，以此来支持企业数据分析，从而提高业务能力。为了保证成功，ETL和数据仓库团队必须完成以下三个关键标准：„可靠性。ETL过程必须持续无误运行。数据必须在任何粒度级别都是可靠的。„可用性。就像数据仓库管理者在昀初的启动会议上向发起人和用户承诺的那样，数据仓库必须稳定的运行。ETL作业必须在分配的装载窗口中执行并完成。„可管理性。请牢记，数据仓库永远没有终点。因此它必须随着公司的成长具有修改和扩展的能力。ETL过程也必须随着数据仓库的发展而发展。为了实现可扩展性，就需要尽可能地使过程变得简单，把复杂的流程切成更小的、更简单的单元。同时，也要避免作业启动过程的过于集中。另外，设计执行策略的很关键的一步是确保支持ETL的能力。ETL团队必须要为所有的ETL部件和为每一次为失败准备的恢复程序文档提供元数据。如果你是手工编码方式建设系统，请确保具有相应的管理技能，并能够全面地控制一个长期的软件开发环境。ETL管理员必须为数据仓库每一个阶段进行评价，通过可靠性、可用性和可管理性（Reliability,Availability,Manageability，简称RAM）标准来为项目打分。作业和调度方法必须通过这三个标准，获得好的得分，才能有资格去部署。如果没有元数据或恢复文档，则pointsaredeductedandtheprocessesmustberevisitedandenhancedorcoredted。对于过度复杂事实上几乎不能维护的作业，也必须改进到生命周期的下一个阶段。每一次数据仓库的部署在进行生产之前都必须取得好的RAM分数。ETL调度101调度ETL过程只需使它们运行即可，那么为什么这里要用一章的篇幅来介绍它呢？本章不仅仅讲述执行，更主要的是讲述执行策略。策略是一套精细的、系统的行动计划。任何人都可以执行一个程序，但是开发一个执行策略却需要一定技巧。例如，在数据仓库和ETL设计回顾时，用户抱怨说数据仓库直到上午11点才可用。根据这一信息，我们立刻开始查看ETL作业，找到瓶颈所在，然后才可以提出补救措施。很快我们发现作业的效率很高，从开始执行到结束不应该要花整整三个小时时间(好像有问题)。“没错”，项目的ETL开发者说：“每天大约早上8点钟我来上班的时启动它们，在三个小时后，大约11点钟执行完成。”我们带着怀疑的态度问了一下开发者关于自动化问题，因为在他的实施中好像并没有使用。他声称从未参加过ETL工具调度方面的培训，因此不得不手工启动作业。即使是执行你的程序，你也必须系统地来完成它。非常重要的是，ETL团队需要理解环境中的工具，并且有能力合理地调度并自动化ETL过程，从而持续地装载数据仓库。调度工具任何企业数据仓库都必须拥有一个健壮的企业级ETL调度机制。主流的ETL供应商都提供其核心的ETL引擎提供打包的调度器。有些甚至根据一天中不同时段提供多种方式来执行ETL作业，有些提供了更复杂的ETL执行方案，可以基于变化的关键条件来触发作业。如果你对与ETL产品绑定在一起的打包调度器不满意，或者你愿意冒险使用非产品的ETL方式，那么你仍会有多种选择。不管是否购买专门的ETL调度器，还是使用已存在的生产调度机制，或者手工编码来执行ETL作业，生产用ETL调度器都应该满足相应条件，成为一个可变的企业级解决方案。ETL调度器必须的功能接下来的部分将介绍一些自动化ETL过程可用的选项。许多选项都可用，并且每一个都随着成本和易用性不同而不同。在特定生产ETL环境中需要相应的功能。当选择（或建设）ETL调度解决方案时，请确定包括下面描述的功能。„令牌识别通常，数据仓库需要从外部数据源获取数据。外部数据源提供者非常广泛，因此ETL方案必须能够应对这些数据。外部数据源通常是文本文件或者XML格式。读取和处理这些数据一般都比较简单，挑战在于如何识别已经存在的数据。与数据库源不同，数据库源可以通过查看审计列来识别新记录，而外部数据源通常都通过FTP将数据文件装载到文件系统的目录中。由于每次的格式都是固定的，因此ETL过程可以处理这些数据。但是ETL系统如何知道外部源的数据文件已经到达并开始其处理过程？ETL系统必须能够识别文件已经在文件系统中存在，并自动开始执行。这个过程叫做令牌识别。令牌是一些由文件系统创建的文件，用来触发ETL事件。具有令牌识别功能的应用系统可以轮询一个目录（或数据库表），用来标识令牌文件（或记录行）的到达。当处理文本文件、Web日志或者外部数据源时，必须要防止重复处理同一文件，还要确保当文件迟到时不会错失ETL过程执行。令牌文件被认为是一个令牌，因为它不是必须要被处理的实际文件，它可以是一个索引文件，仅仅通过其到达来告诉处理过程开始执行。„日内执行如今每日定时处理的方式已经越来越不被接受了，因为对实时性的要求越来越高。ETL处理必须拥有在一天当中多次执行的能力，甚至可能是随需执行。过去按月或按天增量装载是完全能够满足需求的，在实时技术还不存在的情况下，12小时、6小时、4小时增量，甚至是每小时更新已经变得越来越普遍。这些聚合需求意味着不但你的ETL作业必须是高效的，而且你的调度系统也必须能够承受每天大量的处理过程。此外，你的处理过程必须能够跨越午夜，在其分配的时间窗口以外重新启动。以硬编码SYSDATE-1方式查找“昨天”的数据，使用这种操作方式启动并从源数据中选择数据是不恰当的。ETL系统必须能够从数据源捕获新数据，不管这些数据是何时创建的，也不管在何时执行处理过程。„实时能力实时执行是数据仓库不能被忽略的实际需求。它是如此重要，以至我们单开一章来讨论它。第11章列举了多种技术来进行实时ETL执行。实时ETL已经成为众多企业的家常便饭，越来越多的用户现在期望数据仓库可以不间断地更新，而且对“陈旧”的数据越来越不耐烦，实时ETL不是奢想，而是很实实在在的需求。此外，随着数据仓库的发展，其价值正被越来越多的末知用户所认识。因为它提供了整洁、一致、可信赖的数据，数据仓库本身正成为一种源系统。交易应用系统越来越依靠数据仓库提供的标准数据源作为参考源数据。为了实现这一所谓的“内循环”模式，数据仓库就必须实时更新来支持操作应用系统。„命令行执行ETL产品大多把主要精力放在为它们的调度软件包提供友好的可视化用户界面（GUI），从而为缩短入门开发者的学习时间，也为资深的ETL专家节省开发时间。但是，大多数企业级系统操作环境都需要从命令行界面执行ETL作业的能力。因为日常维护人员往往也需要维护其它更多的应用系统，而很难针对每种应用系统学习另外不同的界面。因此，你的ETL应用系统必须能够从命令行执行数据仓库ETL过程，从而使你的系统操作成员可以胜任这项工作。注意，正是因为这种原因，主要的ETL工具产品都提供命令行执行选项。„通知和呼叫一旦ETL系统开发和部署完成，它的执行方法就变成了自动操作。就像时钟一样，无需人为参与，也不会发生错误。如果执行过程中出现了问题，则必须以电子邮件方式通知维护人员。ETL解决方案必须能够针对不同的人员、不同类型的作业以及不同类型的错误通知相应的人。在我们写这本书的时候，无线PDF和智能电话正迅猛发展，这些设备将成为个人操作的标准设备。这些设备上可以显示复杂的文本和图形信息，操作者可以远程向ETL系统发出指令。另外请注意下面的警告！E-mail通知和呼叫必须完全自动化，因为可能没有时间等待维护人员被人工通知。自动通知可以用下列方式实现：集成ETL工具：一些主要的ETL产品在他们的调度应用中集成了呼叫和通知功能。这些功能也许并不十分稳定，但已经比以前好多了。昀起码，你需要区分成功的装载和失败的装载，并通知相应的维护人员。另外，对于失败的关键信息必须能自动发送消息（例如，作业名称、失败时间、装载的行数、失败的行数以及昀后动态失败消息等）。第三方消息应用系统：一些公司提供了即时消息产品，用于支持24*7系统运行，昀小化宕机时间。另外，操作管理和监控工具一般都具有通知功能，如果你的操作支持团队使用了这样的工具，则可以使用该功能。客户化脚本：你可以选择在操作系统上手工编制脚本来提供e-mail通知的执行策略。这些脚本必须能与ETL作业交互，并在需要的时候触发。当设计你的客户e-mail通知系统时，一定要小心嵌在脚本中的邮件地址。脚本在文件系统中是简单的文本文件。脚本非常容易被一些垃圾邮件发送者获取，并且用垃圾邮件攻击你。因此如果有可能，一定要使用来自安全产品的加密技术或解决方案。„嵌套批处理批处理是一组作业或程序，作为一个简单的操作一起运行。通常，ETL作业被分组或分批，来装载一个数据集市。而由数据集市组合而成的数据仓库，则由一批数据集市装载批处理来装载。装载批处理的批处理称为嵌套批处理。每个嵌套批处理可以包括ETL作业的若干层。例如，由于复杂的数据或业务规则，一个单一维表可能需要多个ETL作业来装载它。这些维表作业可被组合在一起作为一个批处理、这个批处理被包含在另一个批处理中，为数据集市装载维表的剩余部分。数据集市批处理又被组合到数据仓库批处理中，从而具有三个层次的批处理。理论上，嵌套批处理的层数没有限制。ETL作业一般都以嵌套批处理方式执行，几乎很少会在生产环境中运行单独的ETL作业。数据集市通常需要求每一个维表和事实表至少有一个作业，正如你所看到的，在装载数据仓库过程中，多层嵌套批处理非常普遍。因此，你的方案必须可以管理嵌套批处理。批处理管理包括下列内容：图形界面：由于装载数据仓库时嵌套批处理的特性，ETL批处理通常会变得非常复杂。选择批处理管理工具时，其必须具有像Windows资源管理器一样的目录结构导航能力。如果没有嵌套批处理的图形展示，管理就无从谈起。开发者应该可以通过GUI创建、删除、编辑和调度批处理，还可以通过拖拽方式在嵌套批处理和外