ETL-第三方软件比较文档

ETL软件软件软件软件产品产品产品产品比比比比对对对对大项大项大项大项小项小项小项小项informaticaIBMdatastagelivbeeBeeload市场市场占有率和IBMDataStage处于业界前两位，市场份额超过12%市场占有率第一，拥有较大的市场份额国内首款自主研发ETL工具（20041.0版问世）国内是否有原厂商技术支持是是是服务服务响应水平通常由代理商提供服务原厂商工程师直接处理客户问题，暂无800支持随时可获得原厂技术支持支持主流的平台，包括：SUNSolaris,HP-UX,IBMAIX,AS/400,OS/390,ScoUnix,Linux,Windows支持Window(32位和64位)HPUnix(32位和64位)IBMAIX(32位和64位)SunSolaris(32位和64位)支持所列的所有主流平台RedLinux(32位)Windows(32/64位)平台支持平台间的可移植性（包含不同平台间移植以及从相同平台开发环境到生产环境间的移植）支持，有较好的可移植性支持，需要一些相关配置文件的修改支持支持，非常易于移植广泛的数据源和目标数据库支持：如DB2,Informix,Oracle,Sybase,SQLServer,Teredata,OleDB,SAS,Text,Excel,SAP,Peoplesoft,IMS,VSAM,QSAMon390,FTP,XML,MessageQueue,Weblog支持所列的所有数据源和目标数据库支持所列的所有数据源和目标数据库支持几乎所有主流数据接口,如DB2,Informix,Oracle,Sybase,SQLServer,Text,Excel,FTP,XML,MessageQueue,Weblog，WebService数据源及目标数据库是否支持多种字符集（GBK、Unicode、UTF-8）数据源支持所列的3种字符集支持所列的3种字符集支持所列的3种字符集对抽取到的数据能进行灵活的计算、合并、拆分等转换操作。支持计算、合并、拆分等转换操作支持计算、合并、拆分等转换操作支持计算、合并、拆分等转换操作支持字段映射；支持，图形化工具实现支持支持，图形化工具实现映射的自动匹配；支持支持支持字段的拆分；支持支持支持多字段的混合运算；支持支持，运算规则灵活配置支持跨异构数据库的关联；支持支持支持多数据类型支持；支持所有数据类型支持支持所有数据类型复杂条件过滤；支持支持，过滤条件灵活配置支持支持脏读；支持支持支持数据抽取、转换、装载功能数据的批量装载；支持支持支持时间类型的转换；支持目前所有的时间类型的相互转换支持支持对各种码表的支持；支持支持支持环境变量是否可以动态修改；是是是去重复记录；支持支持支持抽取断点；支持，包括一台机器DOWN掉重起后的断点续传，也包括一台机器DOWN掉，另一台备机能断点续传支持支持记录间合并或计算；支持支持支持记录拆分；支持支持支持抽取的字段是否可以动态修改；支持支持支持行、列变换；支持支持横表、纵表转换支持排序；支持多种规则排序支持支持统计；支持多种维度统计支持支持度量衡等常用的转换函数；支持，工具自带支持，工具内嵌，可以自己配置支持，工具自带抽取远程数据；支持支持支持增量抽取的处理方式；支持支持支持在转换过程中是否支持数据比较的功能；支持支持支持数据预览；支持支持支持数据清洗及标准化；支持，能够标准化数据，合并数据支持，能够自动标准化数据，查重支持支持支持支持，，，，可以实现相当复可以实现相当复可以实现相当复可以实现相当复杂的清洗杂的清洗杂的清洗杂的清洗按行，按列的分组聚合；支持支持支持是否有良好的参数处理机制等支持支持支持抽取过程的备份与恢复；支持自动备份和手动备份，支持自动恢复与手动恢复，有较好的断点恢复功能支持自动和手动备份与恢复支持自动备份和手动备份，支持自动恢复与手动恢复，有较好的断点恢复功能ETL工具升级，版本管理；方便的升级，工具具有版本管理功能，自带数据库保存版本工具提供的管理平台具有版本管理的功能方便的升级，工具具有版本管理功能开发和发布支持统一以及自定义的管理平台；提供统一的管理平台，实现快速的开发和部署；也可以兼容自定义的管理平台，实现部署工具提供统一的管理平台，在平台上实现开发和部署，部署也可以通过自定义的管理平台实现工具提供统一的管理平台，在平台上实现开发和部署，部署也可以通过自定义的管理平台实现支持用户对计算机资源的管理和分配；支持对主机CPU、内存等资源的管理和分配支持支持管理和调度功能调度过程中能否执行其他任务等支持，在执行一个ETL任务时能启动执行另外的ETL任务，实现并发性支持，ETL进程能够并行执行支持,提供作业调度和工作流调度方式是否支持数据依赖的建立支持，通过工作流来建立前置和后置环节的依赖关系ETL工具内嵌的功能能够自动收集各个实体之间的依赖关系，外界通过查询某个实体就可以知道它的前后依赖关系支持，通过工作流来建立前置和后置环节的依赖关系是否有较好的冲突分析机制有冲突分析机制有较好的冲突分析机制，如一个ETL流程涉及多个实体，当对某个实体作变动时，会给出提示有冲突分析机制，如一个ETL流程涉及多个实体，当对某个实体作变动时，会自动调整其它设置是否具有权限控制功能支持支持支持是否有性能监控；支持，全程监控ETL过程各个环节的性能支持，提供监控界面支持，提供监控界面数据审计功能（任务运行情况的分析与监控，各个数据处理模块的数据处理情况分析）支持，能够监视数据的执行和调度的情况．包括各个任务的运行情况视图,运行日志等支持，能够监控任务执行情况，生成详细的工作日志及统计报告，有较好的作业日志支持支持，能够监控任务执行情况，生成详细的工作日志调度的可视性；完善的任务管理能力，能够灵活地制定数据抽取任务的执行策略;可实现基于时间、事件和指示文件的作业调度机制支持支持支持是否支持作业的异常处理机制（包含业务数据错误以及系统数据错误）支持，有数据错误就生成报表，不影响作业的正常执行支持，生成异常数据报告，作业执行不受影响或异常到达一定程度后停止作业支持支持支持支持，，，，产生异常日志并产生异常日志并产生异常日志并产生异常日志并自动存储异常数据自动存储异常数据自动存储异常数据自动存储异常数据
高效性，应具有较高的执行效率。当然对于特殊的大数据量的处理可能会采用人工开发的方式，以获取最好的效率
并行性能架构
均衡负载
支持网格计算
实时和批处理数据整合性能
可扩展性有较为智能的并行处理技术支持。并行技术的采用使得对于特殊的大数据量的处理无须采用人工开发的方式，即可获取最好的效率；开放的、面向服务架构（SOA），具有较好的可扩展性，能够保持性能的线性增长ETL过程内部及多个ETL任务间均采用并行处理模式独有的内置脚本,支持用户对任务的无限扩展
可以轻松实现对分布在各处的数据加载。并将数据按不同主题存储支持所列的功能。但对开发人员素质要求较高。支持所列的功能，简单的UI操作界面，非常易于开发部署任务,最小化用户开发及维护成本
统一的图形界面开发统一的元数据管理和面向开发的冲突分析由元数据管理工具MetaStage提供。
易于使用，拖曳界面开发
内带数据预览，结支持所列的功能，较容易上手，但深入使用须较长时间的积累构分析，清洗和调试
图形化工作流
调试功能；
内带数据质量交互式调试
强大的面向开发的冲突分析
中央知识库
中央管理
可以定义源及目标数据结构，设计转换规则，生成ETL映射
开发周期的长短
工具的易用程度
是否支持程序的版本比较功能
与OLAP集成；支持支持所列的功能
与前端工具集成；
与建模工具集成；
开放的API可将产品集成到统一界面；对元数据管理部分支持出色，能够动态地与元数据管理工具建立关联，能够做到与元数据管理版本一致通过webService接口可实现其它程序对Beeload的控制；Beeload可调用任意的存储过程以及其它应用程序。
是否能调用各种外部应用，包括存储过程、各种流行语言开发的应用程序等；
是否支持客户化定制的转换过程；
是否支持与统计分析工具的集成集成和开放性
能否和元数据工具较好地集成支持所列的所有功能独有的内置脚本独有的内置脚本独有的内置脚本独有的内置脚本，，，，可以可以可以可以充分满足客户化定制充分满足客户化定制充分满足客户化定制充分满足客户化定制