数据仓库在招商银行的实施步骤

数据仓库在招商银行的实施步骤业务系统介绍随着国家金融体制改革的不断深入和完善，金融业务处理能力不断扩展，大量新的服务手段不断应用，使得金融部门需处理的业务种类和业务量都远远超过了以前任何时候。招商银行是国内重要的商业银行，开办了各种币种的存取、自动转存、通存通兑、自动提款、代发代扣、购物消费、贷款融资、手机交费等多种业务，并提供一卡通、24小时自助银行、网上支付、电话银行、证券转款等高水平的金融服务。招商银行的业务具有数据海量化的特点。招行自成立以来，由于业务种类多，客户量大，长期以来，不仅积累了大量重要的业务数据，而且随着业务的扩展和客户量的猛增，这些数据每天都在以惊人的速度增长，将业务数据加工整理成有价值的信息并对这些信息进行快速综合处理分析的需求不断增长。同时招行需要做到各个地域、各个时期的业务信息能够有机、有序联系，以保证信息的高可用性。基于这方面考虑，招行决定采用数据仓库系统来满足业务需求。在综合对比多家数据库厂商的产品之后，招行选择了业界著名厂商Sybase的数据仓库系统。Sybase是关系数据库的全球性供应商，在开发工具方面居于世界领先地位。Sybase产品在数据仓库应用方面具有产品线齐全、技术领先的优势，为企业提供了一整套基于全新技术和高可用性的解决方案。Sybase的数据仓库系统在招行的应用主要集中在以下方面：数据的收集和存储；有关业务和市场分析；利润分析、资金分析；专门侧重某一方面的专题应用等。1998年，招商银行、奥尊电脑公司、SYBASE公司经过几个月的共同协作，联合开发招行数据仓库系统，包括人事、储蓄、会计等系统，成为国内业界第一个成功可用的数据仓库系统。系统建立的原因及重要意义招商银行是目前国内各商业银行中的佼佼者。计算机应用成绩显著，但随着业务的发展，对金融电子化的要求程度不断提高，招行的计算机应用也面临着新的挑战。为满足日益增长的各种查询、统计、报表以及分析的需求，也为了招商银行今后的进一步发展，经过长时间的反复对比、测试与论证，最终于1997年底签定购买协议，决定采用开放平台（Sun／Sybase）作为招商银行数据仓库应用平台。此次数据仓库的建设，招行采用了Sun公司具有极高性能的Starfire（E10000）服务器作为总行数据仓库的主机平台。Sybase公司充分发挥其在主机互连方面的优势，特别是SybaseIQ在数据压缩存储、灵活查询统计方面的出色表现，成为招商银行数据仓库的系统软件核心。而奥尊电脑公司（前招银电脑公司）是这两家产品的代理商和系统集成商，在办公自动化和系统集成等方面具有丰富的经验和独到之处。三方发挥各自专长，经过几个月的共同协作使招行数据仓库系统在国内率先成功建成。这也标志着数据仓库技术在我国金融电子化建设方面的应用拉开了序幕。需求分析招商银行的业务系统一直具有较高的信息化水平，但随着业务的发展和对金融电子化要求的不断提高，各种查询、统计、报表以及分析的需求日益增长，招行的计算机应用也面临着新的挑战。根据业务需求状况，招行决定采用数据仓库应用平台来提高自身的业务运作水平和效率。招行对数据仓库应用系统的需求主要集中在以下几方面：（1）该系统须能满足招行目前对数据存储、查询、统计、分析等一系列需求，能保证存储可靠、查询统计灵活；（2）考虑到招行业务的不断增长，要求该方案具有可扩展性，不但可以保护现在投资，还可以保证日后系统的平滑升级；（3）因为数据仓库系统的建设需要长期分阶段进行，而银行业务又具有不可中断的要求，因此在建设系统过程中，既要保证各阶段的相承性，避免重复建设，又要不影响招行的正常业务；（4）鉴于数据仓库在银行业的应用还处于起步尝试阶段，为了保证方案的可用性，招行除了需要寻求有实力的系统集成商外，还需选择该领域高性能的软件硬件产品。系统选型与设计软硬件平台主机采用SUN顶级服务器Starfine1）配置：18个250MHZCPU，10G内存，硬盘204G（其中156G用于数据仓库，其余用于办公自动化系统）2）安装两个Solaris2.5.1操作系统，其中一个安装Domino，作为OA服务器，另外一个安装SAS、SYBASEASE11.5、SYBASEIQ11.5（数据仓库产品）等，作为数据仓库服务器网络局域网采用快速以太网，广域网通过F/R连接，移动办公则利用公共电话网。数据库选型在综合比较了多家数据仓库厂商的产品后，我们选择了SYBASE产品建设招商银行数据仓库。SYBASE产品在数据仓库方面具有如下优势：1）产品线齐全SYBASE公司从CASE工具、数据抽取与转换工具、数据加载工具、数据建模工具、元数据管理工具到最终用户访问工具都有相应的产品:设计工具：S-DESIGNORWareHouseArchitect作为强有力的数据仓库设计工具，可方便地生成设计阶段的各种文档，数据库对象直接转换到数据（仓）库中，支持多种前端开发工具的前期开发。中介件产品系列－以EnterpriseConnect为代表的数据移动和连接产品，管理不同的应用交付结构所需要的数据流动。数据库产品系列－AdaptiveServer是其旗舰产品，将支持现有的SQLServer应用及其数据；支持运行在数据库服务器上的基于组件的逻辑，分布式事务；支持对关系数据的多种数据访问方法和存储（特别是针对OLTP，混合工作负载，决策支持，或移动应用）及第三方的特殊数据类型的数据存储。SYABSEIQ作为性能卓越的数据集市产品，在数据仓库建设中担当重要角色。工具系列产品－包括PowerBuilder,InforMaker,PowerDemension等多个著名产品，支持组件创建和快速应用开发。组件可以在客户端机器上，数据库服务器上或组件事务服务器上建立、调试和交付。2）技术领先SYBASE公司在传统关系数据库技术的以其开放性、领先性而著名，在数据仓库技术方面也是先拔头筹，拥有多项技术专利，例如在数据抽取与转换方面的EnterpriseConnect系列产品，采用用户熟悉的OpenServer/OpenClient、ODBC技术，可以方便地连接AS/400、ORACLE、Informix等多种数据库，轻易实现数据仓库的原始数据采集；在数据仓库拳头产品IQ中，采用了先进的BIT_MAPPED的索引技术以及高压缩比率的BIT_WISE存储技术，使系统性能比同类产品高六倍，而存储空间节省30~70%等等。技术上的领先保证了用户用最少的投资获得最好的效益。3）集成的解决方案作为第一个将客户/服务器(Client/Server)体系结构用于企业关系型数据库管理系统(RDBMS)的数据库厂商，同时又是首家获得ISO9001质量认证的软件开发商，Sybase为企业提供了一整套基于全新的适应性组件体系结构（ACA：AdaptiveComponentArchitecture）的解决方案。其产品贯穿数据库服务器、中间件、开发运行工具和Internet/Intranet应用的生命周期全过程。方案设计经过反复对比、测试与论证，招行采用了Sun与Sybase的产品构筑开放的数据仓库应用平台。招商银行数据仓库系统包括对公系统、人事系统、储蓄系统等：对公系统具有多维分析、预测功能；人事系统主要提供统计功能；储蓄系统是投入最多、功能完善的系统，涵盖了储蓄部门所有交易场所（柜台、电话银行、网上银行、ATM、POS）的全部业务（存单、存折、一卡通、信用卡）。此次数据仓库的建设，招行采用了Sun公司具有极高性能的Starfire（E10000）服务器作为总行数据仓库的主机平台。Sybase公司凭借其在主机互连方面的优势，特别是SybaseIQ在数据压缩存储、灵活查询统计方面的出色表现，成为招商银行数据仓库的系统软件核心。招行数据仓库系统是国内业界第一个成功可用的数据仓库业务系统，它的建成标志着数据仓库技术在我国金融电子化建设方面的应用拉开了序幕。主机采用SUN顶级服务器Starfire，它拥有18个250MHZ的CPU，10G内存，204G硬盘（其中156G用于数据仓库，其余用于办公自动化系统）；局域网采用快速以太网，广域网通过F/R连接，移动办公则利用公共电话网。在比较了多家数据仓库厂商的产品后，选择了Sybase产品构建数据仓库。Sybase是在数据库领域处于领先地位的全球性供应商，数据仓库是该公司的三大法宝之一。Sybase依借产品线齐全、技术领先的数据仓库产品，能够提供一整套贴近用户应用的高可用性解决方案。Sybase和招行信息系统人员经过周密考虑，本着从实际出发的精神，将其数据仓库系统的建设分成三个主要阶段：（1）第一阶段的主要任务是建立和其业务相关的决策支持系统，如财务系统、储蓄系统的数据仓库等等，也就是针对地域或部门首先建立一些单独的数据集市，满足边开发边见效的初衷；（2）第二阶段是在第一阶段的系统基础之上，建立针对不同专题的系统，如客户关系管理系统、风险控制系统等等；（3）第三阶段是完成构造整个企业级数据仓库系统，完善全局专题应用并实现数据挖掘。大型数据仓库的建设往往从数据集市的建设开始，这些数据集市在企业级数据仓库完全建成之前就会发挥重要作用；另一方面，考虑到企业级数据仓库的建设是最终目标，因此在进行任何数据集市建设的同时都必须考虑到它们是未来数据仓库的一部分，要完全避免数据集市的重构现象，这样如何开始数据集市的建设同时又可以使用方便的集成的方案和产品就至关重要了。在市场上，Sybase方案唯一地能够将多个数据集市和中心仓库管理集成在一起，为企业提供唯一的可行方案，对进入数据集市的数据移动、安全和元数据管理进行调度。根据这样的架构所配置的产品包括：Sybase异构互联的中介件产品DirectConnect；工具产品PowerBuilder；SybaseAdaptiveServerEnterprise；SybaseAdaptiveServerIQ；数据结构分析和设计工具PowerDesignerWarehouseArchitect；Brio、Cognos、PowerDimension、SAS等联机分析(OLAP)软件；ControlCenter、PowerDesignerMetaWorks等元数据管理工具。数据迁移平台依靠DirectConnectFORAS/400、SybaseASE11.5和UNIXShell程序构建，并由PowerBuilder建立的应用进行监控和管理。DirectConnect是专门用于异构（如AS/400）互联的中介件，AS/400的业务数据通过它传输到SybaseASEONSolaris上。PowerBuilder用于开发主控和其它外部数据源访问。通过DirectConnect，数据仓库可以直接访问25种不同的基于主机或客户机/服务器的数据库系统，使得系统能够适应招行业务数据基于多种来源的需求，保证数据的顺利迁移。公共操作型数据存储(ODS)功能使用了Sybase的AdaptiveServerEnterprise（ASE）。ASE是Sybase企业级数据库产品家族的重要成员，它能够快速而方便地集成不同应用和数据源的数据，并进行有效分析。数据集成是数据仓库项目开发中需要编程量最多的工作之一，因为银行系统的大部分业务都在AS/400机器上，因此数据集成的过程同时也是解决数据透明访问的过程。在实际实施的方案中，直接在SybaseASE上通过存储过程的方式进行数据的重新组织和整理，使得方案比较容易管理维护。数据仓库(DW)和数据集市(DM)的核心产品是SybaseAdaptiveServerIQ。SybaseAdaptiveServerIQ是Sybase商业智能解决方案中性能卓越的数据存储和管理软件，在招行数据仓库系统中被用于存放轻度综合数据和高度综合数据。SybaseIQ能够适应数据仓库应用中大量交互式的和无定型的查询处理的需要，为用户提供非常灵活的查询统计方式。银行数据仓库不同于其它系统的一个明显表现是数据量大，在建立数据仓库时，系统设计人员需要重点关注的问题是：在合理的时间范围内完