银行数据仓库解决方案-v1.2

©2011IBMCorporation银行数据仓库解决方案MSP03062-USEN-00刘勇2013/05/07©2011IBMCorporationIBMGlobalTechnologyServices内容提要2总体体系数据支撑平台数据交换平台数据中心数据缓冲层基础书局整合层公共指标汇总层数据集市层历史数据中心管理应用整合平台主要管理类应用系统示例附件：cognos简介©2011IBMCorporationIBMGlobalTechnologyServices总体体系3源数据核心系统中间业务系统国际业务系统信贷业务系统银行卡系统资金业务系统财务系统电子渠道系统综合柜面系统……数据中心数据交换平台/文件服务器/数据总线数据缓冲层基础数据整合层公共指标数据加工层数据集市层管理应用整合平台管理类应用系统数据支撑平台历史数据中心©2011IBMCorporationIBMGlobalTechnologyServices数据支撑平台4数据支撑平台作业调度工具元数据管理批量文件传输工具ETL工具数据质量保证运行日志监控作业调度工具一般须具备作业调度、监控、管理、调试功能，需具备集群部署的特征，支持负载均衡。目前的市场上的作业调度工具主要有：ICTRL-M、各主要ETL工具中集成的调度工具（如DATASTAGE的JCI）、国内厂商的专业调度工具、为满足某项目而临时搭建的脚本类作业调度等，我们建议选择专业的支持主流ETL工具的调度软件产品。批量文件传输工具一般须具备端到端（域内、跨域）的文件高速、可靠传输，支持文件传输的断点续接，支持文件传输的自动化组合，支持同步/异步传输，支持传输过程的全程监控，支持集群部署。目前的市场上的作业调度工具主要有：IBM的sterling、国内厂商的文件传输工具(如前LFT的ftms)。元数据管理：元数据一般分为业务元数据（业务指标、业务术语、业务规则、……)和技术元数据（模型（erwin、PD）元数据、应用报表元数据、etl元数据、源系统元数据、仓库元数据），元数据管理功能上大致划分为：元数据模型定义、元数据信息采集、元数据信息存储维护、元数据信息应用（影响分析、血缘分析、全链分析、活力分析、孤立对象分析、一致性分析、版本比对、质量分析等）。元数据管理的难点在于元数据模型定义的质量和etl元数据信息的自动采集。ETL工具：目前数据仓库项目使用的主流etl工具有：datastage（IBM）、Powercenter(Informatica)、OWB(oracle)、ETLAutomation(Teradata)、存储过程、基于C的ETL等，一般ETL工具的选择须按ETL作业的类型、对某型ETL工具的熟悉程度等来选择，最好能固定特定的ETL工具。数据质量保证：主要包括银行标准数据字典的定义、数据质量标准定义、数据质量管理流程的制定和执行、清晰规划功能和数据的关系。运行日志监控：主要系统运行日志（主机、存储、网络等）和应用日志监控。©2011IBMCorporationIBMGlobalTechnologyServices数据交换平台5数据交换平台，本质上是文件服务器，存储各IT系统上传的数据文件。文件服务器文件组织形式x1系统备份策略清理策略命名规则文件传输监控文件服务器x2系统x3系统xn系统上传下载上传下载上传下载上传下载文件存储组织数据平台的作用：作为各系统之间的文件异步传输通道备份各系统上传文件供各数据消费系统回溯。消除各系统间批量数据依赖死锁……©2011IBMCorporationIBMGlobalTechnologyServices数据中心-数据缓冲层6数据组织策略数据加载策略数据质量检查策略数据保存策略为什么设立数据缓冲层隔离数据中心和文件服务器，降低文件服务器和数据中心的耦合度避免在建立基础数据层数据模型时，对于源业务系统数据文件的多次重复操作，通过直接操作数据库表的方式，提高操作效率，同时简化后期基础数据层进行数据的分类整理时的逻辑操作；通过建立与原系统一致或类似的数据库表，便于保持和检查与原系统数据格式、内容的一致性和完整性©2011IBMCorporationIBMGlobalTechnologyServices数据中心-基础数据整合层7基础数据整合层的目标是按主题构、轻度汇总的、统一数据标准的、与源数据粒度基本一致的企业级（非部门级）数据信息协议金融机构与团体针对某种特定产品或服务而签立的契约关系，如账户、合同等事件会导致同客户达成合同的金融或非金融的事件团体金融机构所服务的任意对象和感兴趣进行分析的各种对象产品一种可以在市场上交易的产品或服务，包括条款或条件渠道银行与客户进行交互和接触的手段和方法，通过它客户与银行进行接触、购买产品、使用服务并交流信息总账包括银行的总帐信息，是描述科目组织、控制、内部核算以及预算管理有关的内容。公用描述所有主题公用的代码、维度等信息主题模型（这里只列出第一层级模型）公用主题团体主题产品主题渠道主题协议主题事件主题总账主题基础数据整合层部分特点：数据存储粒度贴近源系统数据数据按从企业角度按主题重组。按主题进行轻度数据汇总解决数据语义的统一。解决部分数据质量问题（部分数据缺失、部分数据冗余、部分数据错误等）。按主题（非跨主题）进行部分指标的轻度汇总。按主题进行部分数据拉链存储。……©2011IBMCorporationIBMGlobalTechnologyServices数据中心-公共指标数据加工层8公共指标数据加工层主要进行应用集市层和管理应用所需要的企业级公共指标加工部分汇总模型（仅供参考）账户汇总产品汇总客户信息汇总卡信息汇总渠道汇总机构汇总客户汇总公共指标数据加工层部分特点：为应用集市层和各类管理类应用系统提供企业级的公共指标数据。降低上层应用ETL工作量，避免各自加工带来的可能的公共指标的不一致，从而提高数据质量。本层数据模型设计尽可能遵从第三范式（无数据冗余）。数据保留策略以数据聚合度和业务要求为基础设计。……签约信息汇总……汇总©2011IBMCorporationIBMGlobalTechnologyServices数据中心-数据集市层9数据集市层是面向管理应用的，同时也是根据对管理应用类系统的分类结果而设计的。数据集市层的数据具有数据冗余和数据连续性的要求，其数据来源于数据中心的所有下层数据和历史数据中心数据。为什么需要数据集市层数据仓库核心层应用2应用3应用4应用5应用8应用6应用7数据仓库核心层应用2应用3应用4应用5应用8应用6应用7数据集市1数据集市2数据集市3没有数据集市层的管理类系统架构场景加入数据集市层的管理类系统架构场景银行应用集市层设定（供参考）风险数据集市财管数据集市客户营销数据集市另外，汇总数据也不适合直接供给应用系统（为了保持相对稳定和降低数据冗余需遵循第三范式）©2011IBMCorporationIBMGlobalTechnologyServices数据中心-数据集市层10数据集市层样例-风险问题：我们该怎样科学合理的规划应用集市？©2011IBMCorporationIBMGlobalTechnologyServices历史数据中心11历史数据中心可以看作数据中心的历史数据归档备份。数据中心清理的数据一般被迁移到历史数据中心，为了减轻生产系统数据压力，生产系统的部分数据也会归档到历史数据中心。历史数据中心会向数据集市层和管理类应用系统供数，也会提供部分历史信息查询服务。历史数据中心管理决策系统生产系统（通过文件服务器）数据中心应用集市层©2011IBMCorporationIBMGlobalTechnologyServices集成报表工具的管理应用整合平台J2EE应用服务器（Websphere/Jboss/其他厂商数据库（DB2/Informix/其他厂商)—业务流程库/业务规则库报表设计报表引擎©2011IBMCorporationIBMGlobalTechnologyServices银行行业管理类主要应用系统13综合报表监管报送（工具）部门业务报表1104报表征信报表国际收支申报反洗钱……风险管理经济资本管理信贷风险市场风险流动性风险操作风险产品定价……营销管理ACRM客户信息挖掘……内部管理事后监督稽核系统人力资源OA办公......全员绩效考核其他知识库管理档案管理数据维护管理......管理驾驶仓©2011IBMCorporationIBMGlobalTechnologyServices附件：Cognos简介-应用架构14即席查询灵活报表多维分析权限管理元数据建模管理即席查询灵活报表元数据建模管理报表与查询多维分析建模©2011IBMCorporationIBMGlobalTechnologyServices附件：Cognos简介-技术架构展现层报表用户分析用户普通报表制作专业报表制作企业门户脱机OLAP……Web层网关开发接口应用层报表服务分析服务即席查询服务……SOAP,XMLWebsphere/Tomcat/其他容器数据层统一元数据，为应用提供统一，一致的视图模型数据MOLAP数据ROLAP数据……数据源（db、excel、txt、xml、其他厂商模型数据……©2011IBMCorporationIBMGlobalTechnologyServices附件：Cognos简介-报表展示示例©2011IBMCorporationIBMGlobalTechnologyServices17