金融行业数据仓库应用案例

2019/8/11数据仓库应用案例2019/8/12内容提要（一）自我介绍（二）案例背景（三）期望的数据仓库（四）数据仓库建设实践2019/8/132019/8/14案例背景中国大型商业银行信贷应用与分析系统•系统构建了全行的信贷数据仓库（总行）。•系统建立了全行450个信贷数据集市。•基于全国每个地市级分行建立信贷数据分析中心。•数据规模6T，数据以500G/年的数据增长。•系统已运行八年。•系统用户20,000+。•系统累计投资5亿+。•系统采用ROLAP模型，采用BusinessObjects为分析工具，采用Informix为数据仓库平台，采用Domino/Notes为应用平台。2019/8/15案例背景信贷系统目前的体系结构2019/8/16案例背景一个典型的ETL流程2019/8/17期望的数据仓库大家期望的数据仓库是什么？•数据仓库项目无法作为形象工程！•数据仓库类型的系统无法在短期内看到效益，无法在短期内提供有效的回报，数据仓库类型的系统建成后需要一个较长的时间来使用和积累，才能发挥作用。•数据仓库不是报表系统！•数据仓库是面向主题的面向分析的系统，不是日常的报表系统，数据仓库在于从业务的角度上发现问题，分析问题，解决问题。报表系统在于真实的反映日常的运行状况，要求高效快捷，无须深入分析和挖掘。•数据仓库能干什么！•数据仓库用来分析业务数据的潜在关系，用来指导业务人员思考和分析，用来发现问题，指导业务的开展和改造。虽然这些成果都是以报表、图表、图示的方式展现出来，但这些展现方式都是表层，以这些展现方式来展现数据背后的关系才是数据仓库的用途。•根据Bill.Inmon的定义，“数据仓库是面向主题的、集成的、稳定的、随时间变化的，主要用于决策支持的数据库系统”。2019/8/18期望的数据仓库数据仓库是一个用以更好地支持企业决策分析处理的、面向主题的、集成的、不可更新的、随时间不断变化的、分离维护的数据集合。--W.H.Inmon2019/8/19期望的数据仓库现实中的数据仓库系统包括哪些部分？•数据采集部分•直接的数据采集、其他系统作为数据源等•ETL数据整合部分•数据汇总、清洗、转换，当然还包括数据传输、数据汇集、分发、校验、过滤、过程记录等。•采用工具还是自己开发。•重点关注效率问题•数据仓库存储系统部分•大型存储设备、高运算能力的服务器等设备•数据库软件平台•数据仓库与数据集市、集中数据与分布数据•重点关注效率问题•数据仓库展现分析部分•主流分析展现工具。•定制功能的工具开发。2019/8/110期望的数据仓库数据仓库项目中的角色•企业最高领导团队•你是否打算建设成为形象工程？•这是你重大决策的原动力、而不是你的秘书。•你是否有足够的耐心和准备，来建设这个长期性的项目。•数据提供部门•如何解决我为别人服务的问题。•如何解决数据仓库项目成为了我的负担。•如何解决数据准确性和时效性。•系统建设部门•如何理解数据仓库项目的建设过程。•如何面对模糊的需求、巨大的数据量、异想天开的要求。•如果不要陷入运行泥潭。•数据使用部门•数据为什么总是有问题•为什么我总是无法应用系统•为什么他什么都做不到2019/8/111期望的数据仓库成功的数据仓库：面向过程的开发方法2019/8/112期望的数据仓库成功的数据仓库：结构化元数据管理数据挖掘主管信息系统设计建模抽取清洗转换加载数据仓库信息展现业务流程物理模型逻辑模型联机分析处理报表、即席查询咨询服务IntelligentInfrastructure外部数据企业信息门户内部数据数据库管理工具数据库2019/8/113期望的数据仓库数据仓库不仅仅是数据存储加上一个查询工具数据仓库不仅仅是产品服务+产品数据仓库的成功必须有正确的构造方法为指导数据仓库的构造包括多方面的问题基础架构(硬件、数据库、网络)规划设计数据转移数据访问(REPORT、OLAP、EIS、WEB)元数据管理数据挖掘系统管理2019/8/114数据仓库建设实践主要的建设阶段：•目标调研、需求分析•确立数据仓库系统的主题目标•分析业务需求，制定需求框架，逐步细化•系统设计和开发•技术构架设计•业务分析模型设计•运行、完善机制设计•系统开发和上线发布•系统运行、积累和完善•系统的使用和运行；数据、分析的积累•系统的再完善，数据重构2019/8/115数据仓库建设实践目标调研、需求分析：•确立数据仓库的主题目标•数据仓库的目标不能包括所能想起来的所有目标，要根据企业的实施能力、分析能力、数据基础制定合理的建设目标，建议按照目标的可实现度分布建设。•分析业务需求、制定需求框架、逐步细化•分析具体业务需求，对于无法确定的需求，要首先制定需求框架，给系统体系设计提供指标估算。在项目的设计和建设中可逐步细化局体需求条目。2019/8/116数据仓库建设实践系统设计和开发•技术构架设计•系统规模评估•系统技术构架选型•系统存储、服务器选型•系统软件平台选型•系统分析工具选型•系统ETL工具选型•系统技术实现确定•系统数据分布设计•业务分析模型设计•业务主题设计•分析模型设计•运行、完善机制设计•运行机制设计•完善机制设计•系统开发和上线发布•系统开发•系统上线•数据装载2019/8/117数据仓库建设实践系统运行、积累和完善•系统的使用和运行；数据、分析的积累•数据准确性的反馈•分析执行效率的反馈•数据模型合理性反馈•分析主题的积累和反馈•系统的再完善，数据重构•系统的扩展和纠正•元数据管理•数据的重构2019/8/118数据仓库建设实践环境•模型设计•数据转移•报表工具•OLAP工具•EIS工具•元数据管理•知识运用•业务预测•信息门户咨询行业专家教育培训强有力的产品支持方法基于成功经验的数据仓库构造方法解决方案2019/8/119谢谢！