数据仓库和商业智能

数据仓库与商业智能2009-4-20主要内容数据仓库的起源和发展数据仓库定义和特点数据仓库体系结构数据仓库建设方法商业智能数据仓库的起源和发展数据管理的历史人工管理方式这一时期是在20世纪50年代中期以前，这一阶段的计算机应用主要用于科学计算，外存只有纸带、磁带、卡片等，数据处理的方式基本上是批处理。这一时期数据管理的特点是：数据不保存；没有专用的数据管理软件，每个应用都必须自己完成存储结构、存取方法、输入输出等数据管理功能；一组数据对应一个应用，这使得程序之间可能有重复的数据。文件系统管理这一阶段在20世纪50年代后期至60年代中后期，计算机应用开始用于信息管理，由于数据存储、检索和维护等需求，使得相应的研究开展起来了，在硬件和软件方面都得到了发展，磁盘磁鼓出现，操作系统也产生。数据库系统（60年代末开始）关系数据库之父E.F.Codd提出了关系模型(ER)，促进了联机事务处理(OLTP)的发展，数据以表格的形式而非文件方式存储。数据库到数据仓库传统的数据库环境中以数据库为中心，数据资源组织方式单一；侧重对数据的管理，操作型处理（OLTP，联机事务处理），关心的是响应时间，数据的安全性和完整性；问题：“易进不易出”数据库到数据仓库数据处理不断有新需求（联机事务、批处理、决策分析）分析型处理（OLAP，联机分析处理）用于管理人员的决策分析，经常要访问大量的历史数据，而很少对数据库进行写操作，除非对数据库进行更新或装入时。人们希望从中获得跟公司经营效益紧密相关的信息。数据仓库的产生（1）数据集成（2）历史数据的应用需求（3）查询性能数据集成企业全面的经营数据OLTP分散在不同系统中(核心、信贷、国结)外部数据(市场数据、竞争对手)集成的数据建立关联的各业务系统之间的业务事件联系统一的（统一的事实、维度）历史的数据一般的全国股份制商业银行一天的交易流水在150W左右通常业务系统只保留当前的历史数据查询困难数据集成数据一致化在很多情况下，大型企业会产生数据不一致情况数据仓库的数据要保持一致化和准确性数据综合各种不同粒度的数据的集成问题详细粒度中等聚集高层聚集外部数据集成查询性能提高数据的查询效率OLTP系统面向数据维护数据仓库面向数据查询提高查询功能为最主要目标发展的动力业务需求驱动主要是详细的分析科学的经营市场活动的细化和实施等数据驱动数据量不断扩大需要相关技术全面了解企业结论：以单一的数据组织方式进行组织的数据库，不能满足新型的数据处理多样化的要求，数据仓库技术应运而生数据仓库的概念和特征数据仓库的概念数据仓库（EDW，EnterpriseDataWareHouse）数据仓库无非是所有数据集市的集合--RalphKimball数据仓库无非是面向主题的、集成的、不同时间的、稳定的数据集合以便支持管理决策--BillInmon数据仓库是一个过程不是一个项目数据仓库的特点面向主题数据所代表的业务内容划分，而不是以应用划分集成的数据所代表的业务内容划分，而不是以应用划分不同时间的数据按照时间组织，并存储在不同的时间切片稳定的不允许对数据进行更新，只允许初始加载和查询数据仓库系统结构数据仓库结构OperationalDataStoreETL数据源DataWarehouse数据源数据源DataMartDataMartDataMart分析报表可视化数据挖掘ODS(OperationalDataStore):操作型数据存储区域ETL(ExtractTransferLoad):数据抽取转换加载DW(DataWareHouse):数据仓库DM(DataMart):数据集市元数据（MetaData）数据源各种业务系统RDBMS文件系统如，银行业中，核心系统、信贷系统、国结系统ERP系统ODS（操作型数据存储区域）是一种数据仓库的混合形式，它包含及时的、最近的、面向主题的和集成的信息。是数据仓库环境的一个组成部分是操作型系统的一个集成环境为决策支持系统提供当前详细数据的查询功能是面向主题的、集成的、经常更新的详细数据ETL（抽取转换加载）数据仓库数据是面向主题的，而业务数据库总是围绕一个或几个业务处理流程，因此到数据仓库的过程需要十分复杂的数据整合过程。•数据抽取•数据转换（一致化）•数据加载•作业控制数据仓库数据模型－多维数据模型粒度划分（分割、汇总）FactTablefact1fact2fact3机构粒度key机构代码地址联系人attributeDimensionDimensionDimension粒度代码attributeattributeattribute粒度：1－日2－月3－年日期2008-12-31数据集市数据集市是数据仓库的子集。如果数据仓库是整个企业组织的所有主题数据存储区，那么数据集市就是某一个主题数据的存储领域。数据集市即是数据仓库的一种实现，也是实现数据仓库的重要过程，同时提供了分布式数据仓库的思想。数据展现查询报表多维分析（钻取、切换）图形元数据元数据是关于数据的数据，它描述了数据的结构、内容、码、索引等项内容。元数据分类技术元数据业务元数据三个关键部分数据仓库建设方法数据仓库建设－频繁变化－面向企业中不同业务和用户数据仓库建设策略自底向上的策略：即数据集市方法，提供了灵活性，低花费，并能迅速回报投资。此方法的核心是：从最关心的部分开始，先以最少的投资，完成企业当前的需求，获得最快的回报，然后再不断扩充，完善。数据仓库建设策略自顶向下的策略：先建立一个全局数据仓库的结构，然后在此基础上建立部门的数据集市和个人的数据仓库。这是一种系统解决方案，能最大限度地减少集成问题，但开发周期长，费用高，并且缺乏灵活性。数据仓库建设层次分析型应用要求千差万别，一个单一层次的数据仓库不能满足所有的分析需求。一个好的解决方案：建立分层的数据仓库。操作型环境数据仓库数据集市个人仓库全局级部门级个人级多层数据仓库企业数据仓库数据集市数据集市分布式数据集市定义高层数据模型模型提炼模型提炼递增、进化地开发数据仓库商业智能商业智能商业智能，又称商务智能，英文为BusinessIntelligence，简写为BI。起源于上世纪90年代。商业智能描述了一系列的概念和方法，通过应用基于事实的支持系统来辅助商业决策的制定。商业智能技术提供使企业迅速分析数据的技术和方法，包括收集、管理和分析数据，将这些数据转化为有用的信息，然后分发到企业各处。可以说商务智能是一个可包含企业所有知识的系统，服务于管理决策层或部门执行经理，帮助其进行决策和分析。商业智能结构OLAP数据挖掘（DataMining）数据仓库其他的查询和展现商业智能的功能记录选择查询展现关联分析买债券，保本型理财监视功能月营业额小于10万元的分店展示功能查找、排序、统计数据输出打印/导出，图形、Excel商业智能实施步骤需求分析数据分析数据仓库建模数据处理（ETL）BI展现(报表、图形、OLAP)数据模拟测试系统完善改进（迭代）相关产品数据仓库解决方案Teradata，IBM，Oracle….建模软件ERwin，PowerDesigner…ETL软件DataStage，Informatic…数据仓库Teradata，Oracle，IBMDB2…BI软件COGNOS，BO，Brio…商业智能的发展趋势功能上具有可配置性、灵活性、可变化性解决方案更开放、可扩展、可按用户定制，在保证核心技术的同时，提供客户化的界面从单独的商业智能向嵌入式商业智能发展从传统功能向增强型功能转变商业智能前景产品为中心－客户为中心客户需求的增长竞争的加剧技术的进步商业智能的作用决策支持（KPI，关键性能指标）客户评价市场自动化（促销管理）谢谢！