OLAP技术.

1/10/2020BI业务智能培训-OLAP技术报告人：杨勇2013年10月1/10/2020议题OLAP技术简介OLAP技术简介OLAP分析方法小结1/10/2020OLAP技术简介OLAP发展背景及定义OLAP相关基本概念OLAP基本特征OLAP多维数据结构OLAP多维数据分析方法OLAP分类OLAP评价准则OLAP新的发展特征OLAP工具在移动业务分析中是否能发挥作用，为什么？1/10/2020发展背景（一）60年代，关系型数据库之父E.F.Codd提出了关系模型，促进了OLTP（OnLineTransactionProcessing，联机事务处理）模型的发展。1993年，E.F.Codd提出了OLAP（OnLineAnalyticalProcessing联机分析处理）概念，认为OLTP已不能满足终端用户对数据库查询分析的需要，SQL对大型数据库进行的简单查询也不能满足终端用户分析的要求。用户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询的结果并不能满足决策者提出的需求。因此，E.F.Codd提出了多维数据库和多维分析的概念，即OLAP。OLAP技术简介1/10/2020发展背景（二）OLAP技术简介OLTP数据OLAP数据原始数据导出数据细节性数据综合性和提炼性数据当前值数据历史数据可更新不可更新，但周期性刷新一次处理的数据量小一次处理的数据量大面向应用，事务驱动面向分析，分析驱动面向操作人员，支持日常操作面向决策人员，支持管理需要从数据角度看，OLTP系统与OLAP系统的主要差异如下：1/10/2020OLAP定义OLAP技术简介定义1：OLAP(联机分析处理)是针对特定问题的联机数据访问和分析。通过对信息(维数据)的多种可能的观察形式进行快速、稳定一致和交互性的存取，允许管理决策人员对数据进行深入观察。定义2：OLAP(联机分析处理)是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。(OLAP委员会的定义)。OLAP的目标：满足决策支持或多维环境特定的查询和报表需求，它的技术核心是“维”这个概念，因此OLAP也可以说是多维数据分析工具的集合1/10/2020OLAP的相关基本概念OLAP技术简介维（Dimension）：是人们观察数据的特定角度，是考虑问题时的一类属性，属性集合构成一个维（时间维、地理维等）。维的层次（Generation，Level）：人们观察数据的某个特定角度（即某个维）还可以存在细节程度不同的各个描述方面（时间维：日期、月份、季度、年）。维的成员（Member）：维的一个取值。是数据项在某维中位置的描述。（“某年某月某日”是在时间维上位置的描述）多维数组：维和变量的组合表示。一个多维数组可以表示为：（维1，维2，……，维n，变量）。（时间，地区，漫游类型，通话费）数据单元（Cell）：多维数组的取值。（2000年1月1日，上海，国际漫游，通话费XXXX元）1/10/2020OLAP的基本特征OLAP技术简介快速性：用户对OLAP的快速反应能力有很高的要求。系统对用户的大部分分析要求的响应速度应该为秒级。可分析性：OLAP系统能处理与应用有关的任何逻辑分析和统计分析。多维性：多维性是OLAP的关键属性。系统提供对数据的多维视图和分析,包括对层次维和多重层次维的完全支持。信息性：不论数据量有多大，也不管数据存储在何处，OLAP系统应能及时获得信息，并且具有管理大容量信息的能力1/10/2020OLAP的多维数据结构OLAP技术简介超立方体结构：超立方结构指用三维或更多的维数来描述一个对象,每个维彼此垂直。数据的测量值发生在维的交叉点上,数据空间的各个部分都有相同的维属性。多立方体结构：即将超立方结构变为子立方结构。面向某一特定应用对维进行分割,它具有很强的灵活性,提高了数据（特别是稀疏数据）的分析效率。1/10/2020OLAP分类（一）OLAP技术简介MOLAP（MultidimensionalOnLineAnalyticalProcessing）：数据以多维方式存储，每一个数据单元（Cell）都可以通过维度的定位直接访问。db2ROLAP（RelationalOnLineAnalyticalProcessing）：数据存放于关系型数据库中，用户的多维查询请求由ROLAP引擎处理为SQL查询，结果以多维方式呈现。oracleHOLAP（Hybridonlineanalyticalprocessing）：MOLAP与ROLAP的结合形式，兼具MOLAP的查询效率高和ROLAP的存储效率高的优点，预存储按照存储类型，OLAP可以分为以下三种类型：1/10/2020OLAP分类（三）OLAP技术简介以多维立方体和预计算来存储，实际数据的稀疏分布以及预计算是导致MOLAP空间急剧膨胀的主要因素。MOLAP的逻辑存储模型：XXXXX1/10/2020OLAP分类（二）OLAP技术简介ROLAP存储模式：ROLAP数据以星型模式（StarSchema）或雪花型模式存储：事实表：用来存储事实的度量值和各个维的码值。。维表：用来存放维的元数据（维的层次、成员类别等描述信息）。Time_idSalesTableDiscount%DollarsUnitsFactTableMarket_idProduct_idScenarioProduct_idProductTableSizeBrandProduct_DescDimensionTableTime_idYearQuarterPeriod_DescPeriodTableDimensionTableScenarioTableActualProfitScenarioDimensionTableMarket_idMarketTableRegionDistrictMarket_DescDimensionTable1/10/2020OLAP分类（四）OLAP技术简介没有大小限制。（因为StarSchema本身不需要额外的存储空间）。现有的关系数据库的技术可以沿用。可以通过SQL实现详细数据与概要数据的存储。现有关系型数据库已经对OLAP做了很多优化，包括并行存储、并行查询、并行数据管理、基于成本的查询优化、位图索引、SQL的OLAP扩展（cube，rollup）等大大提高ROALP的速度ROLAP的优势：性能好、响应速度快。专为OLAP所设计。支持高性能的决策支持计算。MOLAP的优势：1/10/2020OLAP分类（五）OLAP技术简介比MOLAP响应速度相差极远。不支持有关预计算的读写操作。SQL无法完成部分计算。ROLAP的缺点：增加系统复杂度，增加系统培训与维护费用。需要进行预计算，可能导致数据急剧膨胀。支持维的动态变化比较困难。MOLAP的缺点：1/10/2020OLAP分类（六）OLAP技术简介ROLAPArchitecture：SQLResultSetInfo.RequestResultSetDatabaseServerRDBMSFront-endToolROALPArchitectureROLAPServerMetadataRequestProcessing1/10/2020OLAP分类（七）OLAP技术简介MOLAPArchitecture：Info.RequestResultSetLoadDatabaseServerRDBMSFront-endToolMOALPArchitectureMOLAPServerMetadataRequestProcessing1/10/2020OLAP分类（八）OLAP技术简介MOLAPArchitecture：SQLResultSetInfo.RequestResultSetLoadDatabaseServerRDBMSFront-endToolHybridArchitectureMOLAPServerIntegrationServerInfo.Request1/10/2020OLAP的多维数据分析方法简介（一）OLAP技术简介切片和切块(SliceandDice)：在确定某些维数据的确定情况下对其他维进行观察，在多维数据结构中,按二维进行切片,按三维进行切块,可得到所需要的数据。如在“城市、时间、漫游”三维立方体中进行切块和切片,可得到各城市、各漫游类型的费用情况。钻取(Drill)：在一个维内沿着从高到低或者从低到高的方向考察数据，钻取包含向下钻取（Drill-down）和向上钻取（Drill-up）/上卷（Roll-up）操作，钻取的深度与维所划分的层次相对应。旋转(Rotate)/转轴(Pivot):通过旋转可以得到不同视角的数据，按不同的顺序组织维，对结果进行考察穿透：是指从多维数据库向关系型数据库读取明细数据OLAP的三种基本分析手段：多维视图1/10/2020时间地区2003年2003年1月2003年1月1日2003年1月2日2003年1月3日2003年2月考察一个特定的维•时间维，包括每一个地区漫游业务量•钻取到下面的层次来考察详细情况OLAP的多维数据分析方法简介（二）：钻取OLAP技术简介1/10/2020时间地区按照不同的顺序组合维，对数据进行考察OLAP的多维数据分析方法简介（二）：旋转OLAP技术简介地区漫游1/10/2020OLAP的多维数据分析方法简介（三）：切片、切块OLAP技术简介AdHocViewRegionalMgr.ViewProductMgr.ViewTImeMgr.ViewregionTIMESALES1/10/2020OLAP的多维数据分析方法简介（四）：穿透OLAP技术简介关系型数据库1/10/2020OLAP分类的评价标准OLAP技术简介OLAP模型必须提供多维概念模型。透明性准则，存储无法清除。存取能力准则。稳定的报表性能客户/服务器体系结构维的等同性准则，按照维度存储动态稀疏矩阵处理准则：dense,sparse多用户支持能力准则,并行非受限的跨维操作，多cube,多数据库的关联查询灵活的报表生成非受限的维与维的层次1/10/2020OLAP技术发展新特征OLAP技术简介聚集存储数据库(AggregateStorageDatabase)：支持聚集存储数据库（由新的聚集存储核心提供）实现了在数据库聚集时间和维度可量测性两方面的动态可量测性的提高。聚集存储数据库典型只满足只读，“机架堆叠”具有大量维度的应用聚集数据可以同时满足读取和计算存储高效性能，存储量很小存储高效性和读取效率可以取得平衡点预计算可以在数据读取是进行，也可以预处理计算节点1/10/2020OLAP在日常分析中随处可见KPI展示EIS多维分析数据挖掘OLAP使用分析思路（二）1/10/2020OLAP分析方法的应用主题分析数据挖掘应用报表KPI专题分析经营分析、决策支持系统平台工具APIOLAP…挖掘技术OLAP分析…SQLOLAP分析…SQLOLAP分析…SQL、挖掘OLAP分析…OLAP分析方法1/10/2020OLAP分析独立个人分析基础应用分析专题分析应用OLAP分析案例讲解思路（一）1/10/2020时间基础使用案例•验证问题•发现问题•寻找答案综合使用分析之独立分析主题•独立完成•分析需求•组织数据•数据分析•分析报告OLAP分析使用使用现有系统独立完成•集成商的辅助之下•分析需求•组织数据•形成方案，形成分析方法综合使用之专题分析OLAP分析使用思路（二）在集成商参与下合作完成1/10/2020OLAP分析案例讲解思路（一）。。。。。PPT、EXECEL工具数据挖掘技术报表，前端工具使用数据库sql专题分析独立业务分析Olap分析方法1/10/2020议题OLAP技术简介OLAP分析方法小结O