云商业智能解决方案v001-public

云商业智能解决方案ifthenelse20150404目录•企业BI需求分析•企业级报表•MOLAP立方体分析•自助任意查询和ROLAP分析•报表分发和预警•实现方案原则与目标•BI解决方案与架构•开发工具集合和管理平台企业级报表•MOLAP立方体分析•自助任意查询及ROLAP分析•统计分析和数据挖掘•报表分发和预警条带式报表Excel报表企业仪表盘门户Datawarehousedatamartods基于事件基于调度基于阈值云商业智能需求场景图企业BI需求分析纵览不同企业的业务实际和不同厂家的BI工具实现,BI的需求场景归纳为以下五种：•企业级报表•MOLAP立方体分析•自助任意查询及ROLAP分析•统计分析和数据挖掘•报表分发和预警企业级报表包括条带式报表，EXCEL报表，企业仪表盘和门户网站•条带式报表：用户：所有基层人员功能：获取单个业务主题的明细级别的运营数据。形式：快速将大量运营数据组合成结构优化的含有多个页的重复节，其中每一页都包含页标签、标题和脚注，以及典型运营报表系统特有的分页逻辑。支持转换为相对简单的图形表示。•EXCEL报表：用户：部门业务经理功能：获取跨多个主题的汇总级别的数据，并进行数据对比分析解读和指标预警和趋势预测。可进行透视分析，可进行同比，环比，移动平均值，累计值计算。支持用户自定义业务指标计算逻辑。形式：内容相对固定，每日每周每月定时生成，在单页内完整展示某个业务的不同时间粒度的所有相关重要指标和衍生指标。支持多种形式的图表共存。•企业仪表盘和门户网站：用户：高层决策分析人员功能：更大范围内将相关数据整合为一体，提供更加宏观和结论性的数据，支持用户交流，数据SNS化。形式：提供高度可视化的各种数据展示形式。将各种基础报表的数据以各种方式有机地结合起来，按照各种输入条件进行联动分析，whatif分析。支持移动端使用。用户：管理者或者那些需要对有限范围内的数据进行安全地和简单地分析的人。功能：在有限的一组数据集合上进行切片和切块分析。提供多维视图的数据组织、管理与多维分析。提供增量汇总技术，提供分析作业调度管理。提供最优/最差分析、例外分析、排名分析、比较分析等分析功能。具有丰富的图形展现功能能够灵活地建立、定制不同的分析指标和各种指标计算公式，实现OLAP分析的动态化处理。并具有切片、切块、旋转、钻取和钻透等多维分析操作。能直接钻取到详细数据，也能进行多维数据和详细数据的混合分析提供丰富的函数，可自由扩展，便于二次开发。OLAP分析结果可输出为Excel、HTML、文本文件等多种类型的文件。形式：拖曳式的分析操作。即支持各种交叉透视，也支持多维的图形展示。业内的代表是tableau。MOLAP立方体分析用户：数据分析员和超级用户。功能：提供对所有数据完全地探索式查询，以及对整个数据库范围进行切片、切块式的ROLAP分析。如果需要，分析可以深入到交易级的详单数据。通过定义业务逻辑到数据库结构映射层，使最终用户无需了解数据库和SQL的复杂性，只需按业务逻辑规则即可快速简洁地定义查询需求，系统自动完成连接操作、条件定义等复杂的SQL定义操作。具备多表之间的钻取访问、具备主表与子表之间的钻取访问功能。提供资源控制机制。它能够监控查询的运行进程，并停止长时间运行的查询，控制资源使用效率。而且还提供查询预测能力，使分析人员在运行查询之前，能够预测查询所需时间。能访问各种数据源的数据，访问结果也能输出到多种通用文件格式中。形式：提供各种向导式界面、图形查询生成器、提示窗口等，通过简单的鼠标拖拉操作即可实现即席查询、报告生成、图表生成、深入分析和发布等功能。自助任意查询及ROLAP分析用户：专业的信息分析师功能：利用各种数学、财务和统计方法进行全面的相关性分析、趋势分析、财务分析和预测。提供财务分析函数库提供线形回归等统计分析函数提供多种预测分析算法、趋势分析、时间序列分析、假设分析和回归分析功能。提供神经网络、聚类分析、决策树等常规数据挖掘算法形式：需要专业的统计分析和数据挖掘软件包，不在此次本文讨论范围。统计分析和数据挖掘用户：企业内外的数量众多的信息消费者。功能：根据调度计划或者数据库中的事件触发主动地、大规模地分发报表和告警信息。提供订阅门户，使用者可以在门户中自定义发送方式。形式：默认情况下就已经是发布到Web方式。还能够以电子邮件、手机短信等方式发布。其他方式是用户主动获取数据，该方式是用户被动获取数据。报表分发和预警实现方案原则与目标•多：满足各种复杂的数据查询、数据加工处理需求。能对整个企业范围内的数据进行联合的分析处理。能按需定制和大规模分发报表，支持各种输出格式。•快：负载均衡的集群服务，在各种负载下都能做到系统合理响应。•正确：指标口径统一，前后一致，总分一致，开发平台中集成数据质量规则稽核系统。•好用：统一的操作方式，统一的展示风格，统一的入口。系统易学易用，使得用户能自助分析和处理数据。便捷，支持移动使用；功能可定制，能满足不同业务等级不同分析能力的人群的需求。•省钱：可计费，开销低，计算时间占有少，存储空间占用少，占用开发人工少、维护人工少，专业人员少。多租户PaaS体系，云端共享资源，用户可以按需动态线性升级所需资源。•省力：系统可监控，可预警，数据化运维，确保系统运行稳定，容易维护；有完善的血缘分析，数据源变化的时候也能快速适应。•安全：完善的功能权限、对象权限、行级权限控制机制，审计机制，支持角色管理、逐级转授，支持工作流接入，支持权限系统对接。•开放性：提供完整的标准的wsdl服务接口SDK，可以和外部其他系统集成起来。解决方案©SAP2008/Page11数据质量工具，专业ETL工具建模工具，管理监控权限基础服务平台普通报表工具，excel报表工具，多维分析工具，adhoc查询工具企业BI门户网站创建工具数据仓库-DW数据存储层数据整合层数据展现（应用）层企业数据仓库客系统DWETL商务智能应用平台企业报表系统即席查询多维分析企业仪表盘绩效指标管理收益分析风险分析商务智能系统基础应用商务智能企业应用商务智能系统应用基础框架商务智能系统基础设施系统系统系统其他系统对应工具系统产品架构底层实现结构oracle商业智能服务总线mysql日志其他业务数据源云计算平台（hive/hadoop）物理请求移动设备app对象浏览引擎语义请求sdkWeb门户微软OFFICE邮件元数据库解析引擎提示引擎监控服务安全引擎调度引擎命令引擎自由格式SQL引擎动态MDX引擎动态SQL引擎查询引擎Cache管理服务分析引擎格式引擎客户端商业智能服务1234578109111213安全引擎–管理用户认证和授权对象浏览引擎–展现BI应用中的目录导航提示引擎–管理提示的展示和回答解析引擎–为高效执行进行业务定义的解释命令引擎–管理所有引擎的容量和工作队列缓存管理引擎–从缓存或历史列表取回报表数据动态SQL引擎–为关系型数据源产生优化的SQL动态MDX引擎–为多维立方体产生优化的MDX自由格式SQL引擎–连接业务定义和非关系型数据源查询引擎–直接从数据源取回数据分析引擎–执行附加计算、交叉表和结果集小计格式化引擎–为结果集添加丰富的格式或将结果集转化为需要的输出格式监控引擎–显示和记录当前BIServer运行状况主要引擎有：运行一个标准报表的典型工作请求其查询流程如下：为响应此查询，BIServer动态处理各种任务，并通过命令引擎来协调。1.BIServer接收来自任何接口的登录请求，安全引擎验证这些用户，并为其分配适当的权限。如果使用了第三方认证，则安全引擎在提供正确的授权信息之前首先接收第三方认证信息。2.用户通过可用的应用、文件夹和业务定义导航来运行一张报表，此操作由对象浏览引擎支持。信息将从元数据库或通过缓存管理引擎从缓存取得。3.如果元数据信息没有缓存，则建立一个到元数据库的连接取回请求的对象定义。这些对象定义被缓存下来，并通过缓存管理引擎来管理。4.当报表运行时，信息被移交给解析引擎来分析。如果缓存管理引擎确定缓存中存在此报表，则在最终格式化报表发送到用户之前缓存结果集将被传送到分析引擎和格式化引擎。5.如果包含提示，则提示引擎管理用户的输入、解决提示答案，并将信息反馈给解析引擎。如果缓存可用，则从缓存中取回可能的提示答案，否则，就通过查询引擎创建一个到数据源的连接（图中未显示）。6.一旦查询需要的所有信息被收集之后，动态SQL引擎产生针对特定数据源的优化SQL，对多维立方体数据源来说，动态MDX产生优化的MDX。7.动态SQL引擎提交SQL到查询引擎，在数据源中执行。8.查询引擎连接到相关的数据源并执行查询，如果一个有效连接已被缓存，则直接使用此连接，执行后，报表结果被取回。9.如果用到了数据源不能支持的中间计算，中间数据将返回到查询引擎，并被提交到分析引擎来处理。10.中间结果被返回到数据源以完成查询，如果需要，第9和10步可以重复多次。11.报表结果被移交给分析引擎，它执行一些附加计算，并根据报表最终显示应用一些交叉表、分页和聚合条件。12.最终结果集被加载到报表缓存，并由缓存管理引擎进行索引，群集环境中的其他节点将被通知此报表有可用缓存，这样，此结果集可以供来自任何用户接口的匹配的查询使用。©SAP2008/Page16工具集合-建模工具：统一的对象管理工具，统一的元数据库BI平台建立在一个统一、有机发展的架构之上。为实现可扩展、高性能、开放性，经济性等设计目标，进行了如下的架构设计：1.使用统一的对象模型来构建和定义用于展现任意业务的对象。2.一个有机的、由多个结合紧密的产品构成的平台，通过在响应中重新组合这些对象来满足任何业务请求和用户操作。BI平台所有子产品都采用面向对象的继承和封装设计技术确保了扩展性和高性能。基于cwm规范的面向对象的模型是平台最核心和最独特所在。元数据库是这种面向对象模型的具体表现，元数据库中包含了构建一个企业业务所需的对象。元数据库在数据库中存储这些对象，提供高效的重用、管理和性能。这些对象本身被用来创建新的对象如报表定义。因此，只要一个对象改变，所有依赖于它的对象自动随之改变。这确保了整个业务定义上的一致性，同时也减少了对象定义、存储和管理。也正是元数据库只存储这些对象才保证了元数据的唯一性，使得平台能够动态装配元数据库对象来创建报表、仪表盘等各种对象，提供给了平台分析上、功能上和管理上的无比灵活性。元数据与逻辑模型的概念：元数据，即描述另一个数据集的信息。在一个BI平台中，元数据将数据存储中的信息关联到定义BI应用的业务实体和规则中。通俗地说，元数据将数据仓库中的表和列翻译为含义明确的业务术语。它通过直观的映射对象指导业务人员创建报表和操作分析，来发掘数据仓库中有价值的信息。当今的企业级的BI平台需要集中、可重用和动态的元数据来支持企业级BI标准。良好的BI架构应该提供了支持BI标准化的元数据库，并通过以下架构设计原则来支持此标准：统一集中的抽象层。元数据存储在一个集中的资料库中，其中存储了业务概念到底层数据结构的映射关系，还有一些报表定义和配置信息。所以，对于所有的用户来说，不管他是通过哪一个接口访问应用，他得到的都是统一的结果。完全可重用的明确定义的元数据对象。元数据库由多层明确定义的对象组成，每一层为其上一层服务。这种方式增加了对象的可复用性，提高了开发速度并减少了维护成本。动态、面向对象的元数据库对象。每个元数据对象都包含一个指向其他元数据对象的“指针”。任何时候，当一个对象被使用时，它将动态继承包含在该对象之内的所有其他对象最后一次更新的状态。同样，当改变此对象时，也会自动级联到其他相关的对象。工具集合-建模工具：统一的对象管理工具，统一的元数据库工具集合-建模工具:对象依赖层次体系BI架构由6个主要的元数据对象层组成，每一层都是对物理数据结构之上各层的更高级抽象：1.系统配置对象用户、用户组、调度、项目和数据源连接构成了BI应用的基础。2.数据抽象对象逻辑表、维度和事实将物理数据结构翻译为逻辑业务模型。3.业务抽象对象度量