BI方案介绍

商业智能（BI）方案目录1.企业异构数据源..................................................................................................................42.ETL数据抽取转化和加载..................................................................................................52.1数据抽取、转换和加载............................................................................................62.2统一调度....................................................................................................................72.3监控............................................................................................................................82.4ETL工具OWB..........................................................................................................83.数据仓库..............................................................................................................................93.1操作型数据..............................................................................................................103.2数据集市...................................................................................................................103.3联机在线分析OLAP..............................................................................................113.4数据挖掘.................................................................................................................114.前端展现............................................................................................................................124.1多维分析工具Powerplay........................................................................................134.1.3PowerPlay应用开发过程....................................................................................174.2企业报表ReportNet...............................................................................................184.3KPI企业关键指标................................................................................................274.4报表预警与分发......................................................................................................284.5即席查询..................................................................................................................28商业智能(BI,BusinessIntelligence)是对商业信息的搜集、管理和分析的过程，目的是使企业的各级决策者获得知识或洞察能力，促使他们做出对企业更有利的决策。商业智能一般由数据仓库、数据分析、数据挖掘、在线分析、数据备份和恢复等部分组成。其基本体系结构包括数据仓库、多维分析和数据挖掘等三个部分。其中数据仓库用于抽取、整合、分布、存储有用信息；多维数据分析可全方位了解现状；数据挖掘则是发现问题、找出规律、预测将来，达到真正的智能效果。商业智能的过程：从不同的数据源收集的数据中提取出有用的数据，对数据进行清理以保证数据的准确性，将数据经过转换、重构后存入数据仓库或数据集市，然后寻找合适的查询和分析工具，数据挖掘工具，OLAP工具对信息处理，最后将知识呈现于用户面前，转变为管理、决策。商业智能是从传统的业务过程扩展到对业务数据的联机分析、并从中得到各种面向主题的统计信息和经过计算的结论的应用系统，其处理模式称之为联机分析处理(OLAP)，它的核心是数据仓库技术。其常见的体系结构如下图所示：数据源抽取转化过滤加载中央数据仓库信息展示InformixOracleOracle9i/10g操作型数据Transformation企业级报表即席查询KPI展示报表预警分发数据获取数据管理数据展现数据转换OracleWarehouseBuilder(OWB)其他应用系统OracleDBOLAPServer数据挖掘数据集市多维分析保险业务财务系统BI系统架构商业智能已经成为今天商业环境中一个必要因素，企业需要权衡今天商业智能技术提供的能力来保持和提高竞争性和可赢利性。先进的BI（商业智能）系统解决方案通过开放、易扩展的平台为企业提供管理信息和运营信息的快速获取、集成和智能化分析手段，可以广泛地应用于金融、电信、税务、保险等行业。1.企业异构数据源BI系统的数据源一般为企业的面向事务处理（OLTP）的系统（包括日常业务系统、资金财务系统等其他系统，以及其他外部数据），这里对于数据源不做任何限定，数据可以来源于任何操作系统平台；数据也可以来源于任何数据存储方式（如Informix数据库、Oracle数据库、文本文件等）。这些数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构的。这样一个由传统系统、不兼容数据源、数据库与应用所共同构成的复杂数据集合，各个部分之间不能彼此交流。从技术层面考虑，OLTP系统的应用特点是大量用户产生大量数据的事务，每一个事务占用的资源和运行时间都很少。而数据仓库系统经常需要对庞大的历史信息进行查询和分析，每个事务都涉及大量的数据，事务的数量相对OLTP业务要小得多。另外数据库中的数据通常实时更新，数据根据需要及时发生变化，但数据仓库中的数据相对稳定，一般只有定期的加载和更新。数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。比如永安保险的保险业务系统和财务系统，保险业务系统是基于IBMAIX操作系统上的informix数据库，而财务系统得数据库则是windows操作系统的Oracle数据库。两个系统都有凭证信息，在我们系统实施之前，只有业务系统面向财务系统流转的单证信息，而对于财务系统单证流转状况在业务信息里是没有反映的。两者信息沟通不畅，对于相关数据的查询和检索就比较困难。2.ETL数据抽取转化和加载企业目前运行的应用系统是企业花费了很大精力和财力构建的、不可替代的系统，特别是系统的数据。而新建的商务智能系统目的就是要通过数据分析来辅助自己决策，恰恰这些数据的来源、格式不一样，导致了系统实施、数据整合的难度。面向企业的异构数据源，解决数据一致性与集成化问题，使您能够从您所有传统环境与平台中采集数据，并利用一个单一解决方案对其进行高效的转换。这个解决方案就是ETL。通常，企业的数据源分布在各个子系统和节点中，利用ETL将各业务系统上的数据，通过自动化或手动控制传到服务器上，进行抽取、清洗和转化处理，然后加载到数据仓库。因为现有业务数据源多，保证数据的一致性，真正理解数据的业务含义，跨越多平台、多系统整合数据，最大可能提高数据的质量，迎合业务需求不断变化的特性，是ETL技术处理的关键。简单的讲，ETL就是抽取、转换和装载，同时提供数据质量的管理，并且贯穿整个商务智能解决方案的全过程，完成整个系统的数据处理与调度。在这里，我主要从实际的角度上阐述，如何使用ETL，包括数据抽取、数据传输、数据转换与清洗、数据加载、调度监控以及元数据管理。具体应用如下所述。2.1数据抽取、转换和加载抽取主要是针对各个业务系统及不同网点的分散数据，充分理解数据定义后，规划需要的数据源及数据定义，制定可操作的数据源，制定增量抽取的定义。确定如何抽取或查询源数据并非易事，因为它往往存储在多个地方可能是一个RDMS或其他类型文件，连接时可以通过标准的连接工具比如ODBC等。从设计的角度讲最好忽视一些连接问题，把主要精力集中在源数据如何映射目标数据上。这里提醒一点在数据抽取分析时需要对业务深刻理解，不能简单的了解。比如我想取一个数据，在源系统中多个表都有，而你选择了一个。在当时不会有什么问题，但随着后续工作的开展和分析就会出现意想不到的结果。在永安系统中，数据抽取的数据源是财产险保险业务系统、财务系统等。在实施中，它的步骤如下：a.建立系统的连接；b.读取数据提取规则参数表，确定提取的源表；c.根据源表、提取规则、最后一次提取的时间戳或流水号生成提取动态SQL语句；d.查询出的数据根据业务规则生成相应的数据；转换主要是针对数据仓库建立的模型，通过一系列的转换来实现将数据从业务模型到分析模型，通过内建的库函数、自定义脚本或其他的扩展方式，实现了各种复杂的转换，并且支持调试环境，清楚的监控数据转换的状态。数据转换是真正将源数据变为目标数据的关键环节，它包括数据格式转，换数据类型转换、数据汇总计算、数据拼接等等。但这些工作可以在不同的过程中处理视具体情况而定，比如可以在数据抽取时转换，可以在数据加载时转换。清洗主要是针对系统的各个环节可能出现的数据二义性、重复、不完整、违反业务规则等问题，允许通过试抽取，将有问题的纪录先剔除出来，根据实际情况调整相应的清洗操作。异常数据是在清洗过程中发现不合乎规则的记录。在实施中，它的步骤如下：a.根据对应数据的清洗规则对数据文件进行行扫描，异常数据[未知参数、无尾汇总记录]生成异常数据记录，合法数据生成合法数据记录；b.在进行数据的行扫描时，同时调用转换、汇总模块，生成汇总数据；直连数据库的方式来进行数据装载，可以充分体现高效性。数据加载有两个部分，一个是把合法数据文件装入回滚表中，该装入过程没有汇总部分；另一个是把初次汇总表加载到临时汇总表，根据不同类型的数据，可