数据中心方案技术建议书

企业数据中心技术方案企业数据中心技术方案企业数据中心技术方案目录第一章前言.................................................................................................................21.1．项目建设背景........................................................................................................21.2．项目目的................................................................................................................3第二章企业数据中心的技术架构.......................................................................................42.1．逻辑架构................................................................................................................42.1.1．数据获取整合层.........................................................................................52.1.1.1数据整合.....................................................................................52.1.1.2快速数据集市方案SAPBusinessObjectsRapidMarts.............72.1.1.3元数据管理.................................................................................82.1.2．数据存储层.................................................................................................92.1.3．分析展示层...............................................................................................102.2.方案物理配置建议...............................................................................................16企业数据中心技术方案第一章前言1.1．项目建设背景随着经济全球化的发展和竞争的不断加剧，快速的应变能力和战略决策能力已经越来越成为企业良性发展的重要核心竞争力之一，能否利用科学的方法和信息化手段提升企业的信息管理水平，将直接影响到企业的决策和对市场的准确把握。企业在数据进行各种复杂分析，如长期趋势分析和各类信息的综合对比等，需要从大量的历史数据中获取信息，要求系统保存足够的历史数据，而且还要进行复杂的分析处理（每次处理涉及大量数据），如果直接基于分散的各种事务处理系统开展分析应用，则不可避免地要遇到以下诸多障碍：1：缺乏组织性，数据难以转化为有用的信息。事务处理系统中数据结构是面向操作的有效性组织的，而非面向管理分析的需要。分析所需要的数据内容可能分散在许多数据对象甚至许多应用中。将这些零散而且结构各不相同的数据统一起来的工作将是复杂而繁重，难以应付不断变化的分析工作的需要。2：干扰事务处理系统的正常运行。分析处理往往需要涉及较大的数据量，而事务处理系统则要求尽快做出响应，如果进行一次大规模的分析，对事务处理系统性能的影响是难以忍受的，从而严重影响其正常运行。3：缺乏足够的历史数据。分析应用常常需要通过一段历史时期的数据来分析趋势，而事务处理系统中一般只存储当前的短期数据，并且各个应用领域的保存期限也不一样，这对于长期趋势分析和规律探索构成制约。4：结果的准确可比性难以保证。企业数据中心技术方案事务处理系统是随时更新变化的。基于随时变化的数据源难于对问题作出一致的回答，而不一致的答案会干扰决策过程。1.2．项目目的数据仓库技术是在企业建立一个集成、共享的数据管理平台；整合不同来源的数据，发挥历史数据价值，提高数据分析的能力；为企业各层次人员提供多维信息统计分析、关系挖掘、查询检索和报表生成工具；实现企业数据向信息、知识的转化，为管理层决策提供及时有效地支持。近20年的事实已经证明，以建设数据仓库为核心建立企业数据中心是满足企业进行综合分析的最有效技术手段。企业数据中心技术方案第二章企业数据中心的技术架构2.1．逻辑架构customer数据中心技术架构SAPBI元数据管理SAPBOBJDI开放数据整合平台企业的原始业务层数据中心数据存储层前端分析应用层其他…业务系统人力资源客户服务销售……其他数据源业务源数据源File、XMLR/3财务…SAPBOBJBOE商务智能平台BI门户SAP商务智能和数据仓库平台格式化报表Crystal报表即席查询分析WebIntelligence可视化报表和仪表盘Xcelsius搜索智能BOBJExplorer多维分析Voyager信息发现与交付工具集数据整合层开放数据集市ODSDMSAPBOBJDI开放数据整合平台开放平台数据仓库针对数据中心的需求，可以将整个系统分为数据获取整合、数据存储和分析展示三层，下边分别对三个层次进行阐述。企业数据中心技术方案2.1.1．数据获取整合层2.1.1.1数据整合数据获取和整合层主要实现从现有业务系统及外部数据来源中检索/接收，将来自不同系统、具有不同数据格式的数据转换成统一格式并去除错误的操作，并加载到企业数据中心数据仓库中。并且在这个过程中进行数据质量的清洗和主数据的管理。本方案采用了开放数据仓库和集市作为数据中心的综合数据存储策略，长期历史数据积累在数据仓库，主题分析数据积累在数据集市。针对企业中的各种业务系统，我们建议使用SAPBOBJ的数据转换产品DataIntegration，将开放数据源的数据加载到数据仓库中，该工具可以实现将数据进行清洗及按照最终的分析目的进行模型转换。对于DataIntegration工作的数据源和数据目标，它支持各种主流开放关系数据环境，包括数据库，数据仓库和ERP等业务系统。在数据存储层中间数据集市和数据仓库中间的数据调度和和转换，本方案也使用DataIntegration完成，SAPBOBJDataIntegration可以将数据集市中的数据抽取出，经过模型转换把数据加载到数据仓库中，也可以把数据仓库中的，下发的数据加载到数据集市。实现仓库和集市的双向数据调度。下图为支持的数据种类。企业数据中心技术方案企业级的数据访问连接数据库、应用系统、遗留系统、文件、非结构化数据OracleDB2Sybase&IQSQLServerInformixTeradataODBCMySQLNetezzaJDEdwardsOracleAppsPeopleSoftSiebelSalesforce.comSAPBWSAPR/3–ABAP–BAPI–IDocTextdelimitedTextfixedwidthEBCDICXMLCobolExcelHTTPJMSSOAP(WebServices)ADABASISAMVSAMEnscribeIMS/DBRMSBothdirectandchangedataAnytextfiletype32languages支持结构化数据和非结构化数据DatabasesApplicationsFiles/TransportMainframe(withpartner)UnstructuredData使用SAPBusinessObjectsDataIntegration，提供完整的数据整合方案，主要优点是：DataIntegration具有易于使用的无编码用户界面，提升开发人员的生产率。企业级的数据整合，支持几乎所有异构类型的数据环境。对面向服务的架构(SOA)环境，提供Web服务支持。借助SAPBusinessObjectsRapidMarts中预构建的各种企业应用程序，加快产品上市时间。与SAPBusinessObjects商务智能软件有出色的集成。企业数据中心技术方案2.1.1.2快速数据集市方案SAP针对企业常见的分析需求，已经定制好了快速数据集市方案，快速集市SAPBusinessObjectsRapidMarts通过多年数据仓库经验和对企业业务流程的理解,为SAP、PeopleSoft、Oracle和Siebe等企业应用程序提供封装的数据整合与抽取、转换和加载(ETL)工具。这些的软件包将相关领域的知识与数据整合方面的最佳做法融合在预先构建的数据模型、转换逻辑和数据抽取功能中。SAPBusinessObjectsRapidMarts软件包是SAPBusinessObjectsDataIntegrator的加载项。SAPBusinessObjectsRapidMarts软件包具有以下功能：数据模型用于模型创建的DDL脚本建议的联接和索引ETL工作流，用于处理初始数据和增量数据工作恢复框架Universe、SQL和报表示例技术和业务分析文档上图以SAP为例的10个快速集市包企业数据中心技术方案2.1.1.3元数据管理在数据仓库领域中，元数据被定义为：描述数据及其环境的数据。一般来说,它有两方面的用途。首先,元数据能提供基于用户的信息,如记录数据项的业务描述信息的元数据能帮助用户使用数据。其次,元数据能支持系统对数据的管理和维护,如关于数据项存储方法的元数据能支持系统以最有效的方式访问数据。具体来说,在数据仓库系统中,元数据机制主要支持以下五类系统管理功能:描述哪些数据在数据仓库中；定义要进入数据仓库中的数据和从数据仓库中产生的数据；记录根据业务事件发生而随之进行的数据抽取工作时间安排；记录并检测系统数据一致性的要求和执行情况；衡量数据质量。本方案采用SAPBusinessObjectsMetadataManagement解决在管理来自多种数据源、技术和系统的元数据时所遇到的各种难题。SAPBusinessObjectsMetadataManagement可将元数据合并和整合成一个开放的关系资源库。SAPBusinessObjectsMetadataManagement通过将全部数据整合在一起，可减少工作量，降低项目成本并为用户提供可信的数据和分析。审核来自完全不同的工具和来源的元数据，并将其整合成一个资源库；这些工具和来源包括商务智能(BI)；抽取、转换和加载(ETL)产品；关系数据库；建模工具；以及第三方元数据。轻松查看和分析整合后的元数据，以获得有关数据使用、全面更改影响分析，以及报表到来源的数据沿袭的信息。通过提供一个可显示所有元数据资产及其关系的中央视图，交付可信数据以便满足合规性要求，实施数据控制行动计划和内部控制，改进决策过程。提供IT行业的第一个“Metapedia”，–这是一部将元数据转换成业务定义的Encyclopedia，可降低导航和数据发现的难度。企业数据中心技术方案2.1.2．数据存储层customer数据中心数据存储层©SAP2008/Page6数据中心数据存储层开放数据集市ODSDMSAPBOBJDI开放数据整合平台开放平台数据仓库数据存储层实现