XX大数据云平台建设技术规划(XX)---副本

XX201X年X月某公司大数据云平台（cloud-T）建设技术规划目录页第一篇X公司产品现状第二篇云平台总体架构第三篇大数据基础构建第四篇关键技术分析—3—第一篇产品现状人防园区消防供水桥梁添加标题燃气产品现状业务聚焦人防、消防，提供行业解决方案产品线划分明确，产品初具规模以桥梁、燃气、供水为基础，构建城市生命线工程研究院产、学、研结合，衍生二次产品—4—第一篇产品现状存在问题行业解决方案，依然是系统集成，难以体现核心竞争力产品自成孤岛，难成体系平台分散、缺少复用，建设周期长、开发难度大基础设施和业务层耦合度过高，单个产品建设成本较大人防建设消防建设桥梁建设供水建设燃气建设园区建设企业级大数据应用、云平台建设缺失—5—第一篇产品现状建设目标消防供水人防？园区燃气桥梁大数据云平台业务剥离、资源共享、分合自如大数据支撑、挖掘，衍生新产品—6—第一篇产品现状建设目标应用服务层应用软件/服务数据挖掘软件/服务其他功能软件/服务。。。云平台IaaSPaaSSaaSAOC/DevOps基础设施层网络环境传感器物理机/虚拟机。。。平台支撑层数据仓库/存储数据服务/计算接口服务/标准。。。面向切面构建忽略基础设施剥离一般业务关注核心痛点。。。第一篇产品现状建设目标企业级大数据云平台建设终极目标—8—第二篇云平台总体架构平台总述IaaS：提供基本的计算、网络和存储资源。PaaS：中间层，提供对行业业务应用的支持。SaaS：向用户交付最终业务应用和数据分析。PaaS环境层：为业务应用提供支撑的软件组件、包括各种中间件和数据库等。以Hadoop为代表的大数据处理。PaaS业务层：包含了应用的后台程序，数据处理算法以及业务数据等实现业务能力的元素。PaaS服务层：将业务层的业务、算法和数据以接口的形式提供给上层的前端应用直接访问。平台核心：统一资源+大数据+开放服务—9—第二篇云平台总体架构云管理整合传统IaaS的管理能力与传统PaaS的能力资源接入、服务管理、应用系统环境支撑和统一监控体系四位一体—10—第二篇云平台总体架构云管理特点面向一般数据中心典型的应用场景，提供对混合IT资源的统一接入，以构筑云模式下基础资源调度的最佳实践。以PaaS能力为核心，将应用系统的典型软件组件以服务形态提供，为业务系统提供统一环境支持，并进行统一管理和监控。将大数据平台作为典型服务组件整合到云平台中进行统一管理，以适应未来应用对大数据能力的普遍使用。为用户提供面向DevOps的统一云服务业务流程，以统一平台提供传统的IaaS和PaaS能力，并贯穿开发、测试和生产的全过程。—11—第二篇云平台总体架构服务资源构建—12—第二篇云平台总体架构服务资源构建混合IT基础环境：数据中心的最佳实践通常需要由物理机和不同价位和能力的虚拟化技术共同构成。一个最佳性价比的方案可以是使用物理机支持核心数据库和大规模计算、使用高效稳定但成本高的虚拟化系统如VMWare等支持核心业务、使用普通虚拟化系统如HyperV等支持普通业务系统、最后使用低成本虚拟化系统如KVM等支持开发测试等环境。多资源区统一管理：同一类虚拟化资源或者物理资源可以构成一个或若干个基本资源区。每个资源区一般包含一定数量的物理机。资源区的划分方式取决于业务的区隔。—13—第二篇云平台总体架构服务资源构建服务域：承载支撑应用系统的软件组件以服务形式进行交付的区域。在这个区域中，每一套软件组件有一个自己独立的服务域。一个服务域中，软件组件典型的部署模式包含以下三种：a)按需模式：在一个服务域初始化时不创建具体的服务实例，当有用户请求时再根据用户需求创建该软件组件的实例。b)预置模式：在服务域创建时构建相应软件组件的多个实例。当用户请求该软件的实例时，系统直接从已经创建的实例中进行分配。同时，该模式可以按照一定的策略保证空闲实例的数量。c)多实例模式：对一些特定类型的服务组件，一次部署以后可以产生多个服务实例。在这种情况下，该服务域在创建时可直接部署该组件，然后通过特定的服务接口在用户申请实例时，由这个部署的组件不断的创建服务实例。—14—第三篇大数据基础构建大数据基础管理架构采用分层整合，灵活配置，横向扩展，纵向贯穿的大平台服务能力，其计算框架、存储框架都以容器的方式可轻松灵活的在线进行装卸，以平滑扩充大数据平台的集成能力。以Hadoop平台为基础，可在此基础上集成适应Hadoop体系的二级计算框架、通用的数据处理算法库和数据集市仓库。—15—第三篇大数据基础构建大数据基础管理架构大数据基础平台组成：1.分布式存储框架：主要负责针对海量数据的存储，以分布式存储技术，支持快速、海量、多种类型的数据存取。主要支持从数据源抽取数据大数据基础平台存储，集成多种存储方式，有针对结构化数据、非结构化数据和半结构化数据的存储。2.计算框架：主要提供批处理计算、内存计算、流式计算框架，由数据处理管理驱动来分配和调度计算框架，加载数据处理算法，完成数据处理。3.二级计算框架：主要提供Hive、Mahout等计算能力，这些计算能力最终还会使用计算框架来完成计算。4.数据集市仓库：主要对计算框架完成后的结果进行存储，支持Hbase、Mysql等存储，同时将数据以接口的形式开放出去。—16—第三篇大数据基础构建大数据基础管理架构大数据基础平台组成：5.全文索引库：采用大数据基础平台构建支持全文检索的全文库，主要用于支撑海量结构化数据的搜索查询应用。6.数据处理算法库：集成通用的数据分析算法、能够插入用户自定义的数据模型算法，配合以资源管理系统为主的计算存储框架，进行数据处理。目前包括插入全文检索索引模型等。7.资源管理：以容器的方式，来为计算框架和存储框架分配资源，并支持资源调度，弹性伸缩。8.数据服务总线：将基础平台的能力和数据服务接口，以API的方式开放出去，形成一个共享的、多租户的、供大量应用使用的服务总线。可包括：查询类接口，分析类接口，专题应用类接口，决策类接口等。—17—第三篇大数据基础构建大数据基础管理架构大数据基础平台组成：9.服务总线管理：主要是对数据服务总线进行管理和使用，功能包括：服务治理，接口访问控制、服务质量、协议转换等功能。10.数据处理管理：主要是以作业管理的方式，对计算框架、存储框架的资源进行调度、分配，以承载数据处理算法包，完成数据处理。11.资源目录管理：主要针对大数据基础平台数据的元数据进行有效分类，根据目前桥梁生命线系统的数据特征分为以下几大类目录，包括：传感器、桥梁、供水管道、燃气管道、机构、用户等，便于数据的管理和查询。12.数据源管理：数据源管理实现对数据来源的管理，大数据基础平台具备对结构化、半结构化和非结构化数据的抽取能力，并可通过本地系统上传、对接第三方API、爬取互联网数据等，为数据处理、分析、融合准备数据。—18—第四篇关键技术分析异构资源接入异构资源接入技术：异构资源接入技术的主要方法是以资源区的形式对虚拟资源和物理资源按类别进行分区管理，其关键技术包括资源区构建、异构虚拟化资源管理、物理机管理、资源调节以及存储资源管理等五个方面。这种方式的最大优点是形成对混合IT的统一支撑能力，以构建最佳性价比的数据中心。—19—第四篇、关键技术分析异构资源接入资源区构建：—20—第四篇、关键技术分析异构资源接入异构虚拟资源统一管理：—21—第四篇、关键技术分析物理机管理物理机管理：物理机管理能力主要体现在解决将用户通过服务对物理机进行启动、停止、电源管理和系统安装部署等典型动作。其架构如图。—22—第四篇、关键技术分析物理机管理镜像部署接口：镜像部署接口主要用于将操作系统镜像自动化部署到创建的新主机上，使之交付的物理机是一个带操作系统的物理机。主机控制接口：主机控制接口主要用于为新建（交付）的主机设置网卡IP地址、挂载盘等控制功能。电源管理接口：电源管理接口主要用于对新建的物理机进行启动、停止、重启等操作。IPMI接口：IPMI接口主要用于获取物理机的CPU、风扇、电源等信息—23—第四篇、关键技术分析存储资源管理Hyper-V存储资源管理：Hyper-V的存储部署采用iSCSI或FCSAN存储阵列的后端存储+CSV集群共享卷的方案，即在iSCSI协议或FC协议的存储阵列上划分出用于Hyper-V集群共享存储的逻辑单元（LUN），将该LUN转换为CSV集群共享卷并格式化为NTFS网络文件系统，用于存储集群中Hyper-V主机本地虚拟机的磁盘镜像（vhd/vhdx）、虚拟机模板、驱动ISO、操作系统ISO等文件。—24—第四篇、关键技术分析存储资源管理VMware存储资源管理：VMware的存储部署采用iSCSI或FCSAN存储阵列的后端存储+DataStore数据存储的方案，即在iSCSI协议或FC协议的存储阵列上划分出用于作为VMware集群共享存储的逻辑单元（LUN），将该LUN映射至集群中的所有ESXi主机形成“共享卷”并格式化为VMFS网络文件系统，这样集群中每台ESXi主机本地就形成了映射至后端存储中同一逻辑单元（LUN）的数据存储—“DataStore”，用于存储集群中ESXi主机本地虚拟机的磁盘镜像（vmdk）、虚拟机模板、驱动ISO、操作系统ISO等文件。—25—第四篇、关键技术分析存储资源管理KVM存储资源管理：KVM的存储部署支持直接使用iSCSI或FCSAN存储阵列和共享分布式存储，如GlusterFS和Ceph等，作为后端存储。这些存储接入到KVM虚拟化管理软件的存储管理模块后，由存储管理模块对其划分逻辑单元（LUN）作为虚拟机使用的存储空间，形成统一的存储资源池。存储资源池可用于存储KVM宿主机的虚拟机磁盘镜像、虚拟机模板、驱动ISO、操作系统ISO等文件。—26—第四篇、关键技术分析Hadoop部署Hadoop平台部署：大数据服务最基本的方式是通过将Hadoop部署在一个资源区上。下图描述了Hadoop平台部署的典型方式如下。—27—第四篇、关键技术分析Hadoop部署Hadoop平台部署：1、应用服务资源区中可以建立两个不同二级逻辑资源区，大数据虚拟资源区和大数据物理资源区。前者提供虚拟机来部署Hadoop平台，可以主要用于满足开发和测试验证的需要。后者提供物理机来部署Hadoop平台，可以用来满足生产系统部署的需求。2、在给定的资源区上构Hadoop服务域。在该服务域上，Hadoop平台可以通过资源区提供的计算资源分别部署NameNode和DataNode。3、在一个Hadoop服务域构建好后，就形成了一套以Hadoop能力为基础的服务，并注册到服务目录上。这种服务最典型的是MapReduce服务。