大数据应用融合解决方案(能源行业)资料讲义

浪潮云海大数据一体机暨云计算及大数据应用融合解决方案云计算及大数据产品部（BruceLee）职业生涯简介BruceLee(中文名:李忠旭)博士学位,毕业于麻省理工学院和哈佛商学院，专修计算机科学和工商企业管理，致力理论联系实际，应用于日常的管理实践中。InspurGroup云计算&大数据总监兼任首席解决方案架构师GreenplumCorporation(EMC)首席技术执行官CTO兼任首席解决方案架构师GoogleIncorporated(Google)R&D技术总监兼任GFS首席架构师GoldengateCorporation(Oracle)R&D技术总监主持重大国内外项目经验美国纳斯达克数据分析应用及决策支持项目美国纽约证券交易所指数预测分析项目美国银行数据仓库及数据分析应用（商务智能）项目美国T-Mobil电信公司数据经分和信令系统分析项目美国谷歌公司R&D项目GFS基础架构总体设计中国建设银行新一代决策支持系统整体方案设计中国阿里巴巴集团企业级数据仓库(支付宝）项目中国华为技术有限公司财经体系数据分析R&A项目中国辽宁省公安厅科技信息总队大数据分析系统项目中国公安部交通管理科学研究所大数据分析研判系统项目EMC数据分析事业部（PivotalLab）产品研发项目（CloudFoundry，GemFireXD，GPDB，PivotalHD）单击此处编辑母版标题样式目录13大数据分析应用之关键技术2能源行业之大数据分析应用场景大数据时代的来临单击此处编辑母版标题样式企业面临的挑战和分析需求我们知道并且已经掌握的知识我们知道并且尚未掌握的知识我们不知道并且尚未掌握的知识云计算、移动计算、社交媒体和大数据分析推动产生新的计算模式。该模式进而引发业务转型以提升效率,促进法规遵从,提升整体业务可持续性以及以客户为中心。单击此处编辑母版标题样式Gartner发布的2012技术趋势单击此处编辑母版标题样式互联网商业模式对传统行业的冲击单击此处编辑母版标题样式数据处理的难题及大数据革命收集、存储和分析数据的能力在信息技术带来的影响中始终占有重要一席。在这个数字化程度日益提高的时代，您所做的每件事都会有一个电子记录。随着企业积聚的数据越来越多并达到数百TB，他们纷纷寻求更加尖端的软件工具对数据进行挖掘和分析，从而帮助企业更好地了解市场和客户，甚至是帮助企业对未来作出预测。•您如何收集和存储数据？•您如何传输数据？•您如何分析数据？•您如何从数据获益？单击此处编辑母版标题样式大数据时代带来的思考……单击此处编辑母版标题样式新时代需要一个全新的计算平台互联网平台时代，第三代IT体系的代表单击此处编辑母版标题样式互联网公司采用的是PaaS,DevOps来实现创新虚拟化运维自动化PaaSStartups时间期望值InnovationGapCloudClient-ServerDevOps,CD/CI,Agile,MicroService单击此处编辑母版标题样式大数据时代行业商机无处不在！单击此处编辑母版标题样式大数据行业应用–社交媒体单击此处编辑母版标题样式大数据行业应用–电商平台单击此处编辑母版标题样式大数据行业应用–互联网平台单击此处编辑母版标题样式大数据行业应用–风力涡轮发电系统管理监控以毫秒级捕获传感器数据（如：主轴传感器、齿轮箱传感器和定子传感器等），监控单台风力发电机运行状态以秒级捕获传感器数据，监控风机位置、彼此协作情况，保证发电场以最优状态工作以分钟级捕获传感器数据，监控输电状态、效率单击此处编辑母版标题样式大数据行业应用–工业互联网1.资产管理•零部件库存管理•资产管理•供应链自动化•工作范围的自动化•场力优化•监控和诊断•状态检修•停电管理•资产生命周期管理2.操作优化•物流管理•控制和工厂自动化•燃料消耗的优化•排放管理•法规遵从•健康&安全保证•运营管理与监测系统•网络吞吐量的优化•终端客户信息服务单击此处编辑母版标题样式云计算改变IT，大数据应用重在创新单击此处编辑母版标题样式工业互联网和工业大数据特点单击此处编辑母版标题样式基于分布式内存计算技术的IOT逻辑架构单击此处编辑母版标题样式云计算改变IT，大数据应用重在创新云计算侧重资源管理，而大数据侧重业务应用。云计算资源池化的管理模式是大数据应用的前提。云计算提供的存储和计算资源池可动态支撑大数据分析业务不断变化的需求。单击此处编辑母版标题样式目录13大数据分析应用之关键技术2能源行业之大数据分析应用场景大数据时代的来临单击此处编辑母版标题样式大数据分析应用的数据内容及实现技术•应用平台提交请求访问的数据，包括结构化和非结构化两类•在线存储周期超过数据生命周期规划的数据•适合Hadoop分布式架构管理•无法用二维表结构来逻辑表达的无结构性的数据。例如文本、音频数据等。•适合Hadoop架构•方便用数据库的二维表结构来逻辑表达实现的数据，数据结构字段含义确定，清晰。例如：客户信息、用电记录等。是挖掘数据价值的主要对象。•支持分析型应用，时效性较低•支持前台交易系统查询需求，具有可靠性高、并发度大、采集频率短的特点•适合分布式内存数据处理技术数据类别数据格式数据采集频度大数据分析应用的数据内容及实现技术在线数据归档数据非结构化数据结构化数据准实时数据非实时数据•面向贴源数据查询和主题数据整合。•数据区，适合X86MPP数据库集群范式化模型数据•面向分析类应用。•对应ADW，适合MPP数据库集群维度模型数据数据模型单击此处编辑母版标题样式大数据分析应用的关键核心技术大数据分析套件组合：（完善生态链）关系型数据库,NoSQL,流计算，SQLonHadoop,OLAPonHadoop,OLTPonHadoop，Cache缓存，In-MemoryDB,In-MemoryDataGrid，非关系型数据库，等等。单击此处编辑母版标题样式大数据分析应用的关键技术之一分布式内存数据库MPP分布式数据库流式处理Hadoop分析框架体系单击此处编辑母版标题样式大数据分析应用的关键技术之一PaaS平台弹性运行时环境监控管理层物理资源层PaaS服务层业务应用层IAASInterfacePaaS运行时环境ServicesInterfacePaaSService应用中间件Hadoop消息中间件……SQL数据库NoSQL数据库安全管理资源管理配置管理服务目录服务管理性能监控资源监控存储设备计算资源池存储资源池网络资源池计算机网络设备分析研判类应用预测预警类应用动态监控类应用信息处理类应用……IaaS服务层单击此处编辑母版标题样式大数据时代平台产品的关键能力开放弹性架构真正无共享的海量并行处理架构工业标准的X86平台服务器资源按需分配，按需搭建集群，按需缩放集群规模在线线性扩展增加节点可线性增加存储、查询和加载性能支持在线扩容，扩容期间保证系统继续对外提供服务拥有成本可控保证用户不被专有平台锁定企业初期投入和后续扩容的成本可控海量并行处理c5c4c3c2c1…c9c8c7c6r1r2r3r4r5支持PB级的数据处理、存储和访问在数据加载、处理、访问等各个环节最大化并行处理能力优秀混合负载按需分配资源（CPU、内存、IO）动态调整资源平台持续可用数据镜像、硬件冗余等多种容错技术保证系统高可用故障切换和恢复，对用户透明扩容期间可持续对外服务易于管理维护直观的图形化界面，实时的状态监控最大限度降低管理员的日常管理和维护工作单击此处编辑母版标题样式大数据时代催生PaaS平台的变革IaaS:硬件的自动化管理，人与机器的解耦合获得效率/牺牲性能PaaS：应用的自动化管理，应用与OS的解耦合获得弹性/牺牲控制单击此处编辑母版标题样式业务创新需要重新定义企业级PaaS•支持开放标准并与开源有效互动•强调以数据为中心•兼顾各种数据类型处理•充分关注新一代开发人员和新一代企业级应用的需求•为有效进行实时大容量信息处理而设计•同时兼顾与传统应用的互操作性•与传统技术的有效结合云支撑平台数据支撑架构应用支撑架构创新：以数据支撑为中心单击此处编辑母版标题样式未来大数据分析应用的PaaS平台发展方向NewData-fabricsInternet-of-thingsPervasivetelemetryOpenDataPlatformBigDataFastDataRapidApplicationDev&IntegrationGemfirevFabricCloudAbstraction&AppAutomation面向数据的企业级PaaS平台快速应用开发在收集数量庞大的事件数据的同时对特定事件进行实时反应与传统应用和基础架构有机配合配合不同云计算平台实现高效运维和水平扩展存储并且在非常大量的数据上进行分析单击此处编辑母版标题样式行业大数据分析应用的数据架构设计单击此处编辑母版标题样式大数据时代云计算及大数据融合架构全景图计算存储网络应用运行环境云平台管理云平台安全数据批处理（Hadoop）近实时分析（MPPDB）实时数据处理应用和数据集成应用开发接口资源和服务交付统一访问门户应用容器虚拟机服务器虚拟化存储虚拟化网络虚拟化公有云接口iVirtualvSphereNovaXenServerPowerVM分布式文件系统分布式块存储分布式对象存储SAN存储网关OpenFlowvxLanvSwitchAWSACEAzureGAE流处理内存数据库HbaseYarnMapReduceHive,Pig,MahoutSQLDataDistributeQueryPlannerMPPExecLoadBalancer分布式缓存消息中间件RDBMS云资源管理运维管理桌面管理业务流程管理资源计费网络安全容灾备份数据和应用访问权限管理安全审计vRoute单击此处编辑母版标题样式大数据分析应用的PaaS平台产品组合实时的数据处理Run-TimeApplications企业级数据仓库大规模数据存储实时的数据捕获和共享分析型数据集市单击此处编辑母版标题样式大数据分析应用的资源池拓扑图存储系统备份系统…………存储系统备份系统K-HAK-HAK-HAK1-1K1-2K1-3K1-4K1-5K1-6TS860TS860TS860TS860……核心交换机虚拟化（非关键应用）资源池物理（核心业务系统）资源池……物理（大数据分析应用）资源池单击此处编辑母版标题样式大数据分析应用系统架构系统管理体系(日志审计、用户管理、运维监控)计算资源池存储资源池网络资源池平台层(PaaS)数据存储层数据准备层数据处理层数据服务层分布式文件系统MPP数据库分析模型算法引擎挖掘工具应用层(SaaS)基础设施(IaaS)应用层(SaaS)分析研判类服务预测预警类服务动态监控类服务信息处理类服务大数据分析研判系统门户运营状态监控决策分析预警安全保障体系(访问权限控制，防病毒、防入侵)内存计算RDBMS数据块ODS数据立方体数据仓库数据集市基础设施(IaaS)流式处理客户精准营销数据交换平台数据交换平台系统管理体系(日志审计、用户管理、运维监控)安全保障体系(访问权限控制，防病毒、防入侵)服务总线风险模式识别PaaS平台弹性运行时环境云数据中心管理平台单击此处编辑母版标题样式目录13大数据分析应用之关键技术2能源行业之大数据分析应用场景大数据时代的来临单击此处编辑母版标题样式大数据产品线规划和产业定位数据源数据收集数据存储数据处理分析及可视化应用数据拥有者数据分析技术提供商服务技术提供商最终用户数据采集技术提供商数据采集者数据分析者数据服务提供商基础硬件（服务器、存储、网络交换）厂商大数据分析软件平台（数据库、数据仓库、分布式处理技术等）提供商大数据分析一体化产品提供商单击此处编辑母版标题样式大数据产品线的保障体系1.需求分析2.解决方案3.维护服务缩短开发周期实现数据共享降低管理风险提高安全和质量资深工程师提供在线指导服务专家提供现场指导运维服务评估业务需求分析已有基础设施风险评估推荐合理方案单击此处编