大数据时代存储之路__华为

应需而变融以致远——大数据时代存储之路1信息化：从涓流到海洋2目录大数据带来哪些技术变革云时代大数据的特点12华为大数据架构和具体实践33大量用户群体海量计算大量数据管理数据分析大数据定义-不同行业的不同声音4云时代的大数据特点Volume-巨量Variety-多样性Value-价值密度数据量巨大全球在2010年正式进入ZB时代IDC预计到2020年，全球将总共拥有40ZB的数据量结构化数据、半结构化数据和非结构化数据如今的数据类型早已不是单一的文本形式，订单、日志、音频，能力提出了更高的要求沙里淘金，价值密度低一部数小时的视频，可能有用的数据仅仅只有一两秒。如何迅速“提纯”是大数据亟待解决的难题实时获取需要的信息大数据区分于传统数据最显著的特征。如今已是ZB时代，在如此海量的数据面前，处理数据的效率就是企业的生命Velocity-速度5信息采集系统全景介绍政府机构（医保，社保）短信通话记录数据分类数据来源运营商存储区域业务平台汇聚、分析、入库医院大型企业交通信息视频监控Email社保、医保、住宿、交通视频监控网络信息精确查询…………人际关系、行为分析跟随分析、人脸识别通话记录、住宿、交通统计报表短信、Email内容过滤等其他信息统计分析内容查询数据导入6大数据在各行业的应用社交网络B2C业务能源媒资地质勘探科研智能电网非线编辑后期制作卫星探测基因工程电子支付票据归档金融互联网公安视频监控视频分析7目录大数据各行业需求和应用大数据带来哪些技术变革云时代大数据的特点12华为大数据架构和具体实践38大数据带来技术变革大数据分析处理•全球技术研究和咨询公司Gartner将“大数据”技术列入2012年对众多公司和组织机构具有战略意义的十大技术与趋势之一；•Gartner在其新兴技术成熟度曲线中将“大数据”技术视为转型技术；•传统技术升级已满足不了大数据处理的需求，“大数据”技术将在未来3—5年内进入主流。其技术形态也会产生较大的变化；存储瓶颈计算瓶颈网络瓶颈数据库瓶颈9大数据带来哪些技术变革单机集群虚拟化集群文件存储单机设备间连接设备内连接关系型数据库横向扩展横向扩展GEFC数据库集群10GEFCIB分布式数据库非关系型数据库块存储10GESASIBFC计算存储数据库网络横向扩展（硬件扩展）块虚拟化丰富的增值软件及对外接口横向扩展（硬件+文件系统）文件虚拟化丰富的增值软件及对外接口10大数据时代群雄逐鹿11Hadoop解决方案架构12目录什么十大数据大数据各行业需求和应用华为大数据架构和具体实践大数据带来哪些技术变革云时代大数据的特点12华为大数据架构和具体实践313华为在大数据方面不仅仅是平台提供商大数据应用开发提供商大数据系统集成商大数据平台提供商大数据管理服务提供商华为除了具有强大的自主研发实力外，还具备丰富的集成优化第三方平台的经验，可根据用户的实际需求，打造适合用户自身特点的大数据服务体系；14ScaleoutBlockScaleoutFilesystemScaleoutDBScaleoutObjectScaleoutbackup分布式存储应用适配,Programmable接口通用服务器网络（交换机，路由器）存储节点分布式计算和分析批处理(GalaxHD))实时处理和内存计算近实时分析和MPPDB内存数据库流处理MapReduceHive,Pig,MashoutHBASEHcatalogSQLQueryPlannerMPPExecDataBridge管控平面设备管理资源管理(YARN,多户,Zookeeper)策略调度日志留存OLAP视频分析数据可视化内容检索数据挖掘华为大数据一体化平台集成SqoopDataLoader华为集成和优化华为自研组件合作3rdPartyToolHadoopFSAPI,NFS/CIFS,Posix,ISCSI,S3华为大数据统一架构FlumeLuceneCloudOS1530mins/TB的恢复速度安全可信弹性高效存储池内所有硬盘参与重构，仅重构业务数据由传统RAID多对一的重构模式转变为HVS的多对多快速重构模式数据恢复速度相对传统RAID提升20倍降低95%的多盘失效概率大幅降低重构过程对业务的影响加速数据恢复传统阵列RAID2.01TBNL－SAS磁盘重构时间（小时）100.50246810数据重构时间缩短20倍16Partition1Partition2Partition4Partition…Partition3PartitionN核心业务专属保障存储系统自动按照优先级不同调配资源，保证核心系统的资源需求SmartQoS确保核心业务服务质量物理缓存分区，为特定LUN设定专用的缓存分区，避免核心业务与边缘业务恶性缓存竞争SmartPartition关键业务性能保障安全可信弹性高效17Smart软件提升客户系统效率数据智能流动SmartTier数据动态分级SmartVirtualization异构数据整合SmartMotion数据动态平衡EMCHDSIBMHW安全可信弹性高效SmartTier：精细化热点统计与迁移，最大化性能资源利用率，性能提升3倍SmartMotion：基于场景的动态部署变更，最大化自动负载均衡，硬盘利用率提升2倍，运维成本下降60%SmartVirtualization：支持对异构存储系统进行统一虚拟化管理，最大化既有投资保护，投资回报率提升50%Smart智能软件SSDSASNL-SAS18统一管控，运维一手掌握各类型存储统一管理，化繁为简分层可视化，直观监控，高效排障智能分析提升服务质量，节约成本与移动运维结合，管理更智能存储管理软件统一监控与管理报警管理拓扑安全在线存储近线存储安全可信弹性高效19亚洲最大兼容性实验室亚洲最大的IT产品兼容性实验室，拥有国内最全面的测试环境，产品兼容性得到充分的认证，客户的兼容性疑虑得到最好的解答华为与全球400家IT厂家合作，影响全球IT生态圈，为客户提供更加全面的IT产品。超过400家兼容性测试伙伴兼容性实验室——解决您的兼容性顾虑20HVS&T系列统一存储存储虚拟化VIS6600TN9000大数据存储面向企业级数据中心实现数据智能布局双活数据中心统一存储资源池面向海量数据存储融合架构简化生命周期管理P15P22P1P8P15P22P1P8P15P22P1P8P15P22P1P8P15P22P1P8存以智用，融以致远云化存储设计：智能融合可信赖，满足企业需要21外企当道、自主乏力本地产/OEM不等于自主可控本地产为的是降低生产成本，OEM仅仅是包装存储核心竞争力是研发、设计技术、质量、价格均不可控本地产/OEM≠自主可控国内厂商19%IBM26%EMC14%HP14%HDS8%Dell7%other12%IDC2011年数据外企当道≈安全威胁外企霸占国内市场：国外存储厂商占据国内80%以上的市场份额，其中金融业占据90%，交通行业超过80%，电信行业超过90%；威胁国家安全：CNNVD（国家信息安全漏洞库）统计外企在国内重大信息安全漏洞多达6万个22华为存储的中国芯专用/通用处理器CPU•自研ARM64，融合存储特性(Raid5/6/DIF/Multicast/DMA)SHA1、Dedup加速卡•最少磁盘，最少电力，满足海量数据备份需求•加速卡实现5GB/s=18TB/Hr•更低成本，更高性价比智能融合IO芯片Hi1812•10GE,RDMA(10GE),TOE,IOE,FCoE,FC8G/16Gallinone•更低成本，更高性价比PCI-ESSD控制芯片Hi1821•支持PCI-E3.0接口•支持SAS3.0协议SASSSD控制芯片Hi1811•业界第一颗支持SAS2.0的ASIC控制器•发布首款全固态存储系统Dorado2100Red-BPrime•可编程引擎（TOE、IOE、FCoE，RDMA，vSwitch、VTEP和Openflow等协议卸载）•PCI-EoverFabric，IO扩展和共享，数据加密压缩Red-BPrime23提供最全系列全国产存储产品大数据和云存储数据保护磁盘存储存储软件HDP3500E*VTL6900*固态存储HyperSnapHyperClone数据复制软件存储管理软件HyperCopyHyperReplicationDorado2100G2Dorado510060万IOPS访问延迟低至500s100万IOPS访问延迟低至500sHVS85T/HVS88TS2600T/S5500T/S5600T/S5800T2~16控制器可扩展至3TBCache可扩展至3216块硬盘0~5sRPOS6800T可扩展至384GBCache可扩展至1440块硬盘25万SPC-1性能统一存储，同时支持块和文件应用可扩展至192GBCache可扩展至1440块硬盘S2200T双控制器支持4GBCache支持204块硬盘SmartQoSSmartMotionSmartTierUltrPathUltraVRUltraAPMSmartCacheSmartThinSmartXInsightManagementConsoleInfraControlCSS分布式存储系统N9000大数据存储系统支持Posix/NFS/CIFS/JDBC/ODBC接口多GE互联UDS海量存储系统3~288节点，40PB容量扩展，500万OPS10GE/IB高性能互联标准AmazonS3接口EB级容量扩展高密设计，单柜2PB容量N8500集群NAS系统*全Active架构支持文件和块接口2~24节点，15PB容量扩展，300万OPS动态分级存储一体化备份设备PB级海量备份集群架构同时支持Inline与后端重删VIS6600T*2~8节点，Scale-out虚拟化存储24专业的本地服务和咨询团队您身边的服务专业服务团队战略服务合作1成都总部4区域存储能力中心5服务阶段32区域技术支持中心140+服务范围覆盖城市8+服务领域10+专家组合1服务合同1350+PMP专家26000+专业的服务团队300+专业服务监管300+备件中心200+增值服务伙伴2000+合作伙伴4培训中心1700+专业讲师设计咨询实施改进运营一站式服务25江苏公安项目•部署HVS高端存储，助力江苏公安信息化新疆省公安厅•存储集中化:警务信息平台上层业务系统复杂，包括案情分析系统，网络执法系统，信息对比系统等•数据高可靠：需要高可靠，高性能，高效率，高扩展性的存储承载上层核心业务•效率最大化:SMART系列软件提示系统整体运行效率26农行票据影像归档存储系统全面部署农行全国36个分行网点，满足每个分行3~5年的票据影像归档数据存储，并可存储定时复制的在线数据多控集群架构，系统性能随集群节点的增加呈线性增长实现票据影像数据的获取、存储、索引、搜索、归档等全生命周期管理按照要求采用小部分SAS盘、大部分SATA磁盘，以及配合其它节能特性，有效降低运营成本27为38个分行票据影像等非结构化数据提供归档存储能力提供各分行会计档案15年近线归档数据存储海量的存储空间，具备最大288节点的横向扩展能力，容量性能线性扩展业界领先的性能，高效小文件并发访问分布式存储系统架构，充分保障数据可靠性单一文件系统，简化管理，全生命周期管理，降低管理成本建行内容管理系统28华为与CCTV针对NAS高密存储达成战略合作节能60%～80%带宽3GB/s单柜2.4PB10PB扩展能力100台工作站并发机房空间节省3/4单盘休眠CPU调频调压功耗封顶风扇智能变频机柜集中散热自适应深度节能高密度存储系统29携手华为，助力IT信息化建设大数据时代的存储，兼容并包大数据时代的存储，无限可能坚持厂商中立和被集成，开放合作服务行业客户，共同成长