IBM的大数据解决方案21

©2012IBMCorporationTechnicalComputing1PlatformSymphony陈戟[e-mail]13601463603IBM大数据解决方案概述点击左侧按钮下载音频©2012IBMCorporationTechnicalComputing2什么是大数据•BigData=大数据+大数据的处理方案（存储+计算+展现）•“BigData”泛指数据集的大小超过了通常的数据库，数据管理软件所能获取，存储，管理和分析的范围。•“BigData”是一个相对的概念，不能从绝对意义上指明某一个数值来定义，而且这个相对的标准根据所处的行业和客户的不同千差万别。IBMPlatformSymphony和GPFS就是IBM提供的针对计算和存储两个层面的大数据平台解决方案。©2012IBMCorporationTechnicalComputing3大数据的客户价值最佳实践战略从一个大数据例证开始，并建立一个业务案例在日常运作中采用数据驱动的思维基于现有的基础架构投资人员和流程通过鼓励数据实践创建数据科学文化利用数据和分析的自助服务方法，使人们能够亲身体验保持治理、安全和隐私-弃置不需要的数据根据技能为每个人提供合适的界面确保协议可以支持不同类型的用户之间的协作技术寻求可重用性采用Hadoop，也要考虑Hadoop以外的技术优化工作负载性能和成本不断地重新评估什么是（或不是）大数据聚合上下文，挖掘并可视化信息，以找到答案使用在所有大数据源中都支持的工具，而不是在每个数据源使用一个工具©2013IBMCorporation3©2012IBMCorporationTechnicalComputing4IBMPlatformSymphony企业级大数据平台解决方案©2012IBMCorporationTechnicalComputing5PlatformSymphony是在高可扩展、面向服务、异构的网格上运行计算密集型低延迟应用和数据密集型应用的最强大的管理软件，它优化可用的基础设施以加速各类并行应用程序，快速得到计算结果。©2012IBMCorporationTechnicalComputing6IBMPlatformSymphony支持大数据的优势超高性能，实时分析能力支持多种数据存储支持多作业资源共享HadoopAPI和并行SOAAPI共存支持多应用，多作业SLA企业级可靠性企业级IT易操作性：更新/监控/报表/维护最满足企业级应用需求的管理软件©2012IBMCorporationTechnicalComputing7ClouderaMapRTechnolologiesApacheHadoop,MRPlatformSymphonyCommerciallysupportMapReduceHadoopimplementationNoAPIssupportingmultiplelanguagesSomeSupportHadoopapps:PIG,HIVE,OOZIE,SQOOPCriticalserviceshighlyavailable–NameNode,JobTrackeretc..NoFlexiblepolicy-basedsharingframeworkforcompute+dataNoNoNoGranularresourcesharingamongmultipleHadoopclientsNoNoNoBuilt-onscalableenterprisegridresourceorchestratorNoNoNoDistributeHadoopworkloadstomultipleclustersNoNoNoExpressdataaffinityrelationshipsbetweencomputeanddataNoNoSome和其它大数据解决方案的比较©2012IBMCorporationTechnicalComputing8世界排名前5家银行中有3家在使用IBMPlatformSymphony世界排名前20家银行中有12家在使用IBMPlatformSymphony经过长期验证的、企业级的大数据平台解决方案©2012IBMCorporationTechnicalComputing9大数据企业引擎大数据加速器文本图像/视频声音金融时间序列统计挖掘地理空间数学InfoSphereBigInsightsInfoSphereStreams生产力工具&优化工作负载管理&优化配置数据导入管理配置管理器认证&访问管理数据保护连接器应用蓝图IBMPlatformSymphony低延迟Hadoop兼容具有动态资源调配的MapReduce运行时间库工作流作业调度管理工具活动监视器作业追踪IBMPlatformSymphony令IBM的大数据产品线变得更完善-©2012IBMCorporationTechnicalComputing10IBMGPFS大数据存储管理解决方案©2012IBMCorporationTechnicalComputing11GPFS是大数据存储管理的先驱性能可用性可管理性并发读写访问不存在唯一的管理节点动态增加或移出存储和节点数据复制数据快照日志文件系统跨集群支持可调整的数据条带化读写支持数千个节点的集群环境客户端数据缓存访问类型的自动识别和预取分布的元数据服务器和令牌机制数据块管理块级锁信息生命周期管理存储资源池文件集合基于策略的自动化管理NFS集群在线升级TSM/HPSS支持提高服务水平、降低总体成本、管理潜在风险©2012IBMCorporationTechnicalComputing12GPFS的优势•可用性先进的仲裁管理机制，确保系统最大程度的可用性，没有单一故障点管理服务器在manager资源池内实现自动故障切换支持多路径磁盘访问，一条路径访问失败，可以通过其它路径实现，每个NSD可以支持8个NSDServer支持对元数据和用户数据做replication，保证系统稳定可靠RollingUpdate，不停机升级支持日志功能，实现系统快速恢复弹性最大可支持数千个节点的集群规模和数百GB每秒的IO吞吐量在不停止服务的情况下向集群添加和删除节点在不停止服务的情况下向文件系统加入和删除磁盘在不停止服务的情况下修改文件系统inode数目高性能文件存储采用条带化技术，单个文件跨节点和存储系统分布，提高并发访问性能智能预取机制，通过对文件访问模式的预测来进行预取，降低读写延迟分布式的ByteRange级锁管理，包括文件和目录两个级别，允许最大程度的并发访问分布式元数据服务器，避免元数据处理成为系统瓶颈支持客户端数据缓存，不同节点可以根据需要设置不同的缓存大小数据块的大小可自定义，16K,64K,256K,512K,1M，2M，4MNSD通信支持在InfiniBand高速网络上的RDMA通信方式©2012IBMCorporationTechnicalComputing13提供企业级的大数据存储基础设施13HighPerformanceStorageConnection高性能并行I/O所有节点可以同时并发访问所有数据GPFSGPFSGPFS多站点、跨平台数据全局共享企业级存储高密度存储近线存储分层存储和数据生命周期管理丰富的高可用性功能•仲裁管理和自动故障切换；•支持多路径磁盘访问；•支持元数据和用户数据的复制功能；•动态加入和移除节点或磁盘，可在线升级；•支持日志功能，实现系统快速恢复；©2012IBMCorporationTechnicalComputing14特性Comparison-GPFSvs.HDFSGPFS开源HDFS或其他方案健壮性无单点故障99.99%NameNode存在单点故障数据一致性高数据可能会丢失可扩展性数千节点，实测4000+数千节点POSIX兼容完全兼容有限数据管理能力安全、备份、快照、缓存、广域网复制有限传统应用性能好,兼顾读写性能随机读写性能差安全性支持ACL,容量限制，安全认证不支持©2012IBMCorporationTechnicalComputing15目前被广泛应用于商业和科研领域©2012IBMCorporationTechnicalComputing16FlexSystem——大数据的最佳平台©2012IBMCorporationTechnicalComputing17FlexSystem——大数据的最佳平台一切为了简化：降低整个产品生命周期的维护时间、人力、风险ExpertIntegratedSystemsFlexSystem计算节点Power2S/4Sx862S/4S存储节点V7000内置/外置管理节点可选网络10/40GbE,FCoE,IB8/16GbFC扩展能力PCIeStorage机箱14半宽节点模块化构建方式不断带来更多的价值最强大节点•Intel平台下最强大的处理器&内存组合•内置的exFLASH方案可支持更快的数据库和高IOPS应用最高端机箱•拥有最高的IO性能.40Gb以太网,16GbFC,56GbInfiniBandFDR•能够支持X86和UNIX异构平台最高级管理•一点管理：单“屏”监控多个IT系统；开箱即用：原厂安装，整体打包，简化部署•一个流程：Only一次即可完成整个IT系统的订购、跟踪、接受、安装、运行。最优化存储•异构存储资源整合，精简部署•自动分层©2012IBMCorporationTechnicalComputing18IBM公安行业大数据解决方案IBM大数据软件方案：系统资源整合平台IBM大数据软件方案：低延迟、高可用查询/分析引擎查询应用IBM大数据软件方案：查询/分析优化、支持套件非结构化数据结构化数据卡口网吧民航火车客运人口案件涉案话单通讯录文档图片网络日志半结构、临时及其它数据异构廉价服务器/内置存储高速网络离线存储支持异构，如x86,PowerCPU架构等构建于InfiniBand,10GB以太网等高速网络与离线存储互动，管理完整数据生命周期管理主机、文件系统、存储等，为上层提供整合的计算能力及统一文件视图分析统计应用SQL接口SQL接口SQL接口其他可扩展应用对企业所有结构化、非结构化数据，及其它数据提供分布式高效存储高效率大数据引擎具备企业级高可用，安全机制针对不同应用深度优化提供业界标准访问接口开放架构，支持各种应用类型，全面解决企业大数据痛点©2012IBMCorporationTechnicalComputing19ibm.com/bigdataibm.com/smarteranalytics19©2012IBMCorporationTechnicalComputing20SalesTools•Wikicatalogofsalesresources••PlatformSymphonyPresentations•PlatformSymphonyWhitepapers•PlatformSymphonyMapReduceBenchmarks(presentationform)•PlatformSymphonySTACPerformancereport(expectedOctober)•Onlinedemonstrations••IBMPlatformComputingSalesKit•