Track1-3詹翔—面向金融行业的大数据基础架构解决方案30

企业级大数据平台解决方案-ForGBBankingPlatformComputing：詹翔Email：[e-mail]:13501014091目录：深入浅出大数据金融服务行业大数据应用场景大数据平台能力需求企业级大数据平台解决方案方案优势及竞争分析成功案例与更多资源大数据的产生与技术传承时效性灵活性人产生的数据流程导向的数据机器产生的数据传统业务数据处理域业务分析与优化域业务分析与优化域并行计算云计算物联网移动互联网1.从业务层面讲大数据，即人类为了提升自身的竞争力，不断提升获取、管理和增值数据能力的过程。2.从技术层面讲大数据，融合多种技术手段，大数据是为了解决大用户以及大系统的问题。OLTP大数据的业务范畴以及所面临的四大挑战大数据交互大数据处理大数据接口OLAP大数据交易DB2OracleSQlServerSybaseInformix…TeradataNetezzaEssbaseGreenplum…社交媒体数据其它交互数据微博Web2.0电商舆情导航…点击流图像/文本科学计算医疗/治药移动终端传感器…HDFS、GPFS、MapReduce、SOA3、如何连接异构数据。4、如何存储和处理大数据。2、如何保障数据实效性。1、如何保证数据的安全性大数据的技术范畴与释疑计算密集型应用数据密集型应用虚拟化技术典型技术：并行计算典型场景：风险分析财务分析典型技术：分布计算典型场景：MPP典型技术：IaaS典型场景：动态分配及调整资源狭义的大数据范畴广义的大数据范畴狭义的大数据，指为了应对非结构化数据提取、处理和增值，并可以线形水平扩展所采用的分布式计算技术。广义的大数据，为了应对计算密集和数据密集负载的挑战，运用虚拟化的优势，解决大用户和大系统问题。集群技术1、大数据≠Hadoop2、大数据由大用户和大系统产生，大数据带来的是数据处理、数据存储和数据洞察的挑战。3、大数据的挑战需要依靠并行计算、分布式计算以及虚拟化技术等多种技术来应对。4、Hadoop仅仅是分布式计算中的一种开源架构。开源软件的安全性，可靠性，可服务性有待确认。5、PlatformComputing通过实现了分布式计算的同时，还实现了并行计算框架，以及对虚拟化的支撑。能够完整有效应对大数据的挑战。6、PlatformComputing以多种方式接驳Plug-In和现有应用，不需要对应用进行重新开发或开发量可控。7、影响大数据进入传统行业的瓶颈所在在于数据的一致性和完整性，在这方面GPFS（FPO）远优于HDFS。8、PowerLinux因为具备更高的单机处理能力、更灵活和安全的虚拟化划分方式，更好的RAS特性和更大的I/O带宽。更适用于企业级的大数据环境中进行集群和部署。9、我们提供一整套企业级大数据解决方案目录：深入浅出大数据金融服务行业大数据应用场景大数据平台能力需求企业级大数据平台解决方案方案优势及竞争分析成功案例与更多资源Source:Q23“Inwhichareasdoyouplantoimproveyourabilitytodrawmeaningfulandexecutableinsightsfromavailableinformation?”(Globaln=1609to1658)(Banking&FMn=200to213)未来金融领域投资的重点均与大数据有关中小金融机构重点需求大金融机构重点需求金融流程导向的数据机器产生的数据金融干系人产生的数据金融服务业大数据应用的特征与模式数据量大实时性要求强非结构化数据数据量大到应用传统方法处理代价太大或无法处理要求实时或准实时处理实时数据挖掘文本数据图像数据GPS数据数据环境复杂有计算密集应用有数据密集应用应用SOA技术提供数据服务金融领域通用大数据应用需求及场景想象下一家金融公司面临扩展业务的挑战：在交易方面有巨大交易量，同时需要保存、访问和搜索大规模非结构化数据以满足监管目的。很多银行可能坐在数据金矿中而全然不知，相反这些数据就像是个黑洞：信息进入，但从来没有出来过。1.信用卡使用行为分析2.风险控制3.风险管理平台4.下一代数据分析平台5.历史全量数据分析6.快速风险评估7.ETL过程加速8.票据合规分析9.其它需要加速的业务场景……共享计算网格实时风险管理实时客户洞察大数据平台解决方案适用于金融信息化建设各阶段基础设施完善1342渠道拓展业务优化与创新管理与控制共享计算网格实时风险管理实时客户洞察目录：深入浅出大数据金融服务行业大数据应用场景大数据平台能力需求企业级大数据平台解决方案方案优势及竞争分析成功案例与更多资源传统的应对大数据挑战的方式并行SOA应用在线应用,面向任务,低延时数据密集应用MapReduce,内存计算计算密集应用风险管理，数据挖掘批量调度SOA调度数据调度关键指标：浮点运算能力单位时间完成作业数量高吞吐支撑不同类型的应用，需要不同的任务调度机制，应对不同的硬件基础设施，满足不同的关键性能指标。综合多种技术应对大数据挑战并行SOA应用在线应用,面向任务,低延时数据密集应用MapReduce,内存计算计算密集应用风险管理，数据挖掘并行中间件技术关键指标：浮点运算能力单位时间完成作业数量高吞吐IBMPlatformComputing平台在灵活共享的PowerLinux基础设施上提供混合负载的支持。虚拟化技术并行文件处理技术企业级大数据解决方案软件选型IBMPlatformSymphonyIBMPlatformComputing平台在PowerLinux上提供混合负载的支持。PowerLinuxGPFS（FPO）并行SOA应用在线应用,面向任务,低延时数据密集应用MapReduce,内存计算计算密集应用风险管理，数据挖掘企业级大数据平台所需具备的能力存储能力计算能力调度能力异构平台支持能力多样数据支持能力接口支持插件支持应用支持安全体系标准体系运维体系分布式计算能力应用能力管理能力并行计算能力虚拟化能力技术能力连接异构数据存储和处理大数据保障数据实效性目录：深入浅出大数据金融服务行业大数据应用场景大数据平台能力需求企业级大数据平台解决方案方案优势及竞争分析成功案例与更多资源企业级大数据平台的核心部件大数据存储系统大数据运行系统PlatformComputingPowerLinuxGPFS（FPO）大数据IT基础设施企业级大数据平台解决方案=+PlatformComputing（大数据运行系统）+GPFS（FPO）（大数据存储系统）+PowerLinux（大数据基础设施）+Service（大数据服务）大数据服务大数据计算和调度平台(与能力映射)存储能力虚拟化管理能力硬件平台资源管理计算调度接口支持应用支持插件支持文件系统/数据存储连接层企业级MapReduce（SymM-R）低延迟SOA网格（Sym）MPIDDTVB6/COMPlatform资源管理基础架构(EGO)MPPDatabaseRelationalDatabaseDistributedCache(Gemstone)GPFSHDFS资源整合组件HBASE金融交易、风险评估、定价基于策略、分布式、高可用运行时平台EXEs数据转换、统计、分析、商业智能生物医疗仿真互联网内容分析制造业设计仿真数据挖掘机器学习In-houseapplicationsInfoSphereDataStagePageRankingClickStreamTextAnalyticsIndexingData-awareScheduling公有云适配器PowerDirectorEGOWSAPIIT资源管理监控PowerLinux企业级大数据平台体系架构通用配置层区分配置层图例：ManagementHardwareMgtNode:7R1(8Core,32G)DataNode:7R1(8Core,64G,24Disk)ISV/BPAPPSystemRedhadLinuxvirtualizationPowerDirector/PCMAEPowerVMforPowerLinuxMidllewareSymphonySOAFrameworkMapReduceFrameworkInterfaceEXEsDeploymentMonitoringSecurityBackup&RecoveryFileGPFS(FPO)C\C++CrossLanguageComputeNode:7R1(8Core,64G)目录：深入浅出大数据金融服务行业大数据应用场景大数据平台能力需求企业级大数据平台解决方案方案优势及竞争分析成功案例与更多资源方案优势与竞争分析-需要重点与客户强化的6个要点我们给客户提供的是具备大数据处理能力和存储能力的企业级分析云平台。BigAnalyticsCloud1、企业级解决方案中所有核心组件均为商业软件，不受任何开源协议限制，有效保护企业核信息化资产的安全和产权。2、功能全用MR框架实现数据密集型应用的基础上，还能支撑计算密集型应用，以及虚拟化的支持。3、好维护提供丰富的管理和监控界面，对任务、资源、虚拟化进行管理和调优。4、性能强吞吐量：17,000任务每秒。每个应用支持核数：10,000并发量：1,000每个应用服务重新分配量：2,000实例每秒5、能集成提供多种接口，编程语言及插件的支持，便于二次开发和与现有应用的集成。6、有保障解决方案核心组件的研发团队全在中国，可以更好的为中国客户提供各类定制化大数据服务。友商方案的核心都是开源Hadoop，可能有产权问题友商方案仅能支持数据密集型应用友商方案缺乏对任务、资源及虚拟化的有效管理友商方案任务调度能力差，多应用多集群支持能力差友商方案需要耗费大量人力资源进行二次开发和优化友商方案核心部件为开源，面对复杂问题或架构问题，缺乏有效支持PlatformMapReduce&HadoopMapReduce比较HadoopMapReducePlatformMapReduceJavaAPI√√(Compatible)Streaming(scriptAPI)√√C++API(Pipes)√√OpenArchitectureofDataSource√√Datacompression√√Webbasedworkloadmonitoring√√Highshortjob/taskperformanceX√IOenhancementX√HighAvailabilityX√ScalablearchitectureX√(multipleSSM)Tieredworkload/resourcemanagementX(beta)√(matured)ClusteringmonitoringandmanagementX√WebbasedworkloadmanagementX√ReportforjobandtaskX√Light-weight√√GPFS(FPO)&HDFS比较GPFS（FPO）HDFSRobustNosinglepointoffailureNameNodevulnerabilityDataIntegrityHighEvidenceofdatalossScaleThousandsofnodesThousandsofnodesPOSIXComplianceFull–supportsawiderangeofapplicationsLimitedDataManagementBackup,Snapshot,Caching,Wide-areaReplicationLimitedSecurityGoodLimitedTraditionalApplicationPerformanceGoodPoorperformancewithrandomreadsandwritesNameNode(Metadatastore)NodesHDFSClusterOperatingSystemNodesGPFS-FPOClusterKernelLevelG