大规模非结构化数据的云计算技术和解决方案(2)

VersantInnovation云计算与大数据----新一代数据管理技术VersantCorporationU.S.Headquarters255ShorelineDr.Suite450,RedwoodCity,CA94065|650-232-2400RedwoodCity,CARedwoodCity,CA大数据（标准定义）大数据管理——时代的挑战（一）•数据管理发展到今天，最大的挑战是：–高负荷下的海量数据管理以及复杂业务数据处理•IDC研究表明：–　全球的数据产生量仅在2011就达到1.8ZB(或1.8万亿GB)，相当于每个美国人每分钟写3条Twitter信息，总共写2.6976万年；–　未来十年的全球数据存储量将增长50倍。•海量数据管理不仅仅要求“量大”，而且，在数据量快速增加的同时，客户对数据服务水平、服务种类的要求却是越来越高。•主要有两类情况：–一类是原有数据种类量的增加–另一类是过去我们没有关心或没有能力关心的数据：如Weblog，社交媒体，实时位置，智能设备、传感器计量等复杂业务数据最关键的是，现在大多数企业无法从这些数据中抽象出CEO关心的有价值的数据大数据管理——时代的挑战（二）•挑战海量管理能力复杂业务模型变化快高可用性低成本高可扩展性传统上熟悉的数据管理技术，从模型，性能，成本，扩展等方面，都很难应对！！！不同技术处理大数据的能力分布式计算之MapReduce•开源•相对易于掌握，将大型分布式计算推广到“平民”•Hadoop与MapReduce框架被证明更易实现面向多结构大数据的、传统SQL无法执行的更丰富的分析功能•其精巧的设计，也使大数据的很多分析与计算性能在低成本的条件下得到极大的提高•另外，以Versant为代表的商用MapReduce也是一个较重要的发展方向优势•HDFS可靠性巩众所周知•开源产品没有企业级的多任务调试处理机制保证•多版本运行无法支持，严重影响企业级业务•高并行的任务运行能力差•急需企业级的MapReduce，但这并不会免费！问题HadoopMapReduce……NoSQL数据库•开源•海量数据管理能力，低成本，高性能，水平扩展•不受关系模型约束，建模简单，支持各种自由结构、文档数据的管理优势•NoSQL数据库大多牺牲一致性C，得到高可用性A和高分布性P。（也有通过集中与分布架构结合，实现强一致性），有牺牲必有弱点，不是万能•难支持复杂的业务模型建模（如银行核心数据模型）•难支持强事务性业务需求（如银行与电信核心交易系统）•其架构设计及MapReduce难支持实时要求的大表关联查询，以及复杂数据分析类型的复杂SQL报表查询（如复杂的BI查询需求）•目前的成功案例主要集中在互联网应用中：数据模型简单，数据量大，一致性和事物要求低，响应体验要求高问题HBASECassandraMongoDBCouchDB……关系型数据库•结构化数据存储•开放式SQL语言•庞大的开发群体优势•无法支持复杂数据结构•无法很好的支持非结构化数据•无法适应业务逻辑的快速变化•无法适应大数据高并发•以单数据库服务器应用为主，很难实现分布式部署，需要手工建立分布式模型问题OracleSybaseDB2……MySQL/PostgreSQL联邦•目前确实出现了一些以MySQL联邦架构成功实现有大数据与高负荷要求的企业核心业务的案例（如淘宝）•设备投入成本低，开源优势•使用MySQL联邂架构对业务有如下要求：•不做较复杂的表Join处理•不出现分布式事务的处理•MySQL联邦架构能否工作，与客户业务特点密切关系，必须具体问题具体分析，它人的经验无法复制•MySQL联邦只节省设备与软件Licence投入，但自开发与后期维护要求极强技术力量与投入，总体拥有成本对公司不一定划算问题FederatedMySQLFederatedPgSQL……新一代高性能分布式数据库产品ComputeNode2ComputeNode3ComputeNode4ComputeNode1ComputeNodeɳVersantParallelThreadExecutionOnComputeNodesVersantVersantVersantVersant•符合现代复杂业务模型的需求•高于现有技术几十倍的性能提升•FreeScale技术带来无限扩展•支持结构化和非结构化数据•应对大数据时代的挑战产品信息开发者资源注册用户论坛咨询和培训资源