大数据技术概述40

1版权所有©2012，Oracle和/或其分支机构。保留所有权利。2版权所有©2012，Oracle和/或其分支机构。保留所有权利。大数据技术概述3版权所有©2012，Oracle和/或其分支机构。保留所有权利。以下内容旨在概述产品的总体发展方向。该内容仅供参考，不可纳入任何合同。该内容不构成提供任何材料、代码或功能的承诺，并且不应该作为制定购买决策的依据。此处所述有关Oracle产品的任何特性或功能的开发、发布以及相应的日程安排均由Oracle自行决定。4版权所有©2012，Oracle和/或其分支机构。保留所有权利。议题•大数据—定义•大数据的典型构建块•Oracle大数据机•OracleBigDataConnectors•OracleNoSQL数据库•用例演示•问答5版权所有©2012，Oracle和/或其分支机构。保留所有权利。大数据定义6版权所有©2012，Oracle和/或其分支机构。保留所有权利。大数据：针对新数据零售决策存储Web搜索社交网络目录/呼叫中心展望“未来”“我认为”“我希望”回顾“过去”“存在于”7版权所有©2012，Oracle和/或其分支机构。保留所有权利。时间业务价值大数据：挑战与机遇利用大数据提升业务价值→高度多样化→量大→高度复杂→高速度大数据现在→深度分析→运营影响→高度可伸缩性→实时明天挑战大数据平台8版权所有©2012，Oracle和/或其分支机构。保留所有权利。从大数据中挖掘价值构建大数据平台9版权所有©2012，Oracle和/或其分支机构。保留所有权利。•实时•流数据•运营影响•深度分析•敏捷开发•高度可伸缩性•高吞吐量•就地准备•所有数据源/结构•可预测的低延迟•高事务数•灵活的数据结构大数据：基础架构要求获取组织分析决策10版权所有©2012，Oracle和/或其分支机构。保留所有权利。不统一的解决方案体系获取分析组织MapReduce解决方案DBMS(DW)DBMS(OLTP)高级分析分布式文件系统事务（键值）存储ETL动态模式数据多样性模式COTS专家引擎DIY专家引擎决策11版权所有©2012，Oracle和/或其分支机构。保留所有权利。Hadoop到Oracle—消除鸿沟获取分析组织HadoopMapReduceHDFSHBaseRDBMS(OLTP)RDBMS(DW)高级分析ETLBigDataConnectors动态模式数据多样性模式COTS专家引擎DIY专家引擎决策12版权所有©2012，Oracle和/或其分支机构。保留所有权利。Oracle集成软件解决方案体系获取分析组织Oracle数据库(DW)Oracle数据库(OLTP)In-DB分析“R”挖掘文本图形空间OracleBIEEOracleNoSQL数据库HDFSClouderaCDHOracleBigDataConnectors动态模式数据多样性模式实时决策复杂事件处理决策13版权所有©2012，Oracle和/或其分支机构。保留所有权利。Oracle集成设计的系统获取分析组织Oracle数据库(DW)Oracle数据库(OLTP)In-DB分析“R”挖掘文本图形空间OracleBIEEOracleNoSQL数据库HDFSClouderaCDHOracleBigDataConnectors动态模式数据多样性模式大数据机•ClouderaCDH•HBase|Hive等•ClouderaManager•NoSQLDatabase(CE|EE)•BigDataConnectorsOracle商务智能云服务器•思维速度的分析Oracle数据库云服务器•OLTP和DW•DataMining和OracleR•语义•空间14版权所有©2012，Oracle和/或其分支机构。保留所有权利。Oracle大数据机硬件概述15版权所有©2012，Oracle和/或其分支机构。保留所有权利。获取、组织、分析所有数据Oracle数据库云服务器获取组织分析和可视化流Oracle商务智能云服务器Oracle大数据机OracleBigDataConnectorsEndecaInformationDiscovery16版权所有©2012，Oracle和/或其分支机构。保留所有权利。18个SunX4270M2服务器每节点48GB内存=864GB内存每节点12个Intel内核=216个内核每节点36TB存储=648TB存储ClouderaCDHClouderaManager开源的RDistributionOracleNoSQLDatabase（CE或EE）OracleBigDataConnectors*Oracle大数据机*单独许可—在BDA上预装和预配置17版权所有©2012，Oracle和/或其分支机构。保留所有权利。为何构建Hadoop设备？•构建时间？•所需优化？•维护成本和难度？18版权所有©2012，Oracle和/或其分支机构。保留所有权利。Oracle大数据机软件概述19版权所有©2012，Oracle和/或其分支机构。保留所有权利。为获得最佳性能而预装、预优化的软件：OracleLinux5.6JavaHotspotVMClouderaCDHClouderaManager开源的RDistributionOracleNoSQLDatabaseCEOracleBigDataConnectors*Oracle大数据机软件*单独许可的软件，可在BDA上预装和配置20版权所有©2012，Oracle和/或其分支机构。保留所有权利。为何选择ClouderaCDH？•由Cloudera测试–开源但有管理–丰富的管理和配置GUI工具–市场上最受欢迎的Hadoop版本•关键特性发展快–由业界的Hadoop专家构建–实用而不深奥–专注大型集群所需•经过广泛验证–用于Hadoop所有大用户的生产环境–在这些环境中极为稳定21版权所有©2012，Oracle和/或其分支机构。保留所有权利。ClouderaCDH版本详细信息•ApacheHadoop•ApacheHive•ApachePig•ApacheHBase•ApacheZookeeper•ApacheFlume•ApacheSqoop•ApacheMahout•ApacheWhirr•ApacheOozie•Fuse-DFS•Hue有关最新详细信息，请访问：：+ClouderaManager22版权所有©2012，Oracle和/或其分支机构。保留所有权利。Hadoop软件布局（主节点）•节点1：•主：NameNode、Balancer和HBaseMaster•从：HDFSDataNode、NoSQLDBStorageNode*•节点2：•主：SecondaryNameNode、ClouderaManager、Zookeeper、MySQLSlave•从：HDFSDataNode、NoSQLDBStorageNode*•节点3：•主：JobTracker、MySQLMaster、ODIAgent、HiveServer•从：HDFSDataNode、NoSQLDBStorageNode*•为利用第一批机架主节点如NameNode而配置的后续机架213*可选配置23版权所有©2012，Oracle和/或其分支机构。保留所有权利。Oracle大数据机支持概述24版权所有©2012，Oracle和/或其分支机构。保留所有权利。Hadoop支持•CDH版本由Cloudera托管和测试•所有客户支持都通过Oracle提供•包括Hadoop在内，BDA上的所有组件都共享一个联系点•通过Oracle获得更新、补丁等•CDH更新后进行季度更新•Cloudera修复错误和回归测试•利用自己的BDA进行测试•由Oracle完成所有补丁的集成测试25版权所有©2012，Oracle和/或其分支机构。保留所有权利。BDA的硬件支持可选：•标准集成设计系统支持服务•标准操作系统支持服务两者均：•全面支持硬件和操作系统和•全面支持BDA上的Hadoop体系说明：BigDataConnectors和NoSQLDB是单独许可的产品26版权所有©2012，Oracle和/或其分支机构。保留所有权利。OracleBigDataConnectors软件概述27版权所有©2012，Oracle和/或其分支机构。保留所有权利。OracleBigDataConnectors实现Hadoop与Oracle数据库和Oracle数据库云服务器的优化集成•OracleLoaderforHadoop•OracleDirectConnectorforHadoopDistributedFileSystem(HDFS)•OracleDataIntegratorApplicationAdapterforHadoop•OracleRConnectorforHadoop•不需要大数据机—可为非Oracle硬件上运行的Hadoop颁发许可28版权所有©2012，Oracle和/或其分支机构。保留所有权利。OracleLoaderforHadoopMapReduce工作流的最后阶段分区表和未分区表在线和离线加载SHUFFLE/SORTSHUFFLE/SORTREDUCEREDUCEREDUCEMAPMAPMAPMAPMAPMAPREDUCEREDUCEOracleLoaderforHadoop使用集群29版权所有©2012，Oracle和/或其分支机构。保留所有权利。OracleDirectConnectorforHDFS从Oracle数据库直接访问对HDFS的SQL访问外部表视图数据查询或导入DCHDCHDCHDCH外部表DCHDCHDCHDCHDCHDCHDCHDCHSQL查询InfiniBandHDFS客户端HDFSOracle数据库30版权所有©2012，Oracle和/或其分支机构。保留所有权利。OracleDataIntegrator简化MapReduce自动生成MapReduce代码管理进程加载到数据仓库OracleLoaderforHadoopOracleLoaderforHadoopOracleDataIntegratorOracleDataIntegrator31版权所有©2012，Oracle和/或其分支机构。保留所有权利。32版权所有©2012，Oracle和/或其分支机构。保留所有权利。OracleRHadoopConnector实现对Hadoop的本地R访问OREORE客户端主机R引擎Hadoop集群软件R引擎MapReduce节点HDFSOracle大数据机Oracle数据库云服务器R引擎OREOREORHCORHCORHCORHC本地RMapReduce本地RHDFS访问33版权所有©2012，Oracle和/或其分支机构。保留所有权利。OracleNoSQL数据库34版权所有©2012，Oracle和/或其分支机构。保留所有权利。分布式、可伸缩键值对数据库OracleNoSQL数据库•简单数据模型•键值对为主键+次键模式•读取/插入/更新/删除操作•可伸缩性•动态的数据分区和分布•通过智能驱动优化的数据访问•高可用性•一个或多个副本•通过副本定位实现灾难恢复•对主故障灵活分区•无单点故障•透明的负载平衡•从主数据库或副本读取•驱动程序可感知网络拓扑和延迟存储节点数据中心A存储节点数据中心BNoSQLDB驱动程序应用程序NoSQLDB驱动程序应用程序35版权所有©2012，Oracle和/或其分支机构。保留所有权利。企业大数据大数据机•优化、全面–具备存储和整合低信息密度数据所需的一切•与Oracle数据库云服务器集成•分析所有数据•易于部署–无风险，快速安装和设置•单一供应商支持–Oracle全面支持整个系统和软件集合36版权所有©2012，Oracle和/或其分支机构。保留所有权利。大数据用例演示37