大数据,你准备好了么

大数据(BigData)：您准备好了吗？2011年10月3日贺辉群[e-mail]大中华区销售咨询顾问部门以下内容旨在概述产品的总体发展方向。该内容仅供参考，不可纳入任何合同。该内容不构成提供任何材料、代码或功能的承诺，并且不应该作为制定购买决策的依据。所描述的有关Oracle产品的任何特性或功能的开发、发布和时间安排均由Oracle自行决定。有关大数据的讨论―在大数据的汪洋大海中乘风破浪‖ITBusinessEdge—2011年9月6日―大数据十分重要之原因‖InfoWorld—2011年9月1日―大数据—挑战和机遇共存‖McKinsey季刊—2011年5月―借助Hadoop驾驭大数据‖Businessweek—2011年9月7日―大数据将改变旅游业的十个原因‖Tnooz—2011年8月15日―大数据的美好前景‖IntelligentUtility—2011年8月28日何谓大数据？4V数据量Volume速度Velocity多样性Variety值Value社交博客智能计量101100101001001001101010101011100101010100100101大数据为何重要？信息来源：*McKinseyGlobalInstitute：―BigData–Thenextfrontierforinnovation,competitionandproductivity‖（2011年5月）美国医疗保健3000亿美元产值逐年增长美国零售60%净利润增长超过制造50%开发成本、装配成本降低全球个人位置数据1000亿美元服务提供商收入增长欧洲公共部门管理2500亿欧元产值逐年增长利用大数据进行更好的决策大数据的实际应用分析决策捕获组织捕获所有可用数据大数据的实际应用分析决策组织捕获视频大数据捕获面临的挑战大数据捕获面临的挑战需要频繁更改应用程序需要处理大数据量、低密度的信息必须横向扩展以满足急剧扩张的部署计划OracleNoSQL数据库键值对数据库动态数据模型高度可伸缩、高度可用透明负载平衡基于BerkeleyDB而构建节点东部节点西部节点中部节点NoSQL驱动程序应用程序NoSQL驱动程序应用程序…节点…读取删除读取更新大数据的实际应用分析决策组织捕获OracleNoSQL数据库以高度并行的方式组织和提取大数据大数据的实际应用分析决策捕获组织视频大数据组织面临的挑战大数据组织面临的挑战还希望对大数据进行分析拥有现有Oracle数据仓库不允许对数据仓库SLA产生负面影响分析沙盒提供分析工作区控制对资源和数据的访问不影响生产系统沙盒功能与OracleEnterpriseManager易于安装高效利用服务器安全、可伸缩通过付费进行自我管理适用于OracleExadata大数据的实际应用分析决策捕获组织OracleNoSQL数据库OracleEnterpriseManager视频大数据组织和提取面临的挑战大数据组织和提取面临的挑战希望避免编写大量Hadoop代码必须将大数据转换为易于分析的内容需要将数据快速载入Oracle数据仓库Hadoop架构管理/监视Hadoop分布式文件系统(HDFS)MapReduce采用冗余存储的分布式文件系统Map/Reduce编程范式高度可伸缩的数据处理能力针对大数据量、低密度数据的经济高效的模型Map/Reduce管道移位/排序移位/排序MAPMAPMAPMAP移位/排序REDUCEREDUCE移位/排序移位/排序REDUCEREDUCEREDUCE输入2输入1输出2输出1MAPMAPMAPMAPMAPREDUCEREDUCEREDUCEMAPMAPMAPMAPMAPMAPREDUCEREDUCEMAPMAPMAPMAPMAPREDUCEREDUCEREDUCEOracleDataIntegrator通过图形化工具降低Hadoop复杂度OracleLoaderforHadoop移位/排序移位/排序MAPMAPMAPMAP移位/排序REDUCEREDUCE移位/排序移位/排序REDUCEREDUCEREDUCE输入2输入1MAPMAPMAPMAPMAPREDUCEREDUCEREDUCEMAPMAPMAPMAPMAPMAPREDUCEREDUCEMAPMAPMAPMAPMAPREDUCEREDUCEREDUCE大数据的实际应用分析决策捕获组织OracleNoSQL数据库OracleEnterpriseManagerOracleDataIntegratorOracleLoaderforHadoop立即分析所有数据大数据的实际应用分析决策捕获组织分析视频大数据分析面临的挑战大数据分析面临的挑战希望使用R语言进行统计分析需要访问所有数据通过便携机进行分析速度较慢且不安全R统计编程语言开源语言和环境用于统计计算和统计绘图能够轻松制作出版级高质量图表高度可扩展只在用户便携机上存储和运行较小的数据模型R语言尚不适合企业环境的原因ROracleREnterprise更快可伸缩高度安全在数据库中运行模型可处理大型数据集发挥OracleDatabase11g和Exadata的强大能力代码相同，而速度更快R大数据的实际应用分析决策捕获组织分析OracleNoSQL数据库OracleEnterpriseManagerOracleDataIntegratorOracleLoaderforHadoopOracleREnterprise根据实时大数据进行决策大数据的实际应用分析捕获组织决策视频根据大数据进行决策面临的挑战根据大数据进行决策面临的挑战希望在BI信息板中添加新的大数据智慧大数据已转换为可操作的智慧如何在信息板中快速集成R分析？信息板分析•OracleBusinessIntelligence企业版‒高级信息板可视化‒运行BI和EPM应用程序•集成R分析‒在BI信息板中嵌入R脚本的web接口‒图表将传入BI信息板Oracle商务智能云服务器(Exalytics)硬件整体设计，卓越分析•40个Intel处理器内核•1TB主存•到OracleExadata的40GbInfiniBand连接OracleExalytics软件•OracleTimesTen内存数据库‒用于分析的自适应内存缓存‒内存列压缩‒与OracleExadata紧密集成‒支持快如闪念的可视化•OracleEssbaseInMemory•OracleBusinessIntelligenceFoundationSuiteOracle面向大数据的集成解决方案体系捕获OracleNoSQL数据库HDFS企业应用程序组织Hadoop(MapReduce)OracleLoaderforHadoopOracleDataIntegrator决策分析应用程序分析数据库中的分析数据仓库OracleLinuxJavaHotspotVMApacheHadoopDistributionRDistributionOracleNoSQL数据库OracleDataIntegratorforHadoopOracleLoaderforHadoopOracle大数据机软件18个SunX4270M2服务器每节点48GB内存=864GB内存每节点12个Intel内核=216个内核每节点24TB存储=432TB存储每秒40GbInfiniBand每秒10Gb以太网Oracle大数据机硬件通过企业大数据获得最大价值面向大数据的硬件和软件整合所有企业数据结构化和非结构化SQL和NoSQL最短的部署投产时间通过一家供应商获得全面的支持完整的Oracle大数据解决方案体系OracleBigDataApplianceOracleExadataInfiniBand捕获组织分析InfiniBandOracleExalytics决策