Oracle大数据解决方案

大数据(BigData)：您准备好了吗？有关大数据的讨论“在大数据的汪洋大海中乘风破浪”ITBusinessEdge—2011年9月6日“大数据十分重要之原因”InfoWorld—2011年9月1日“大数据—挑战和机遇共存”McKinsey季刊—2011年5月“借助Hadoop驾驭大数据”Businessweek—2011年9月7日“大数据将改变旅游业的十个原因”Tnooz—2011年8月15日“大数据的美好前景”IntelligentUtility—2011年8月28日何谓大数据？4V数据量Volume速度Velocity多样性Variety值Value社交博客智能计量101100101001001001101010101011100101010100100101大数据特点-4个V•巨大的数据量Volume•集中储存/集中计算已经无法处理巨大的数据量•数据量呈指数增长：地震，录井•石油钻塔的传感器一个月产生的数据量比全球所有的电影加在一起还要多•新浪微博用户数2.5亿+，高峰每天几亿条•非结构化数据无固定格式变化多Variety•文本/图片/视频/文档等，如诸如微地震，电磁以及光纤分布式温度监测（DTS）•并发极高，增长速度很快Velocity•用户基数庞大/设备数量众多/实时海量/数据指数级别增长•充分利用消息价值Value•每个钻井平台有40,000传感器,但是通常只有10%的数据使用到•每个深水钻井平台的投资可达到$150M,能有效利用所有的数据非常关键,关系到安全与优化运营石油行业大数据应用•海上石油钻井平台传感器取得的监控信息•对传感器收集到的信息的做到实时捕获•将数据传送到中央处理机的能力•对图像，音频，视频等信息有效存储和管理•实时监控生产和钻井情况•预测设备故障，制定运维方案•减少非计划维护时间和次数•减少生产损失，使得设备发挥更高的性能•为生产创造更加安全的环境传统DW难以处理大数据•大数据的4V特点：Volume,Variety,Veloctity,Value•传统DW系统不适用于大数据的分析•数据量过于庞大，集中存储/集中计算很难获得令人满意的效果•绝大部分数据是垃圾，全部放入DW中是对资源的浪费•传统DW在应对大数据的多样化格式上比较吃力•需要革新性的技术手段•海量数据“分而治之”------批量分布式并行计算Hadoop•海量数据“灵活多变”------实时分布式高并发数据存取处理NoSQL•海量数据“跨越鸿沟”------大数据超高速装载进数据库利用大数据进行更好的决策大数据的实际应用分析决策捕获组织捕获所有可用数据大数据的实际应用分析决策组织捕获大数据捕获面临的挑战需要频繁更改应用程序需要处理大数据量、低密度的信息必须横向扩展以满足急剧扩张的部署计划数据增长迅速大量非结构化信息，对灵活性要求高数据量大，规模效应OracleNoSQL数据库键值对数据库动态数据模型高度可伸缩、高度可用透明负载平衡基于BerkeleyDB而构建节点东部节点西部节点中部节点NoSQL驱动程序应用程序NoSQL驱动程序应用程序…节点…读取删除读取更新NoSQL到底是什么？--不需要SQL的非关系数据库例：我们要描述学生的所有信息？SQL+关系数据库学号姓名地址爱好1爱好2爱好...爱好N001张三北京有无有002李四上海无无有……00M王麻子广州有无无其实通常情况下，我们会设计学生基本信息表，爱好表，学生爱好对照表三张表；如果地址不止一个呢？还要设计地址表，学生地址对照表因此，共需要5张表来描述NoSQL数据库学生1：姓名：张三地址：北京，上海爱好：爱好1，爱好N学生2：姓名：李四地址：北京爱好：爱好N学生M：姓名：王麻子地址：广州爱好：爱好1无模式限制，格式自由，灵活。适合非结构数据存储查询大数据的实际应用分析决策组织捕获OracleNoSQL数据库以高度并行的方式组织和提取大数据大数据的实际应用分析决策捕获组织大数据组织和提取面临的挑战希望避免编写大量Hadoop代码必须将大数据转换为易于分析的内容需要将数据快速载入Oracle数据仓库Hadoop到底是什么？---核心是Map/Reduce例：我们要数图书馆中所有书名中含“Oracle”的数量，怎么数效率最高？你数1号书架，我数2号书架。我们人越多，数书就更快。这就是map。最后我们到一起，把所有人的统计数加在一起。这就是Reduce。……一号书架二号书架三号书架N号书架……+MapReduce对海量非结构数据的这样一种分布式并行处理架构，就是Hadoop的实质，与我们熟悉的数据库技术不同Map/Reduce管道移位/排序移位/排序MAPMAPMAPMAP移位/排序REDUCEREDUCE移位/排序移位/排序REDUCEREDUCEREDUCE输入2输入1输出2输出1MAPMAPMAPMAPMAPREDUCEREDUCEREDUCEMAPMAPMAPMAPMAPMAPREDUCEREDUCEMAPMAPMAPMAPMAPREDUCEREDUCEREDUCEHadoop架构管理/监视Hadoop分布式文件系统(HDFS)MapReduce采用冗余存储的分布式文件系统Map/Reduce编程范式高度可伸缩的数据处理能力针对大数据量、低密度数据的经济高效的模型获取---HadoopDistributedFileSystem•冗余存储的分布式文件系统•可靠并高度可伸缩的数据存取能力•针对大数据量、低密度数据的经济高效文件系统Hadoop和地震数据处理•地震调查数据通常都保存在磁带上.•如果地质学家希望核实历史结果，或研究新的处理技术的有效性，数据必须被copy回磁盘–影响到地质学家的工作进度，以及工作过程中能做多少比较–需要尽可能将更多的数据在线存放以有利于分析Hadoop和地震数据处理•Hadoop是一种经济，高效，稳定可靠的PB级别数据的在线存储系统•可以将地震数据处理中最消耗I/O的部分移到Hadoop集群上来执行–释放传统数据仓库集群上的宝贵空间和计算能力–在磁盘上保存更多的数据，以做在线分析•SeismicHadoop是一个Cloudera的开发项目–如何在Hadoop集群中保存和处理地震信息.OracleDataIntegrator通过图形化工具降低Hadoop复杂度OracleDirectConnectorforHDFS从Oracle数据库直接访问HDFS上的数据SQL直接访问HDFS外部表视图数据查询和导入DCH外部表DCHDCHSQL查询InfiniBandHDFS客户端HDFSOracle数据库大数据的实际应用分析决策捕获组织OracleNoSQL数据库OracleDataIntegratorOracleLoaderforHadoopOracleDirectConnector立即分析所有数据大数据的实际应用分析决策捕获组织分析大数据分析面临的挑战希望使用R语言进行统计分析需要访问所有数据通过便携机进行分析速度较慢且不安全R统计编程语言开源语言和环境用于统计计算和统计绘图能够轻松制作出版级高质量图表高度可扩展OracleREnterprise更快可伸缩高度安全在数据库中运行模型可处理大型数据集发挥OracleDatabase11g和Exadata的强大能力代码相同，而速度更快ROracleRConnectorforHadoop客户端/数据库服务器R引擎ORCHHadoop集群Oracle大数据机/Hadoop服务器R引擎ORCH驱动包ORE客户端包*Hadoop集群MapReduce节点HDFS节点ORE客户端包*ORCHClouderaCDH大数据的实际应用分析决策捕获组织分析OracleNoSQL数据库OracleEnterpriseManagerOracleDataIntegratorOracleLoaderforHadoopOracleDirectConnectorOracleREnterpriseOracleRConnector根据实时大数据进行决策大数据的实际应用分析捕获组织决策根据大数据进行决策面临的挑战希望在BI信息板中添加新的大数据智慧大数据已转换为可操作的智慧如何在信息板中快速集成R分析？大数据分析•OracleExadata和数据库中内嵌R分析功能•OracleBusinessIntelligence集成R分析‒在BI信息板中嵌入R脚本的web接口‒图表将传入BI信息板Oracle面向大数据的集成解决方案体系捕获OracleNoSQL数据库HDFS企业应用程序组织Hadoop(MapReduce)OracleLoaderforHadoopOracleDataIntegrator决策分析应用程序分析数据库中的分析数据仓库OracleLinuxJavaHotspotVMClouderaDistributionofHadoopClouderaManagerOracleRDistributionOracleNoSQL数据库OracleBigDataConnectorOracleDataIntegratorforHadoopOracleLoaderforHadoopOracleDirectConnectorforHDFSOracleRConnectorforHadoopOracle大数据机软件18个SunX4270M2服务器每节点48GB内存=864GB内存每节点12个Intel内核=216个内核每节点36TB存储=648TB存储40Gb/秒InfiniBand10Gb/秒以太网Oracle大数据机硬件完整的Oracle大数据解决方案体系OracleBigDataApplianceOracleExadataInfiniBand捕获组织分析InfiniBandOracleExalytics决策