利用Oracle信息模型驾驭大数据王宇德55

利用Oracle信息模型驾驭大数据王宇德DerekWang博士企业架构师[e-mail]免责声明以下内容旨在概述产品的总体发展方向。该内容仅供参考，不可纳入任何合同。本演示不承诺提供任何材料、代码或功能，也不应将其作为购买决策的依据。Oracle有权自行决定任何产品的特性或功能的开发、发布和时间安排。LevelExampleStructuredRelationaldatabaseSemi-structuredXMLdatafilesQuasi-structuredTextdocumentsUnstructuredImagesandvideoAnewclassofproblemshasemergedwhichdemandsanabilitytoacceptandmanagedatawithoutadvancedknowledgeofitsstructureorformat.NonStructured结构化…非结构化大数据在IT行业的发展趋势企业需求：实时分析分析:IT的下一个前沿议题•认识大数据•采用EA方法•架构功能•案例研究驾驭大数据认识大数据当前设计点：数据量、多样性、高速度每天1亿次每年10亿名访问者网络交易电子商务每天100万次图片上传索赔分析保险每天100亿次设备同步消费者1000万个仪表每小时上传公用事业每天2000万次监视医疗卫生大数据特性•巨大的数据量Volume•集中储存/集中计算已经无法处理巨大的数据量•多结构化数据Variety•文本/图片/视频/文档等•增长速度很快Velocity•海量数据的及时有效分析•用户基数庞大/设备数量众多/实时海量/数据指数级别增长•价值密度低Value•单条数据并无太多价值，但庞大的数据量蕴含巨大财富VOLUMEVELOCITYVARIETYSOCIALBLOGSMARTMETERVALUE101100101001001001101010101011100101010100100101媒体/娱乐访问者通信呼叫、内容应用程序教育与科研建模消费品舆情、地点、设备医疗保健个人传感器监视生命科学临床试验基因组工业制造质量高科技制造执行系统石油与天然气勘探金融服务欺诈安全性汽车传感器零售消费者行为航空与国防性能旅游与运输每小时20TB保险个性化保险公共部门计量经济学公用事业智能量表各行各业的用例电子商务网站行为面临的挑战：数据量、高速度、多样性大数据为什么重要?•视频和图像•文档•社交数据•机器生成数据AfterBigDataBeforeBigData决策基于交易型数据决策基于所有的数据驾驭大数据当一切数据尽在掌握，您会有怎样不同的作为？业务挑战真正的业务挑战•“建模有效性”•常识还是科学？–认知心理学–行为心理学–计量经济学、统计学–决策科学识别模式—预测行为大数据预测信息来源：*McKinseyGlobalInstitute：“BigData–Thenextfrontierforinnovation,competitionandproductivity”（2011年5月）美国医疗保健3000亿美元产值每年增长美国零售60+%净利润增长超过制造–50%装配成本降低全球个人定位数据1000亿美元服务提供商收入增加欧洲公共部门管理2500亿欧元产值每年增长表联接复杂性数据更新模式模式复杂性总数据量响应速度单位作业数据量处理自由并发作业大数据分析传统RDBMS通用数据处理1000结构化仅追加非结构化事务性100个表交互式批处理100PB10PB1PB100TBSQL100TB批处理10PB1PB100PB识别大数据平衡点OracleCEP大数据，不仅仅只是Hadoop和NoSQL+类OLAP+ETL+Storage随机存取+Storage狭义广义StormBigDataConnectorOracleNoSQL结构化数据的大数据处理OracleExadata,结构化大数据分布式处理的典范大数据：挑战转化为机遇业务价值→高度多样性→大数据量→高速度大数据现状→深度分析→高敏捷性→高度可伸缩性→实时将来挑战大数据平台20报表/KPI分析/挖掘延时实时/近实时部分数据‘大’数据从获取到存储、分析、挖掘、展现实时集成、即时分析、企业级结构化与非结构化，海量数据封闭开放数据与能力的开放，新的商业模式大数据能力创新的方向大数据将作为2012年的下一个“必备”能力占有一席之地。IDC（2011年12月）Oracle面向大数据的集成解决方案获取OracleNoSQL数据库Cloudera与Hadoop组织Oracle大数据连接器决策分析应用程序分析数据库中的分析数据仓库交互式发现企业应用OracleExadataOracleExalyticsOracle大数据平台汇集获取组织分析和可视化Oracle大数据机Oracle大数据连接器针对分析负载进行了优化“记录系统”针对DW/OLTP进行了优化针对Hadoop、R和NoSQL处理进行了优化完备的数据管理和处理体系–多结构化文件数据源RDBMS数据源事件数据源其他数据源数据源层分布式文件收集系统消息/事件系统数据采集交换系统数据收集层集中式文件系统分布式文件系统结构化存储灵活存储数据存储层批量计算（离线处理）流式计算（实时/准实时处理）实时计算（实时处理）数据计算层数据整合数据整合层数据库数据仓库灵活数据存储系统数据智慧层商务智能报表系统交互式分析实时仪表盘数据洞察层数据应用消费平台数据消费层数据共享、数据服务数据探索商务智能报表系统交互式分析实时仪表盘数据洞察层最全面最强的Oracle数据管理和处理体系文件数据源RDBMS数据源事件数据源其他数据源数据源层日志收集系统消息/事件系统数据采集交换系统数据收集层集中式文件系统分布式文件系统结构化数据库灵活存储数据存储层批量计算（离线处理）流式计算（实时/准实时处理）实时计算（实时处理）数据计算层数据整合数据整合层数据库数据仓库灵活数据存储系统数据智慧层数据应用消费平台数据消费层数据共享、数据服务BDA/FlumeODI+GG+SOAWebLogic/OEPZFS/PillarASMLustreBDA/HDFSOracleNoSQLDBBDA/HBaseExadataTimesTen/CoherenceOracleNoSQLDBExadata/OREBDA/HadoopMapReduce/ROEPRTDTimesTenCoherenceBigDataConnector/ODI/GG/MDMBDA/SqoopExadata/Oracle/MysqlExadata/OracleOracleNoSQlDBBDA/HBaseBDA/HiveExalogicCoherence/SOA/ODI/GGExalytics/BIEE/EssbaseOracleBAMEM12cIDMECMWebCenterBPM数据探索EndecaOracle数据收集解决方案Oracle数据存储解决方案Oracle数据整合解决方案Oracle数据智慧解决方案Oracle数据消费解决方案Oracle数据洞察解决方案Oracle数据管理\协作\安全\内容解决方案Oracle数据处理解决方案议题•认识大数据•采用EA方法•架构功能•案例研究驾驭大数据您的企业架构•应对风险–技能–体验–投资架构师的新兴领域之路•处理解决方案–可行性–时间–成本•实现目标–与价值保持一致–利用流程–利用基础架构架构师的企业计划方法信息架构能力模型数据种类•主数据•事务处理•参考•分析•元数据•非结构化•大数据多样数据领域共享和交付BI和数据仓库集成内容管理主数据管理企业数据模型治理安全性基础架构挑战：利用协同效应大数据，集成架构。分析决策获取组织人员•流程•产品组合大数据架构功能新增与结构化数据关联对您信息架构的影响新增针对非常详细的数据的分析方法新增更大的信息量，多样性处理•极度可伸缩•硬件便宜•动态数据模型•统计•可视化•迭代•共享元数据•利用现有技能•统一信息板•实现数据共享–通过松耦合实现灵活性–清晰的语义和接口•管理风险–安全–质量实现业务价值–无竖井一个关键的信息架构原则Oracle大数据架构事务管理安全、治理高级分析可视发现DBMS(OLTP)主数据和参考结构化仓库文本分析和搜索报告和信息板实时机器生成社交媒体文本、图像、视频、音频NoSQL非结构化半结构化报警数据库中的分析EPMBI管理软件基于消息ETL/ELTChangeDCODS流（CEP引擎）获取组织分析决策Hadoop(MapReduce)专业的硬件HDFS数据内存中分析RDBMS集群大数据集群高速网络文件大数据分析发展流程传统BI大数据要求数据模型元数据集成报告信息板变更请求选择数据源探索结果识别模式优化模型新问题一个问题假设大数据的角色和技能大数据科学家•行业专业知识•分析技能大数据工程师•Hadoop/Java•非关系型数据库敏捷性和对价值的专注大数据治理•明确定义•全面•一致•精确•易于理解对质量和实用性的不断追求•及时•相关•准确•可访问•可审计•可验证•经济实惠人员•流程•产品组合大数据架构案例分析挑战：实现低成本的大量数据挖掘挑战：结合实时数据和历史数据挑战：与结构化数据关联架构决策案例分析适用于所有行业的案例分析数据探索目的：在线购物的购物车转化率•减少购物车丢弃•改善搜索响应转化•改善推荐引擎•增加结账时的追加销售业务目标•每天2000万次页面浏览•每天的Web日志量达10TB挑战方案1Hadoop技能数据挖掘—概念图解Hive工具方案1：•Hive客户端安装•命令行工具方案2：•通过DBMS挂载HDFS•没有客户端架构考虑因素•无数据移动•利用数据库功能和性能•利用现有SQL技能方案2SQL技能DBMSHDFSSQL工具HDFS数据挖掘—逻辑图解关键组件•Oracle大数据机或其他HDFS解决方案•Oracle大数据连接器•Oracle数据库外部表•SQLDeveloper•OracleBI企业版Oracle大数据机Oracle大数据连接器OBIEE（大数据分析）OracleSQLDeveloper（任何SQL工具）或者或者外部表案例研究：金融服务诈骗实时警报目的：运行中分析和措施•跨多个实时信息流关联复杂的风险标准•实时响应运营目标•变更数据源和结构•非实时的复杂评估•源每日可增加10TB或更多挑战源分析暂存查询结果实时警报—概念图解技术机遇•实时处理大数据量•合并历史事务和实时事务架构决策•实时流•利用现有分析•最大限度地减少数据移动实时批处理流（CEP引擎）警报•BPEL•移动•信息板•数据库NoSQLHDFS实时分析数据流实时数据源CEPRDBMSNOSQL外部数据库黑名单大型机历史事务备份历史配置文件RDBMS事务历史数据源计算配置文件实时位置实时事务（基于消息）Hadoop集群事件处理警报和结果实时警报—逻辑图解关键组件•Oracle大数据机•ClouderaManager•OracleNoSQL数据库•OracleEDA—CEP•OracleSOA—BAM•OracleSOA—BPEL流（CEP引擎）BAM信息板BAM警报BPEL流程OracleEDA/SOASuiteOracle大数据机（带Hadoop和NoSQL）案例研究：保险公司大数据关联和分析目的：富有竞争力的创新—个性化保险•让利消费者行为•提供在线透明度•备用产品实时风险分析业务目标•2000万辆汽车•每天10亿条同步记录•开发可靠的统计模型挑战汽车保险费习惯平稳停车急刹车80%5%路程最远10英里11至50英里50英里以上50%20%5%位置城市高速公路75%25%事故近18个月0对保险费的影响(2400)关联和分析—概念图解NoSQLBI平台与分析业务机会•个性化保险技术选择•将缩减结果集成到关系数据库•构建另一个环境•手动关联架构决策•使用集成元数据•使用标准BI平台•最大限度地减少数据移动数据仓库数据集市数据库中的分析MapReduceHDF