企业大数据解决方案_大数据企业架构分析21

大数据企业架构讨论案例研究：智慧交通大数据实时处理和分析目的：提高城市交通的科学管理和组织服务水平业务目标•智能交通数据的有力支撑•智能交通公共信息服务的实时传递和快速反应的应急指挥•智能交通业务联动快速应对变化•可视化事件跟踪挑战•近千万辆轿车、轨道交通、快速公交系统•高并发事件及数据流的实时处理•海量非结构化大数据的组织与分析•压力传感器传感•速度传感器器•生物传感器•温度、湿度……RFID•射频天线扫描•电子标识摄像•高速拍照头•高清摄像头3车地双向实时无线通信网数传电台政府专网InternetGPRS/CDMA/3G/Wi-Fi/WiMax光纤TCP/IP公路可视化综合信息平台雷达测速GIS公共交通运营管理平台监控车次号识别紧急救援CBTC旅行时间路径识别城市综合信息管理平台通信ETCPIS信号BRT公交调度管理电警接处警卡口交通诱导信号控制出行者信息系统视频监控智能停车场电子站牌事件检测用户服务政府企业个人公共感知层/信息采集网络层/信息传输应用层/信息处理水运综合管理平台ITS智能交通物联网平台交通行业信息服务智能交通整体规划架构铁路综合管理平台4•深度分析•敏捷开发•高度扩展性•实时分析结果•大吞吐量•实时准备•所有的数据源及数据结构•低延时•高并发的交易•高度灵活的数据结构数据获取数据传输数据处理数据是智能交通的核心数据获取数据传输数据处理People.Process.Portfolio.Discussion实时事件处理—概念图解业务场景•重要车辆监控•交通诱导•出行者信息•技术机遇•实时处理大数据量•合并历史事务和实时事务架构决策•实时流•利用现有分析•最大限度地减少数据移动实时批处理流（CEP引擎）警报•BPEL•移动•信息板•数据库NoSQLHDFS实时分析数据流实时数据源CEPRDBMS实时位置NOSQL外部数据库黑名单小型机历史事务备份历史配置文件RDBMS事务历史数据源计算配置文件实时事务（基于消息）Hadoop集群事件处理规则和结果关联和分析—概念图解NoSQLBI平台与分析业务机会•行车路线建议•信号控制•交通流量分析技术选择•将缩减结果集成到关系数据库•构建另一个环境•手动关联架构决策•使用集成元数据•使用标准BI平台•最大限度地减少数据移动数据仓库数据集市数据库中的分析MapReduceHDFS实时处理和分析—逻辑图解关键组件•Oracle大数据机•OracleExalogic•OracleCEP/Coherence•OracleSOASuite•Oracle大数据连接器•OracleExadata•OracleAdvancedAnalytics•OracleExalytics•OracleBIFoundationOracle大数据机Oracle大数据连接器OracleExadataOracleExalyticsInfiniBandInfiniBandOracleAdvancedAnalyticsOracleBIHDFS和NoSQLMapReduceCEP/SOACoherence消息流OracleExalogicPeople.Process.Portfolio.Discussion问题•请为自己公司/单位设计一个大数据的解决方案。分组讨论结束之后，每组派一到两个代表上来讲一下这个方案•A)公司里存在哪些数据•结构化/多结构化/大小/实时数据/流式数据•公司是否已经应用了非关系型数据库•B)那些业务考虑引入大数据•C)有了这些大数据，如何设计公司的大数据平台•D)公司数据的问题或者远景•企业的数据架构远景岳‘.＿←..’...＠。同ACL1a:.a吕.S案例：Facebook数据仓库架构Hadoop@Facebook世界上第二大Hadoop集群用于处理log和dimensiondataUseCase•从大量数据中产生每天和每小时的汇总.•在历史数据中执行adhocjobs•事实上作为一个长期的数据归档•根据特定属性来查找log,可用于维护站点的一致性，保护用户免受垃圾邮件影响13HadoopMap/Reduce实时分析—真实情况•Realtime(msec/sec)•Nearrealtime(Min/Hours)•Batch(Days..)Hadoop/Hive..Notrealtime.Manydependencies.Lotsofpointsoffailure.Complicatedsystem.Notdependableenoughtohitrealtimegoals(AlexHimel,EngineeringManageratFacebook.)“WiththepathsthatgothroughHadoop[atYahoo!],thelatencyisaboutfifteenminutes.…Itwillneverbetruereal-time..”(YahooCTORaymieStata)MapReduceandotherbatch-processingsystemscannotprocesssmallupdatesindividuallyastheyrelyoncreatinglargebatchesforefficiency,“(GoogleseniordirectorofengineeringEisarLipkovitz)实时分析—传统的分析应用•垂直扩展(Scale-up)数据库–使用传统的SQL数据库–使用存储过程生成事件驱动报表–使用闪存盘，以减少磁盘I/O–使用只读副本横向扩展(ScaleOut)只读查询•限制：–无法写扩展–昂贵的成本(HW&SW)实时分析—ComplexEventProcessing(CEP)•当数据到来时立即处理数据•维护内存数据窗口•优势：–延迟极低(mS级)–相对低的成本•劣势：–难于扩展(横向扩展局限)–不敏捷（查询必须预生成）–实现非常复杂实时分析—InMemoryDataGrid•分布式内存数据网格•横向扩展(Scaleout)•优势：–读/写可扩展–适合事件驱动(CEPstyle),ad-hoc查询模式•劣势：–相比磁盘，内存成本昂贵–内存容量有限实时分析—NoSQL•使用分布式数据库–Hbase,Cassandra,MongoDB•优势：–读/写可扩展–海量数据支持–弹性•缺点：–读延迟，实时性差–弱数据一致性–不成熟-非常新的技术Facebook实时分析系统（实时+批量）MemoryGridPTailPuma3Facebook实时分析-Putalltogether•内存数据网格•实时处理网格–轻量级事件处理–Map-Reduce–事件驱动–代码随数据执行–基于交易–安全–弹性NoSQL数据库–低成本存储–读/写扩展能力–动态扩展–裸数据和汇总数据部分网站大数据实时分析架构Storm+Pig+Vertica+Cassandra+MySQLS4+HBase/Cassandra+MySQLKafka+Dynamo+MySQL