大数据方案与案例46

大数据(大数据)时代来临Structured•Database•Spreadsheet•FileinrecordformatSemi-structured•XMLDocs•Logs•Click-stream•Equipment/Device,RFIDtagUnstructured•WebPages•E-mail•Multimedia•InstantMessages•Documents移动互联网MobileInternet物联网InternetofThings1新量级、新处理模式、新企业智能大数据要解决的问题Volume海量的数据规模Variety多样的数据类型StreamsRealtimeNeartimeBatchTBPBEBStructuredUnstructuredSemi-structuredAlltheaboveValueVelocity快速的数据流转巨大的数据价值3SocialMediaMachine/SensorDOC/MediaWebClickstreamAppsCallLogLog什么是半结构化/非结构化数据大数据带来的挑战•不同“看”数据的方式•需要更高性价比的数据计算与储存方式•不同的数据管理策略•超越企业现有IT的数据解决能量4不同“看”数据的方式5可视：结构化资料15%未视：半/非结构化数据85%DB/DW主管们看的战情数位仪表板，其实是残缺的…10万GB10万TB需要更高性价比的数据计算与储存方式6数据库数据仓库计算更快存储更省85%半/非结构化的Log/Webpage/Email/PDF/Image/Full-text/MS-Officefile7不同的数据管理策略当我们想要扩充时，才发觉：•架构只能scale-up，scale-out不易•处理时间过长，time-to-value受限•成本过高，cost-efficiency受限15%结构化的DB/DW遗憾残缺每天几百GB、几TB的资料，且持续成长中储存Storing在收数据的同时做必要的前置处理(pre-processing)，并区分数据处理的优先等级(prioritizing)计算Processing如何有效的避免因硬件毁坏所导致的资料损毁管理Managing如何从中挖掘出所关注事件的pattern或behavior分析Analyzing超越企业现有IT的数据解决能量8大数据的储存与处理/运算大数据储存大数据处理数据分享数据检索数据分析数据展现分布式软件架构并行计算框架分布式存储横向扩容(Scale-out)架构什么是大数据处理(大数据Processing)WordcountHarryPorter(哈利波特)432,442LordVoldemort(佛地魔)134,209Dumbledore(邓不利多)72,982SeverusSnape(石内圤)28,252.......................................……...……………………….....……..•••••:1.5TB/dayHitcountabc.com812,490,299amazon.com232,934,490yahoo.com198,283,002cnn.com57,922,190.............................……………………………...…………HitCountWordCount什么是大数据处理(大数据Processing)•••••••••…………………………177.23.21.50--[15/Nov/2011:00:07:45]GET/flower_store/product.screen?product_id=FL-10(X11;U;Linuxi686;en-US;rv:1.8.0.10)Gecko/20070223CentOS/1.5.0.10-0.1.el4.centosFirefox/1.5.0.1016041667233.77.49.54--[15/Nov/2011:00:07:58]GET/flower_store/product.screen?product_id=K9-BD-01HTTP/1.1(X11;U;Linuxi686;en-US;rv:1.8.0.10)Gecko/20070223CentOS/1.5.0.10-0.1.el4.centosFirefox/1.5.0.1018032431i10.32.1.37--[15/Nov/2011:00:08:26]GET/flower_store/product.screen?product_id=FL-DSH-01HTTP/1(X11;U;Linuxi686;en-US;rv:1.8.0.10)Gecko/20070223CentOS/1.5.0.10-0.1.el4.centosFirefox/1.5.0.1010254463192.168.11.38-IPActionTimeServerURL###……….………..……………….……..…….……….………..……………….……..…….3rdpartypre-definedReportingFilterStringTruncationLogfile:1.5TB/day什么是大数据处理(大数据Processing)RDR_SEND_TIMERDR_TAGSUBSCRIBER_IDPACKAGE_IDSERVICE_IDPROTOCOL_IDSKIPPED_SESSIONSSERVER_IPSERVER_PORTACCESS_STRINGINFO_STRINGCLIENT_IPCLIENT_PORTINITIATING_SIDEREPORT_TIMEMILLISEC_DURATIONPROTOCOL_SIGNATURZONE_IDFLAVOR_IDStartdateStarttimeSessiontypeSourceIPSourcePortNATIPNATPortDestIPDestPortProtocalOutputIDStarttimeEndtimeSourceIPSourcePortDestIPDestPortProtocalUpstreamDownstreamURLJoin1.1TBper-day600GBper-day什么是大数据处理(大数据Processing)SequenceDe-Normalize177.23.21.50--[15/Nov/2011:00:07:45]GET/flower_store/product.screen?product_id=FL-10(X11;U;Linuxi686;en-US;rv:1.8.0.10)Gecko/20070223CentOS/1.5.0.10-0.1.el4.centosFirefox/1.5.0.1016041667233.77.49.54--[15/Nov/2011:00:07:58]GET/flower_store/product.screen?product_id=K9-BD-01HTTP/1.1(X11;U;Linuxi686;en-US;rv:1.8.0.10)Gecko/20070223CentOS/1.5.0.10-0.1.el4.centosFirefox/1