企业大数据指南51

企业BigData指南–方案架构与案例研讨陈育杰[e-mail]精诚集团Etu知意图资深事业发展总监精诚集团BigData事业精诚集团提供BigData解决方案的独立品牌在台北与北京设有研发与专业服务团队我们关注的不只是技术，更在意挖掘BigData对企业的商业价值透过软硬件一体的整合，大幅「简化」与「优化」企业处理BigData的种种问题精诚集团BigData事业意图与关联充满的BigData世界Etu帮您具体整合来呈现大数据(BigData)时代来临Structured•Database•Spreadsheet•FileinrecordformatSemi-structured•XMLDocs•Logs•Click-stream•Equipment/Device,RFIDtagUnstructured•WebPages•E-mail•Multimedia•InstantMessages•Documents移动互联网MobileInternet物联网InternetofThings4新量级、新处理模式、新企业智能BigData要解决的问题Volume海量的数据规模Variety多样的数据类型StreamsRealtimeNeartimeBatchTBPBEBStructuredUnstructuredSemi-structuredAlltheaboveValueVelocity快速的数据流转巨大的数据价值6SocialMediaMachine/SensorDOC/MediaWebClickstreamAppsCallLogLog什么是半结构化/非结构化数据BigData带来的挑战•不同“看”数据的方式•需要更高性价比的数据计算与储存方式•不同的数据管理策略•超越企业现有IT的数据解决能量7不同“看”数据的方式8可视：结构化资料15%未视：半/非结构化数据85%DB/DW主管们看的战情数位仪表板，其实是残缺的…10万GB10万TB需要更高性价比的数据计算与储存方式9数据库数据仓库计算更快存储更省85%半/非结构化的Log/Webpage/Email/PDF/Image/Full-text/MS-Officefile10不同的数据管理策略当我们想要扩充时，才发觉：•架构只能scale-up，scale-out不易•处理时间过长，time-to-value受限•成本过高，cost-efficiency受限15%结构化的DB/DW遗憾残缺每天几百GB、几TB的资料，且持续成长中储存Storing在收数据的同时做必要的前置处理(pre-processing)，并区分数据处理的优先等级(prioritizing)计算Processing如何有效的避免因硬件毁坏所导致的资料损毁管理Managing如何从中挖掘出所关注事件的pattern或behavior分析Analyzing超越企业现有IT的数据解决能量11大数据的储存与处理/运算大数据储存大数据处理数据分享数据检索数据分析数据展现分布式软件架构并行计算框架分布式存储横向扩容(Scale-out)架构什么是大数据处理(BigDataProcessing)WordcountHarryPorter(哈利波特)432,442LordVoldemort(佛地魔)134,209Dumbledore(邓不利多)72,982SeverusSnape(石内圤)28,252.......................................……...……………………….....……..•••••:1.5TB/dayHitcountabc.com812,490,299amazon.com232,934,490yahoo.com198,283,002cnn.com57,922,190.............................……………………………...…………HitCountWordCount什么是大数据处理(BigDataProcessing)•••••••••…………………………177.23.21.50--[15/Nov/2011:00:07:45]GET/flower_store/product.screen?product_id=FL-10(X11;U;Linuxi686;en-US;rv:1.8.0.10)Gecko/20070223CentOS/1.5.0.10-0.1.el4.centosFirefox/1.5.0.1016041667233.77.49.54--[15/Nov/2011:00:07:58]GET/flower_store/product.screen?product_id=K9-BD-01HTTP/1.1(X11;U;Linuxi686;en-US;rv:1.8.0.10)Gecko/20070223CentOS/1.5.0.10-0.1.el4.centosFirefox/1.5.0.1018032431i10.32.1.37--[15/Nov/2011:00:08:26]GET/flower_store/product.screen?product_id=FL-DSH-01HTTP/1(X11;U;Linuxi686;en-US;rv:1.8.0.10)Gecko/20070223CentOS/1.5.0.10-0.1.el4.centosFirefox/1.5.0.1010254463192.168.11.38-IPActionTimeServerURL###……….………..……………….……..…….……….………..……………….……..…….3rdpartypre-definedReportingFilterStringTruncationLogfile:1.5TB/day什么是大数据处理(BigDataProcessing)RDR_SEND_TIMERDR_TAGSUBSCRIBER_IDPACKAGE_IDSERVICE_IDPROTOCOL_IDSKIPPED_SESSIONSSERVER_IPSERVER_PORTACCESS_STRINGINFO_STRINGCLIENT_IPCLIENT_PORTINITIATING_SIDEREPORT_TIMEMILLISEC_DURATIONPROTOCOL_SIGNATURZONE_IDFLAVOR_IDStartdateStarttimeSessiontypeSourceIPSourcePortNATIPNATPortDestIPDestPortProtocalOutputIDStarttimeEndtimeSourceIPSourcePortDestIPDestPortProtocalUpstreamDownstreamURLJoin1.1TBper-day600GBper-day什么是大数据处理(BigDataProcessing)SequenceDe-Normalize177.23.21.50--[15/Nov/2011:00:07:45]GET/flower_store/product.screen?product_id=FL-10(X11;U;Linuxi686;en-US;rv:1.8.0.10)Gecko/20070223CentOS/1.5.0.10-0.1.el4.centosFirefox/1.5.0.1016041667233.77.49.54--[15/Nov/2011:0