大数据洞察与业务发展前瞻

大数据业界洞察与行业发展前瞻BigDataBusinessExploration吴建应用组，江西移动大数据运营部AboutMe•吴建•江西移动大数据运营部应用组负责人•江西移动高级产品专家•工信部认证高级信息分析师•工信部认证数据挖掘分析师indexDataistheGameChanger“数学世界观”：大数据的实质“他山之石”：众多成功企业案例总结大数据经营成功要素“行业借鉴”：大数据业界洞察与行业发展前瞻“协作创新”：江西移动蓝色经济活跃指数大数据应用专题2大数据改变了网球公开赛观赏性TrackingmomentumwithRealtimeanalyticsRecordKeystotheMatch34WhatisBigData数学世界观应用于人类社会的实践与探索——量化记录+模型还原+规律发现DNA测序数学描绘人类社会爱因斯坦《广义相对论》薛定谔量子理论牛顿《自然哲学的数学原理》毕达哥拉斯学派的“数既万物”5数据的概念除了传统IT数据外,更包括来自互联网的社交媒体数据和来自传感器物联网（IoT）的数据,后两者将来的占比和作用更大90008000100到2015年，全球互联的设备数将是全球全部人口的两倍。所有的感应数据均有不确定性。全球数据量单位（Exabytes)700060005000400030002000100009080706050403020102005不确定，不准确的百分比社交媒体的总账户数将超过全球人口的总数。从陈述和内容上看，这些数据也有很大的不确定性。数据质量管理方案对企业内部数据比如客户，产品以及地址信息持续治理，但是这只是企业全部数据中的一小部分。企业内部数据Multiplesources:IDC,Cisco2010201521E=1024P什么是大数据？大数据分析与传统数据分析有什么不同?• 定义大数据更⼲广的信息范围新的数据与分析类型实时信息来⾃新技术的数据非传统形式的媒体大数据量最新流行词社交媒体数据*2012年IBM对95个国家中26个⾏行业的1144名专业⼈人员调查结果3结构化数据：存在于关系数据库中，多年来一直主导着IT应⽤；半结构化数据：包括电子邮件、文字处理⽂件以及⼤量发布在网络上的新闻等，以内容为基础，这也是谷歌和百度存在的理由；非结构化数据：广泛存在于社交⺴网络、物联网、电⼦商务之中。伴随着社交网络、移动计算和传感器等新技术不断产⽣生，有报告称，超过80%的数据属于非结构化数据。• • IBM将“大数据”理念定义为4个V，即数量（Volume）、多样性（Variety）、速度（Velocity）及数据的准确性（Veracity）。本质上,大数据分析提供如下有别于以往的能⼒力:全量数据考察vs局部数据考察!更全⾯面的分析,做出正确的判断T+0实时分析vsT+1事后分析!更迅疾的反应,捕捉稍纵即逝的机会更深刻的洞察医疗保健数据政府与教育数据大数据的未来是怎样？试想每个设备都在产生数据，但其中数据有80%是非结构化数据，计算机是无法辨识的，对企业用处有限。99%到2017年的非结构化增长率数据的比例88%94%到2017年的增长率政府与教育数据来自：84%非结构化数据的比例医疗保健数据来源包括：患者传感器电子医疗记录检测结果车队传感器交通传感器学生评价到2020年，全球平均每人每分钟产生公用事业数据媒体数据1.7MB的新数据。93%到2017年的增长率公用事业数据来自：84%非结构化数据的比例97%到2017年的增长率媒体数据来自：82%非结构化数据的比例公用事业传感器5员工传感器位置数据视频和影片图像音频5大数据价值的显现？–分析能力和挖掘能力最佳解决⽅方案是什么?各种数据的综合性开放式分析会带来什么样的业务价值？业务突破如果当前业务趋接下来会势保持不变,会怎发⽣生什么?么样?认知分析数据探索差异性优势业务价值发⽣生此情况的根本原因在哪里?有多少发⽣生?多久出现此情况?什么地⽅方发⽣生的?发⽣生了什么?需要采取什么⾏行动?预警分析预测分析挖掘模型竞争性优势OLAP分析BigInsightsAnalyst基础分析报表即席查询分析复杂度描述性分析预测性分析探索性分析认知分析indexDataistheGameChanger“数学世界观”：大数据的实质“他山之石”：众多成功企业案例总结大数据经营成功要素“行业借鉴”：大数据业界洞察与行业发展前瞻“协作创新”：江西移动蓝色经济活跃指数大数据应用专题2大数据整体发展趋势：商业、数据科学、云化成为新一轮发展的推动力Business技术驱动-商业驱动大数据商业模式创新爆发式增长BusinessDataScienceTechnologyTechnologyDataScience20002007201220142017人工智能将会为大数据分析带来本质的变革2020SourceFrom：Accenture、Gartner趋势分析报告•Business：大数据从技术驱动转变为商业驱动，企业经营优化和数据资产变现成为主要诉求，预计2017年基于大数据的商业模式创新(BigDataAsAService、数据交易）将会爆发式增长DataScience：数据科学从简单的统计分析到认知计算，利用机器学习（深度学习、认知计算、人工智能）提升大数据分析的生产效率，并应用到生产和生活中去将会在2017年逐步显现Technology：数据处理技术经过2010-2012年的疯狂发展，将会逐步标准化、云化，成为类似于RDBMS的通用的IT软件基础设施，但大规模并行计算运维仍然会成为关键壁垒开放合作生态，应用百花齐放，企业经营的创新应用和面向行业的数据分析服务需要多方协作，实现“群体智能”。分析智能化，知识化，生产力真正从技术专家迁移到业务人员手中，实现从“人的智能”转向“人工智能”。技术平台化、服务化（云化），成为能力可协作共享的关键，从低层次的经验共享到深度的软件定义的知识复制，大幅度提升资源利用效率和协作效率。••Page3大数据技术发展趋势：技术炒作从高峰转向低谷，更加关注大数据的价值•••全球大数据市场未来5年翻番，急剧增长，Wikibon预计到2020年，全球大数据市场达610亿美元（不含传统数据仓库），CAGR：26%自然语言解析、智能问答、机器学习、IoT、可穿戴设备、数据安全等领域成为大数据应用的重点dwPaaS开始由低谷转向复苏期，代表BigDataasaService模式的投资力度加大Page4数据科学发展趋势：基于业务理解的知识体系构建成为发展的重点百度构建理解业务语意的智能分析和决策服务——百度大脑，已达3-4岁儿童的智力水平IBMWatson构建以认知计算和知识库为核心的分析竞争力业务洞察的演进趋势面向数值业务统计面向数值业务预测理解业务语义业务知识推理智慧Know-whyKnow-what用户洞察的演进趋势消费习惯洞察静态兴趣洞察实时兴趣洞察知识用户行为预测和推理专业理解实践经验信息工具、方法数据的变化趋势结构化数据文本数据多媒体数据数据整合、组织、存储DIKW体系Page5大数据商业发展趋势：数据商品化加速IDC预计到2019年全球90%的大企业将会进行数据交易据日本市场研究协会(JMRA)统计显示，企业参与的日本数据交易的市场规模每年约为2200亿日元2015年国内主要数据交易平台江苏省大数据交易平台2015年8月贵阳大数据交易所成立GBDE中关村大数据交易平台上线DATA+北京大数据交易平台上线2014年11月2015年7月2015年4月2014年大数据收入，2.9亿元。其中政府、传媒行业1.23亿元自建独立的大数据中心，数百台服务器对新闻、论坛、微博等多种类型互联网数据进行7*24小时不间断实时采集，具备上千亿数据量的数据索引、挖掘分析和存储能力，可支撑政府、企业、媒体、金融、公安等多行业用户的舆情分析云服务。TRS数据中心监测采集源上百万个，日采集和处理数据超过5000万条武汉光谷大数据交易平台成立阿里妈妈DMP：62万家网站通过阿里妈妈网站联盟为卖家提供广告服务。2013年这些广告带来交易额超过600亿元，这些网站获得的分成达到47亿元Page6大数据投资趋势——正在加速从基础设施向分析领域转移观点••分析领域的投资主要聚焦在四个方向：OperationalIntelligence（含实时分析领域），下一代的商业智能云化、BDaaS、生态合作是初创公司选择的主流运营模式Company12DomoMongoDBHamburg-basedKreditechGroupInsideSales.comDataminrMarkLogicSumoLogicBirstGuavus3456789BigDataInvestmentMap（2014Q4–2015Q2）AreasTotalRaiseDescriptionproviderofacloud-basedbusinessmanagementplatform(ornext-Analytics$450Mgenerationbusinessintelligence)Infrastructure$311Mproviderofadocument-orienteddatabaseusingbigdataanalysisandmachinelearningtobuild“adigitalbankAnalytics$263Mfortheunscoredworldwide,”providerofcloud-basedpredictiveanalytics“salesacceleration”Analytics$199MplatformAnalytics$180MadataminingstartupInfrastructure$175.6MproviderofaNoSQLdatabaseAnalytics$160.5Mproviderofananalyticsplatformformachine-generateddataAnalytics$156Mproviderofcloud-basedbusinessintelligenceandanalyticsAnalytics$129Mproviderofbigdataanalyticsapplicationsforoperationalintelligencebuildingareal-timedataplatform(providesrealtimecontentdiscoverybylocationacrossmultiplesocialnetworks）providerof“machineintelligence”(dataminingwithTopologicalDataAnalysis)softwareprovidingcloud-basedbigdataanalyticsmobileanalyticsprovidingadvancedanalyticssoftwareabusinessintelligencestartupProvidingreal-timeandhistoricalsearch,aswellasreportsandstatisticalanalysisProvidinginteractivedatavisualizationproductsonBINBI★产品类型OIAppsCloud★★★★★★★★★★★101112131415**Page7BanjoAyasdiGoodDataAppAnnieAlteryxLookerSplunkTableauAnalyticsAnalyticsAnalyticsAnalyticsAnalyticsAnalyticsAnalyticsAnalytics$121M$106M$101.2M$94M$78M$48M已上市已上市★★★★★★★★★★★★★2014Q4-2015Q2期间还在进行融资，按照总融资排序后的TOP15,Source：Forbes大数据产业链发展趋势——基础