大数据发展概况及行业解决方案43

大数据发展概况及行业解决方案分享目录1理解大数据2大数据业界解决方案及典型应用概览移动互联时代，数据爆发性增长•在60秒内，YouTube会上传48小时的视频；Google会收到2000000次搜索请求；Facebook的用户会分享684478条信息；•目前世界上90%以上的数据是最近3年才产生的；•2009年0.8Z，每年将增长50%，每两年便将翻一番，而预测全球的数据使用量到2020年会增长44倍，达到35.2ZB(1ZB=10亿TB)；数字宇宙大数据的主要来源•较少：传统IT，企业业务系统，门户网站；15%；•较多：社交网络兴起，大量的UGC(用户自生成内容)内容、音频、文本信息、视频、图片，非结构化数据出现了；•最多：物联网的数据量更大，加上移动互联网能更准确、更快地收集用户信息，比如环境、位置、生活信息等数据；•并处于急剧加速的趋势；231什么是大数据Wiki百科：大数据（BigData）是指那些超过传统技术处理能力的数据。它的数据规模和转输速度要求很高，或者其结构不适合原本技术存取、处理。IDC：大数据，通常是指解决问题的一种方法，即通过收集、整理生活中方方面面的数据，并对其进行分析挖掘，进而从中获得有价值信息，最终衍化出一种新的商业模式。实体角度广泛意义大数据的主要特征：4V多样化高速化精确化海量化Volume：大数据体量巨大每天25TB日志数据每天上传168TB视频每天9500万条8201120122015全球数据存储量（ZB）2.71.81086420•数量也许是与大数据最相关的特征；•从TB级别，跃升到PB、ZB级别；•前所未有的规模和加速趋势；Variety：大数据的多样性数据形式的多样•结构化数据，数据间有很强的因果关系；•半结构化数据，数据间因果关系较弱；•非结构化数据，数据间无因果关系；数据来源的多样性•不同的应用系统•各种设备•互联网•其它Velocity：大数据处理速度要求越来越高•大数据与海量数据的一个重要区别，在于不仅数据尺寸大，而且对数据处理的响应速度有着更高的要求；•处理速度快，1秒定律；•传统的以周，天，小时为单位的运算处理周期，下降到以分钟，秒为单位；•大数据高价值的重要体现-处理速度；信用卡欺诈检测：通过分析每个客户的历史用卡行为，使用欺诈检测模型实时来检测每一笔交易是否异常。案例Veracity：精确化，大数据低价值密度的高精确要求•数据不确定性。例如人的感情，天气形势，经济因素，环境信息等。•价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。•精确性是大数据最重要的特性，体现价值；•客观的数据体毫无意义；•精确是对大数据方法的要求和挑战，第5V，大数据的价值大数据的核心，第5V：Value；eBay精准在线营销•Ebay有1.8亿个活跃用户，有3.5亿左右的商品被销售，每天会产生2.5亿次搜索，拥有的原始数据是10PB；•用户行为模式+用户基本信息，更精准的定位客户，感知客户购物需求，促成在线交易率；•新浪微博+淘宝；QQ；美国海啸预警•日本大地震发生后仅9分钟，美国国家海洋和大气管理局（NOAA）就发布了详细的海啸预警，制作的海啸影响模型出现在YouTube等网站；•NOAA的快速反应基于其全球范围内庞大的海洋传感器网络，获取全球范围的海洋信息，并对获得的实时数据进行计算机模拟。•NOAA的数据中心存储着超过20Pb的数据，是美国政府最大的数据库之一。•数据进行专业化处理，并与已知的现实相融合，洞察运营，促进和创新；数字石油；•数据回报率=数据价值/数据成本；•全球大数据市场规模从今年的148.7亿美元增长到2018年的463.4亿美元。我们在信息的海洋里淹死了，却在知识的海洋里渴死了。大数据带来的主要挑战和机遇数据存储；处理能力；实时响应；业务价值；传统的IT架构和技术已经不能适应大数据的处理需求；大数据的发展历程•早在1980年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据赞颂为“第三次浪潮”；•全球知名咨询公司麦肯锡最早提出“大数据”时代到来；•从2009年开始，“大数据”才成为互联网信息技术行业的流行词汇；•2012年出版的《大数据时代》，对大数据进行系统、明确的阐述；•2012年3月，美国政府投资2亿美元启动“大数据研究和发展计划”，美国政府认为大数据是“未来的新石油”，将“大数据研究”上升为国家意志。•我国尚未提出国家层面的大数据战略，在十二五的规划中把大数据作为物联网的相关关键技术提及；•EMC、惠普、IBM、微软在内的全球IT巨头纷纷布局大数据；今年最大的收购案都与大数据相关：Oracle对Sun、惠普对Autonomy;•状态：大数据相当于2010年左右的云计算：概念火热，摸索实践，落地较少；大数据的市场前景12011年-2016年中国大数据市场规模22014年各行业大数据市场规模计世资讯预测，2014年政府、互联网、电信、金融的大数据市场规模较大，四个行业将占据一半市场份额。公共服务（环保、交通）；移动互联电子商务；由于各个行业都存在大数据应用需求，潜在市场空间非常可观。计世资讯认为，2011年是中国大数据市场元年，一些大数据产品已经推出，部分行业也有大数据应用案例的产生。2012年-2016年，将迎来大数据市场的飞速发展。计世资讯预测，2012年中国大数据市场规模将达到4.7亿元，2013年大数据市场将迎来增速为138.3%的飞跃，到2016年，整个市场规模逼近百亿。十二五规划落地，4G；大数据与传统经分（BI）•结构化数据•数据规模一般为TB规模•集中式为了分析进行大量数据移动，数据向计算靠近•样例抽样，批处理为主•结构化/非结构化混合分析的能力•数据规模从数十TB到PB级别•分布式，计算向数据靠近•全量，支持流式分析•实时性要求高，1秒定律；具有最深的血缘关系大数据与云计算•当今最火的两个概念，互相融合；•云计算使大数据成为可能，大数据靠云计算技术实施和落地；•大数据在于对海量数据的挖掘和处理，传统技术无法支撑，它必须依托云计算的分布式处理、分布式数据库、云存储和/或虚拟化技术；•大数据比云计算更宜落地；•商业模式驱动vs应用需求驱动大数据与云计算是天作之合目录1理解大数据2大数据业界解决方案及典型应用概览-大数据的企业实践方法-大数据的行业趋势热点-大数据的业界解决方案-大数据的典型应用案例企业大数据应用的四重奏企业大数据实践的演进路线认识和学习探索和规划落地和实践执行和推广内容•建立知识库；•意识和知识培养和积累；•从技术和业务价值等角度；•个人、单元进行知识收集，而非正式的组织•注重知识积累与市场观察；􁌀􁌀•相关技术的实验性应用；•企业大数据战略蓝图：数据角色，技术方向，投资回报；•企业大数据演进路线：基于业务需求，分步骤优先级处理数据，部门，业务域；􁌀􁌀•在有限范围内，落地大数据项目；•验证技术、战略和业务方向；•人力、技能、经验积累；•形成企业级标准规范；􁌀􁌀•扩大范围，大规模使用大数据应用；•大数据常态化，重点聚焦业务运营和创新；•提升、优化数据分析能力；􁌀􁌀企业大数据实践的演进路线认识和学习探索和规划落地和实践执行和推广高管对大数据的支持无高管首席信息官业务高管（相关）首席执行官负责业务线的高管•初期技术推动，随着范围扩大和效果显现，业务高管逐步重视，并最终发挥更关键的业务核心作用，实现业务主导的价值最大化。企业大数据实践的演进路线认识和学习探索和规划落地和实践执行和推广所需的数据时效性一星期内24小时内同一个工作日内实时传送•随着大数据应用的深入，缩短数据时延，提高数据时效性。•数据不再仅仅是辅助支持决策的东西；而是在制订该决策时的一个业务关键要素。企业大数据实践的演进路线认识和学习探索和规划落地和实践执行和推广主要障碍制定有吸引力的业务投资回报分析报告了解如何使用大数据管理与资源支持技术能力•资源支持到能力提升；•制订有吸引力的业务投资回报分析报告的能力，贯穿始终；数据质量分析能力企业大数据分析的能力构成传统经分+数据拥有+处理分析能力+业务融合目录1理解大数据2大数据业界解决方案及典型应用概览-大数据的企业实践方法-大数据的行业趋势热点-大数据的业界解决方案-大数据的典型应用案例大数据的关键技术大数据的重点行业及应用21互联网行业大数据主要应用在社交和网购方面结合位置数据、消费数据进行实时营销信息推送是电信行业大数据应用主要场景3金融行业大数据应用场景主要集中在投资方面4制造行业具有多环节、多地域特色，各个环节的优化是制造行业最关注的大数据应用场景永无止境大数据的价值热点趋势根据IDC和麦肯锡的大数据研究结果的总结，大数据主要能在以下4个方面挖掘出巨大的商业价值：•对整个顾客群体细分，然后对每个群体量体裁衣般的采取独特的行动；•运用大数据模拟实境，发掘新的需求和提高投入的回报率；•提高大数据成果在各相关部门的分享程度，提高整个管理链条和产业链条的投入回报率；•进行商业模式、产品和服务的创新。•综合来看，未来几年大数据在商业智能、公共服务和市场营销三个领域的应用非常值得看好，大多数大数据案例和预算将发生在这三个领域。从单纯关注技术“T”转为更加关注信息“I”，让数据产生价值目录1理解大数据2大数据业界解决方案及典型应用概览-大数据的企业实践方法-大数据的行业趋势热点-大数据的业界解决方案-大数据的典型应用案例四类大数据处理平台；•数据分析平台：提供高效存储和快速列存储式数据库，能为客户分析处理PB级的数据，例如HPVertica。•数据操作平台:企业级的NOSQL数据库,Couchbase和MarkLogic等。•IaaS：分布式云计算平台，主要产品有Amazon,Infochimps等；•结构化数据库：结构化数据库产品，Oracle,MicrosoftSQLServer,MySQL,PostgreSQL,memsql,Sybase,IBMDB2等；围绕大数据的生态产业链数据应用层数据处理层基础支撑层基础支撑技术，包括Hadoop,MapReduce,Hbase,Cassandra,Mahout等分布式大数据支撑平台；分析和可视化应用；商业智能；DaaS；国内、国外的分布；广告/媒体应用；日志数据应用；垂直应用；大数据的方案供应商角色综合方案供应商专业厂商互联网厂商电信运营商•综合解决方案供应商：IBM、HP、EMC、Microsoft等IT巨头，提供端到端产品和解决方案；•面向应用分析的专业厂商：vertica、splunk、cloudera，引跑科技，华夏威科，以提供软件和服务为主；•国内厂商大多据此；•互联网厂商：大数据的拥有者，服务者，收益者，领跑者；•阿里、腾讯、百度等；•电信运营商：互联网化转型；阿里大数据战略架构•马云对阿里集团未来“平台、金融、数据”的三大构想战略；•阿里集团目前拥有的大数据达到30P，其中1P等于100万GB；•阿里是大数据的拥有者，数据服务的提供者、收益者；自用+他用；•现在的数据开放应该是以TOP平台为主面向电商平台客户开放，比如数据魔方的开放。•打造开放的生态系统：近期谨慎开放；互联网厂商是大数据战略实践的领跑者引跑科技EngineOne大数据处理平台云数据库云搜索引擎云内容管理结构化数据海量数据搜索非结构化数据...云操作系统EngineOne：一站式、弹性的、高性价比的大数据处理平台引跑科技EngineOne大数据处理平台云计算的核心：云数据库、云内容管理、云搜索引擎目录1理解大数据2大数据业界解决方案及典型应用概览-大数据的企业实践方法-大数据的行业趋势热点-大数据的业界解决方案-大数据的典型应用案例案例：阿里数据魔方阿里数据魔方数据魔方•淘宝官方数据产品•分享海量行业数据•致力帮助商家实现数据化运营•用数据做行业定位、点亮品牌路。•订购条件：集市五钻以上或者天猫用户•适用人群：中大卖家,品牌商•专业版3600元/年；标准版90元/季；第一时间实时监测店铺成交，店铺在行业内的经营变化，帮助您实时掌握店铺动