大数据应用研究-王珺瑛33

大数据应用研究王珺瑛2015.11目录背景和概念来源和特点优势与价值应用场景及现状发展趋势及国家政策典型企业投资机会背景•互联网+”是一个国家战略，创新2.0。其本质是互联网与传统行业的结合，迎接第四次工业革命的到来。带来智慧城市（smartcitiy），人类社会进入一个全新的时代—智慧时代。•智慧城市是把新一代信息技术充分运用在城市的各行各业之中的基于知识社会下一代创新（创新2.0）的城市信息化高级形态，实现信息化、工业化与城镇化深度融合。•信息资源是智慧城市构建的基石。城市运行产生大量数据，对数据承载的事实进行组织及分析，能够形成有价值的信息内容，并进而形成信息产品。实现服务创新，产生经济效益、社会效益和环境效益，推动城市向着低碳、高效、便捷的方向发展。什么是大数据?•大数据巨量数据、海量数据是由数量巨大、结构复杂、类型众多数据构成的数据集合,是基于云计算的数据处理与应用模式,通过数据的集成共享,交叉复用形成的智力资源和知识服务能力。大数据从何而来?来自于企业、个人、政府（机构）的生产消费行为活动中个人政府、机构企业大数据的来源可分为三类：•传统企业数据（Traditionalenterprisedata）：包括CRMsystems的消费者数据，传统的ERP数据，库存数据以及账目数据等。•机器和传感器数据（Machine-generated/sensordata）：包括呼叫记录（CallDetailRecords），智能仪表，工业设备传感器，设备日志（通常是Digitalexhaust），交易数据等。•社交数据（Socialdata）：包括用户行为记录，反馈数据等。如Twitter，Facebook这样的社交媒体平台。大数据的核心价值•优化资源配置，提升效率。大数据挖掘商业价值的方法主要分为四种客户群体细分，然后为每个群体量定制特别的服务。模拟现实环境，发掘新的需求同时提高投资的回报率。加强部门联系，提高整条管理链条和产业链条的效率。降低服务成本，发现隐藏线索进行产品和服务的创新。大数据未来带来的产值•麦肯锡则预测未来大数据产品在三大行业的应用就将产生7千亿美元的潜在市场,中国大数据产品的潜在市场规模有望达到1.57万亿元.大数据社会应用智能城市的规划建设实现能源革命的能源大数据系统医疗卫生数据库多媒体大数据处理等等…….大数据商业应用虽然大数据在国内还处于初级阶段,但是商业价值已经显现出来。大数据正在重构很多传统行业。通过收集、整理生活中方方面面的数据,并对其进行分析挖掘,进而从中获得有价值信息,最终衍化出新的模式。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址，在零售业中，卓越亚马逊、淘宝等通过对海量数据的掌握和分析,为用户提供更加专业化和个性化的服务，广告行业利用DMP、DSP进行广告的精准投放，房地产行业利用大数据分析价值洼地，宜信利用大数据建设征信系统降低坏账率券商陆续推出大数据基金大数据的价值堪比黄金和石油大数据对社会经济生活产生的影响绝不限于技术层面,它为我们看待世界提供了一种全新的方法,即决策行为将日益基于数据分析做出,而不是像过去更多凭借经验和直觉做出。数据未来最大的交易商品现状目前，我国在大数据发展和应用方面已具备一定基础，拥有市场优势和发展潜力，但存在以下问题：政府数据开放共享不足产业基础薄弱缺乏顶层设计和统筹规划法律法规建设滞后、创新应用领域不广等问题。信息技术与经济社会的交汇融合引发了数据迅猛增长，数据已成为国家基础性战略资源，大数据正日益对全球生产、流通、分配、消费活动以及经济运行机制、社会生活方式和国家治理能力产生重要影响。现状•目前大数据的应用主要集中于第三产业。•第三产业凭借自身的优势，大多汇聚了当前最海量的数据以及大批的科研中坚力量。•第一、第二产业的发展速度相对于第三产业来说会迟缓一些。现状第一类是大数据基础资源类第二类是大数据存储和运行维护第三类是大数据分析应用第四类是大数据安全由于国内大数据应用仍在发展初期，主要分为四类：现状在基础设施方面，创业公司没有机会，华为、阿里、百度、腾讯基本上把持了这一部分。对于国内的创业公司，在大数据存储和运行、大数据分析应用、大数据安全这三方面存在创业的机会。国家政策支持•2015年8月《关于促进大数据发展的行动纲要》提出首次提出我国将实施国家大数据战略。•《纲要》提出，要加强顶层设计和统筹协调，大力推动政府信息系统和公共数据互联开放共享，加快政府信息平台整合，消除信息孤岛，推进数据资源向社会开放，增强政府公信力，引导社会发展，服务公众企业；以企业为主体，营造宽松公平环境，加大大数据关键技术研发、产业发展和人才培养力度，着力推进数据汇集和发掘，深化大数据在各行业创新应用，促进大数据产业健康发展；完善法规制度和标准体系，科学规范利用大数据，切实保障数据安全。•《纲要》明确，推动大数据发展和应用，在未来5至10年打造精准治理、多方协作的社会治理新模式，建立运行平稳、安全高效的经济运行新机制，构建以人为本、惠及全民的民生服务新体系，开启大众创业、万众创新的创新驱动新格局，培育高端智能、新兴繁荣的产业发展新生态。发展趋势大数据已成为国家重要的基础性战略资源，正引领新一轮科技创新。国家对于未来5-10年的大数据发展应用前景有明确的目标：•消除信息孤岛、推动公共信息数据共享•加大大数据关键技术研发、产业发展和人才培养力度•完善法规制度和标准体系，切实保障数据安全。发展趋势•2018年底前建成国家政府数据统一开放平台，率先在信用、交通、医疗、卫生、就业、社保、地理、文化、教育、科技、资源、农业、环境、安监、金融、质量、统计、气象、海洋、企业登记监管等重要领域实现公共数据资源合理适度向社会开放。•培育高端智能、新兴繁荣的产业发展新生态。推动大数据与云计算、物联网、移动互联网等新一代信息技术融合发展，探索大数据与传统产业协同发展的新业态、新模式，促进传统产业转型升级和新兴产业发展，培育新的经济增长点。•形成一批满足大数据重大应用需求的产品、系统和解决方案，建立安全可信的大数据技术体系，大数据产品和服务达到国际先进水平，国内市场占有率显著提高。培育一批面向全球的骨干企业和特色鲜明的创新型中小企业。典型企业国外企业国内企业典型企业Cloudera-Hadoop分析三巨头之一于2008年创建，几位创始人分别来自facebook，谷歌，雅虎以及甲骨文。Cloudera的业务主要是出售基于Hadoop的软件，也发布自家版本的Hadoop产品。Hadoop技术的优点在于，它对硬件没有很高的要求，这也就降低了大数据分析的成本，中小企业很喜欢用它进行客户数据的管理和分析。Splunk-机器数据引擎于2004年创建，2012年上市。是全球首家上市的大数据公司。Splunk的软件最初只是用于机器日志的分析以排除机器故障。经过几年的发展，它可以监控、分析实时机器数据(包括历史数据)，非常适合实时数据分析，帮助用户需要及时地了解业务发展趋势。国外典型企业国外Metamarkets-可视化分析专家主要业务是帮助在线媒体公司分析高流量的流媒体数据，如在线广告、在线游戏和社交媒体的数据。MetaMarkets公司对tweet、支付、签到和一些与互联网相关的问题进行了分析，为客户提供了很好的数据分析支持。在此同时MetaMarkets为每秒进行数十亿条数据记录的可视化分析带来了革命性的解决方案。QlikTech-商业智能领域是全球增长最快的商业智能(BI)公司，其旗舰产品QlikView提供即时商业答案，使用户能够轻松自如、无限制地挖掘自己的数据。与传统商业智能不同的是，QlikView能够为用户迅速创造价值，其投资回报期仅为数天或数周，而不是数月、数年或永远收不回投资。它是唯一一款能够在经营场所、云计算平台、笔记本电脑或者移动装置上部署的产品，适用于任何企业，从单个用户到大型国际企业。典型企业Kaggle–是一家大数据分析的众包平台的公司希望通过“数据科学运动”来挑战世界上最好的科研人员和统计学家。Kaggle可以将需求公司他们的数据、问题的描述、以及期望的指标整理后发布到Kaggle上，通过举办竞赛的方式让网上的数据科学家参与解决。数据分析师们或独立、或组队参加比赛，利用自己的专业知识和数据分析工具得到优化模型。最后，这些结果经过原定指标的检验，被公布到排行版上；最好的结果将获得竞赛的奖金（几百美元到几百万美元不等）。而公司也能最终拥有数据分析的结果、模型等知识产权。国外典型企业GoodData-商业挖掘主要面向商业用户和IT企业高管，提供数据存储、性能报告、数据分析等工具，希望帮助客户从数据中挖掘财富。和IBM、SAP、Oracle等巨头提供的套件式解决方案不同，GoodData将其所有的数据分析服务实现了100%云化，以SaaS的模式提供给企业。在GoodData的云平台上，企业可以将公司已有数据导入，再对数据做跟踪、切分、可视化、分析等处理。DataSift-社交媒体数据随着像Twittter、Fcacebook等社交网络媒体的爆发，越来越多的品牌也会受到他们的影响。DataSift主要收集并分析社交网络媒体上的数据，并帮助品牌公司掌握突发新闻的舆论点，并制定有针对性的营销方案。国外典型企业TalkingData-综合数据服务成立于2011年9月，是一家专注于移动互联网综合数据服务的创业公司。旗下拥有多条数据服务产品线，服务内容从基本的数据统计，到深入的数据分析、挖掘，可以为移动互联网企业。提供全方位的大数管理团队来自于Oracle，IBM，Microsoft，腾讯，百度，360等企业，不仅拥有丰富的研发管理以及产品商业化经验，更是有机的融合了互联网的“开放精神”和传统IT的“严谨服务”这两种文化。伴随着近4年的移动互联网的高速发展，TalkingData逐步打造了由开发者服务平台，数据服务平台，数据商业化平台为中心的数据生态体系，覆盖超过20亿的独立智能设备（包括：智能手机、平板电脑、智能电视、可穿戴设备等），服务超过10万款移动应用以及8万多应用开发者。据解决方案。•国内典型企业DataEye-娱乐数据提供商是一家聚焦在互动娱乐产业提供相关的数据挖掘服务的初创型公司，公司成立于2013年9月。初始团队均来自腾讯游戏以及数据部门，长期从事游戏的研发以及数据挖掘工作。致力于能深深的扎根在互动娱乐产业提供更多优秀的数据驱动游戏设计，数据驱动游戏运营的方法和服务。团队成员是一群热爱游戏，热爱数据的年轻人，GRG游戏研究组是公司博客，分享游戏与数据的最新前沿动态。•国内典型企业大数据魔镜-可视化分析拥有国家自主可控并国际领先大数据技术和产品，专注于帮助一流企业和政府大数据规划和实践，逐步走向国际化的中国大数据名族品牌，是国内真正玩过大数据的团队，尤其“政府产业大数据成果”受到新加坡和中国国家两国国家领导赞扬，台湾、各省等各地省市领导参观。旗下“大数据魔镜”是中国最大最流行的大数据可视化分析挖掘平台，已有一万五千家企业客户，包括中移动、中石油、政府等等大客户，帮助企业处理海量数据价值，让人人都能数据分析。•国内典型企业数据堂-数据交易平台成立于2011年，是一家专注互联网综合数据服务的公司。并推出国内首个大数据交易平台。数据定制、数据商城、移动应用数据服务是数据堂旗下三大核心业务。”专注数据，共享价值“一直是数据堂的数据服务理念。数据堂旨在融合和盘活各类大数据资源，实现数据价值最大化，推动相关技术、应用和产业的创新。•国内投资机会•可以预见在未来10年，云应用的普及，大数据在各行各业的火速发展，获得国家大力的的支持。不论是资金还是人才，都会爆发一个井喷式的发展。•大数据的创业行业门槛较高，是一个资源、技术、人脉的有很高要求的行业。也造就大数据行业的创业环境的会出现许多优质创业团体。数据公司的的客户对象都是企业级客户，未来针对企业级客户服务的市场，不是一般的创业者可以做到的，