大数据发展现况与趋势

大数据发展现况与趋势日期：2016年6月22日单位：贵阳大数据交易所报告人：专业：信息管理硕士主修：数据挖掘、决策支持经历：从事富士康集团大数据业务15年内容项次主题内容重点报告时间1预备知识认识数据与目的5分钟2智能生活(1)视频5分钟3数据与生活案例学习30分钟4认识大数据大数据的前世今生大数据的定义中国大数据30分钟5从贵阳大数据交易所看贵阳大数据顶层设计大数据交易所贵阳大数据布局大数据交易所视频30分钟6大数据技术简介数据挖掘方法论30分钟7创意思考方法分享5分钟8智能生活(2)视频5分钟9互动交流10分钟预备知识(1/2)知识就是力量：人脑获取的的信息进行系统化的提炼、研究和分析，进而形成知识。信息就是能量：通过人脑次级思维活动，实现对原始数据的筛选、加工、创造，进而产生有意义的数据。数据就是变量：未经组织的数字、词语、声音、图像的纪录，可以来自测量仪器的实时记录，也可以来自人的知识。数据信息知识人类思维逻辑演进人类思维范式演进(摘自块数据2.0一书)知识、信息与数据的双向演进预备知识(2/2)数据的终极目的决策支持预测优化增加效益防范风险(目的)(方法)(目标)智能生活(1)-视频5分钟数据与生活保险业地产行业零售行业物流行业政府治理思路：透过(大)数据在生活中的应用，进而了解大数据的型态、样式、影响与效益客户属性养车APP移动APP家庭成员商旅人群航空延误险旅游天气险手机被盗险行李遗失险专属理财保险寿险养老险教育险高端客群(保险公司)创新保险产品提升精算水平增加利润率提高投资收益稀有客群宠物险美甲险珠宝险保险行业大数据应用场景旅游业信息航空业信息医疗信息其他外部信息保险大数据源发掘提供发掘设计提供发掘提供分析分析位置信息1.常住人口2.年龄3.职业4.收入5.消费6.APP活跃程度7.其他土地价值土地投资成本地产开发风险案例：(身分)一家主要开发三线城市地产著名的房地产商。(事前)一次进入到一个城市时，当地政府非常欢迎，并拿出了一个拥有30万户籍人口的土地让房地产公司进行开发。(事中)房地产商开发完之后，发现房子卖出去很少，同30万户籍人口的需求完全不在一个数量级上，房子积压了不少，造成了较大损失。(原因)房地产商很困惑，究竟是什么原因导致了房子滞销，经过一段时间的调研，地产公司发现：1、30万户籍人口中有一半以上在其他城市工作2、并且未来不会回来购买住房，其开发地块的常住人口住房购买需求较低，相当于10万户籍人口的需求。(事后)地产商按照30万人口需求开发的住宅小区，很难在当地短期内卖出去。本次房地产投资损失较大，导致房地产商从当地房产市场退出。地产行业大数据应用场景居住人口数进入人口数活动规律降低提升商铺位置服务内容产品类型动线设计客流量消费额服务体验生活爱好年龄分布消费热点•客户基本信息•客户购物纪录•购买喜好•热门商品•流行趋势•时间周期•商品组合•改善动线•货架布置推荐客户潜在需求商品•精细化生产•提升效率•优化资源零售行业比较有名气的大数据案例就是沃尔玛的啤酒和尿布的故事，以及Target通过向年轻女孩寄送尿布广告而告知其父亲，女孩怀孕的故事。天猫和京东，已经通过客户的购买习惯，将客户日常需要的商品例如尿不湿，卫生纸，衣服等商品依据客户购买习惯事先进行准备。当客户刚刚下单，商品就会在24小时内或者30分钟内送到客户门口，提高了客户体验，让客户连后悔等时间都没有。零售行业大数据应用场景•优化产品设计•库存管理•生产计划•配置资源提升30%业绩供应链物流行业规模5万亿最后一公里物流3万亿元利润率30%下降20%中国的物流产业规模大概有5万亿左右，其中公里物流市场大概有3万亿左右。物流行业的整体净利润从过去的30%以上降低到了20%左右，并且下降的趋势明显。全国物流网路各个节点的运货需求和运力降低货车的返程空载率，降低超载率，减少重复路线运输，降低小规模运输比例建立基于地理位置和产业链的物流港口实现货物和运力的实时配比，提高物流行业的运输效率及时了解各个路线货物运送需求提升10%(约5000亿)收入大数据手段物流行业大数据应用场景•返程空载•重复运输•小规模运输改善大数据提升政府治理能力意义重大国务院发布了《促进大数据发展行动纲要》中提到，将建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理机制。1、揭示出与传统不同或难以展现的关联，增强政府决策的科学性2、提高政府监管市场、建立公平竞争环境的能力3、增强公共管理和服务能力，达到个性化和精准化服务的要求4、提升污染监控和环境保护成效，推进生态文明建设5、提高政府监管市场、建立公平竞争环境的能力大数据提升政府治理能力意义重大单位上海交通综合信息平台方式集成道路传感系统、出租车GPS系统、居民手机信号迁移、实时视频采集等多系统信息成效用以分析交通状况，增强交通管控措施的准确性和时效性，并提高了交通基础设施建设的科学决策水平。政府治理大数据应用场景(1/5)意义：揭示出与传统不同或难以展现的关联，增强政府决策的科学性单位北京，企业与监管部门合作上海的公共信用信息服务平台方式利用互联网和金融行业数据归集包括法人和自然人监管、执法、审批、资质等1200多个信息事项、3亿多条数据成效打击非法集资、违法违规交易供部门监管和信息主体查询政府治理大数据应用场景(2/5)意义：提高政府监管市场、建立公平竞争环境的能力单位上海申康医联工程上海民政局方式已完整收集38家三级甲等医院数据，目前又扩大收集范围，包括来自上海、广州、武汉等城市和20多个地级市的近1亿就诊人群，形成国际上最大的电子健康档案信息库和PB级的医学影像档案库通过居民经济状况核对系统成效完成17.4万余户次申请家庭的经济状况核对，检出1.7万不合规户，节约公共财政19亿元。政府治理大数据应用场景(3/5)意义：提高政府监管市场、建立公平竞争环境的能力单位北京公众与环境研究中心方式采用汇总政府公布和志愿者收集数据等方式，制作了5大类13个子类的环境污染海量数据库成效直观展示各地各流域的环境质量和污染排放数据，还列出近15万家企业的环境监管记录，在监控污染状况、监督企业整改等方面发挥了重要作用。政府治理大数据应用场景(4/5)意义：提升污染监控和环境保护成效，推进生态文明建设单位广州市黄埔区重庆方式面向社区整合大数据应用，实现“数据到楼、一图搞掂、一按全知、实时追踪、系统整合、条块融合、现场直播、问效于民”基于大数据的电子车牌技术为公安机关采集办案信息700多万条成效排查纠纷隐患7.2万宗，就地化解率达98%，将很多社会矛盾化解于基层。实时支持交通管理预防暴恐事件的能力政府治理大数据应用场景(5/5)意义：提高政府监管市场、建立公平竞争环境的能力经由上述案例认识，是否可以列举咱们自身经历(或感受)到的大数据应用？大数据的前世今生1890年1943年1989年1997年2007年2008年2010年2011年2012年2014年由赫尔曼*霍勒瑞斯发明的可以由机器处理的穿孔卡片，突破传统人口普查的困难，该设备让美国用一年的时间就完成了原本用8年的人口普查活动，在全球范围引发数据处理新纪元。英国“二战”期间开发能大规模数据处理的机器，并使用了第一台可编程的电子计算机进行运算，以每秒5000字符的速度读卡，破译德军部队前方信息密码，帮助盟军成功登陆诺曼第。英国计算机科学家蒂姆*博纳斯*李开创了一个叫“万维网”的超文本系统，在全球范围内利用互联网实现信息共享。美国宇航局研究员迈克尔和大卫首次使用“大数据”这一语数来描述20世纪90年代面临的数据挑战。数据集之大，通常超出了主存储器、本地磁盘的存储能力，甚至远超磁盘的承载能力，故而称之为“大数据问题”。“大数据”一词开始在技术圈内出现。《连线》杂志发表文章阐述了数据泛滥带来的机遇和挑战，称大数据是“Petabtye(拍字节)时代”的开端。计算机社区联盟作为最早提出大数据概念的机构，发表《大数据计算：在商务、科学和社会领域创建革命性突破》白皮书，提出“大数据真正作用的是新用途和新见解，而非数据本身”。肯尼斯.库克尔在《经济学人》上发表大数据专题报告：《数据，无所不在的数据》。他在报告中提到：“世界上有着无法想象的巨量数字信息，并以极快的速度增长。”库克尔因此成为最早洞见大数据时代趋势的数据科学家之一。IBM的“沃森”超级计算机每秒可扫描并分析4TB（4太字节，约2亿页文字量）的数据量，并在美国著名智力竞赛节目《危险边缘》上击败两名人类选手而夺冠，《纽约时报》将这一刻称为“大数据计算的胜利”。瑞士达沃斯召开的世界经济论坛上，大数据是主题之一，会上发布的报告《大数据，大影响》宣称，数据已经成为一种新的资产类别，就像货币或黄金一样。世界经济论坛以“大数据的回报与风险”为主题发布《全球信息技术报告》（第13版），美国白宫发布2014年全球“大数据”白皮书研究报告《大数据：抓住机遇、保存价值》鉴古知今：大数据的前世今生大数据定义•大数据的定义最早是源自于企业而非学术机构•至目前为止，对大数据概念的讨论也尚未停止。•学术界、产业界及政府机构都从自身领域、立场出发进行不同的界定。至今大数据的定义可由四个角度进行认识：1、技术分析角度2、大数据应用价值角度3、大数据自身特征角度4、大数据对社会发展影响角度。大数据定义(1/4)：技术分析角度【内容】关注的是对海量、复杂数据进行分析处理，从而获得信息和知识的技术手段【提出者】•麦肯锡就认为，大数据是大小超出常规数据库工具的获取、储存、管理和分析能力的数据集，也指无法采用传统流程、工具处理或分析的信息，迫使用户采用非传统处理方法的数据集，数量级不一定要超过特定的数据存储容量值。•维基百科认为，大数据是指无法再合理时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。•数据集成软件商纳斯达克则认为，大数据包括海量数据和复杂数据类型，其规模超过传统数据库系统进行管理和处理的能力【内容】强调的是大数据的应用，关注的是从数据中获取有价值的信息和知识，最终目的是建立商业方面的竞争优势甚至是创新商业模式。【提出者】•高德纳咨询公司认为，大数据是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。•维克托·迈尔—舍恩伯格认为，大数据时代的来临使得人类第一次有机会和条件在非常多的领域和非常深入的层次获得和使用全面数据、完整数据和系统数据，深入探索现实世界的规律，获取过去不可能获取的知识，得到过去无法企及的商机。•哈佛大学访问学者徐晋在《大数据经济学》中指出，大数据是指存在价值关联的海量数据。大数据的本质是社会经济的离散化解构与全息化重构，表现为行业海量数据的关系从量变到质变的转换(深度挖掘）。•赵国栋、易欢欢等在《大数据时代的历史机遇》一书中指出，大数据是在多样的或者大量的数据中迅速获取信息的能力。大数据定义(2/4)：大数据应用价值角度【内容】是从大数据本身特质和特点对大数据进行界定。又可分为定量与定性角度说明。【提出者】1、从量的角度：•百度百科认为，大数据或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到颉取、管理、处理并整理成为有助于企业经营决策的资讯。•大数据科学家约翰*劳瑟认为，大数据就是任何超过了一台计算机处理能力的庞大数据量。2、从性质的角度：•高德纳咨询公司分析师道格兰尼首次提出大数据的3V特征，即高速增长的数据体量（Volume），高速进出的数据运动（Velocity），高度异质的数据种类（Variety）。•在此基础上，麦肯锡公司提出了大数据具有4V的特征，即：数据容量大（Volume）、数据类型繁多（Variety）、商业价值高（Value）、处理速度快（Velocity）。大数据定义(3/4)：大数据自身特征角度【内容】强调大数据对人类社会生产生活方式、思维范式等产生的重大影响，认为大数据开启了人类发展的新阶段，并且认为这种范式的影响是持久而深远的。【提出者】•维克托。迈尔-恩格教授提出，”大数据”所代表的是当今社会所独有的一种