大数据时代83

大数据时代的全球竞争与对策袁卫人民大学2015.8.212一、大数据时代的全球竞争二、大数据改变我们的生活三、全球竞争需要政府主导四、大数据人才竞争与培养五、媒体大数据的误区3李克强总理2015年5月26日在贵阳大数据峰会贺信中说:“数据是基础性资源，也是重要的生产力。大数据与云计算、互联网等新技术相结合，正在迅速并将日益深刻改变人们的生活方式，互联网+对于提升产业乃至国家综合竞争力将发挥关键作用.中国是人口大国和信息应用大国，拥有海量数据资源，发展大数据产业空间无限….”4一、大数据时代的全球竞争大数据三个基本特征：1，数据PB级(volume)；2，数据类型繁多，不仅结构化数据，还有网络日志、视频、图片和地理位置信息等非结构化数据(variety)；3，处理速度越来越快(velocity)。5位Bit1或0计算机二进制存储信息的逻辑单元字节Byte8位存储信息基本物理单位，英文字母1B千字节KB1024字节一页纸文字5K兆字节MB1024K字节一首MP3流行歌曲大约4M吉字节GB1024M字节一部电影大约1G太字节TB1024G字节美国国会图书馆印刷版图书15T拍字节PB1024T字节美国邮政局一年信件5拍，谷歌每小时1P艾字节EB1024P字节2014年中国数据909EB,占全球13%泽字节ZB1024E字节截至2010年，人类信息量约1.2Z.2013年达3.5Z,到2020年全球拥有44Z，其中中国8.4ZB,约占20%。佑字节YB1024Z字节诺字节NB1024Y节刀字节DB1024N字节6摩尔定律（Moore’sLaw)存储的价格从上个世纪60年代1万美元1M，降到现在的1美分1G的水平，其价差高达亿倍78910在大数据时代，国家竞争力将部分体现为一国拥有数据的规模以及解释、运用数据的能力；国家网络空间主权体现对数据的占有和控制。数据主权将是继边防、海防、空防之后，另一个大国博弈的空间。数据已同固定资产、人力资本等生产要素一样重要。在联合国2008年新国民经济核算体系中，强调数据、数据库、研究与开发(R&D)对GDP的贡献。数据是一种很特殊的资本，首先它没有排它性，没有消耗性，却有整合性，通过1+1可以大于2。所以数据竞争将成为商业、国家竞争的一种重要形式。11亚马逊前首席科学家安德雷斯韦斯岸直白地指出：数据是新的石油。在贵阳大数据峰会上马云预测：数据将取代石油，成为未来制造业最大的能源。12大数据新技术发展规律周期Gartner公司2014年Hypecycle曲线揭示了BigData经历了2012-2013的上升期和快速成长期，基础理论趋于成熟，应用与产业技术逐渐成熟BigData技术源自企业需求，落地于开源社区项目，推动于企业大数据分析应用，成熟于IT企业平台BigData已经成为人类社会新的基础设施，通过数据描述社会动态与发展变迁13大数据竞争力分析我国信息化发展的桎梏——缺乏核心技术结构化数据处理时代：数据库市场被Oracle、IBM、Microsoft、SAP等国外数据库产品所垄断，国产数据库在夹缝中生存大数据时代：国内大数据平台技术依赖Hadoop等国外开源平台，在短期内获得巨大的成功，但难以跳出以仿制为主，缺乏自主创新能力的窠臼，在大数据平台架构方面缺乏影响力，重走IT产业的“中国制造”大国而非“中国创造”大国之路，重蹈我国在电脑和手机操作系统方面处处受制于人的覆辙大数据发展方向偏差——重商业应用，轻基础产业引领我国大数据产业的是BAT（百度、阿里、腾讯）等互联网和电子商务产业需要大力推动科学研究、疾病防治、灾害预测与控制、国防安全、食品安全与群体事件等民生领域的大数据应用14提高大数据国际竞争力提高信息资源开放程度IBM执行总裁罗睿兰认为，“数据将成为一切行业当中决定胜负的根本因素，最终数据将成为人类至关重要的自然资源。”大数据的价值取决于大数据的可得性和开放性提高基础数据服务水平，消除数据孤岛，提高数据共享，挖掘数据价值通过制订标准、立法等手段解决数据开放性与隐私保护之间的矛盾15二、大数据改变我们的生活2012年5月18日Facebook在纳斯达克上市，开盘后总市值1000亿美元左右。2011年评估公司审核时Facebook公布资产约66亿美元，包括计算机硬件、专利、其他价值等。大量数据值多少钱？2009到2011年Facebook收集2.1万亿条信息，每条信息值4美分，每位用户价值越100美元，全球每10人中就有1位用户。数据与品牌、人才、战略等形成巨大的无形资产，无形资产在2002年约占上市公司市值的75%。16例1.1奥巴马2012年竞选2012年大选前建立竞选数据库通过数据分析发现美国西海岸，40-49岁的女性非常喜欢乔治.克鲁尼（奥斯卡影帝），同时这个年龄段的女性也是捐款最多的，所以奥巴马团队就搞了一个项目：通过捐款获得一个与奥巴马和克鲁尼一起吃饭的机会。对Facebook数据分析,奥巴马支持者对摇摆州朋友的影响大数据分析帮助奥巴马2012年拉到1billion美元的竞选经费，包括改善电视广告,摇摆州投票的影响。17例1.2，数据帮助降低犯罪率上世纪70-80年代的纽约是犯罪之都，1990年平均每天6人死于恶性犯罪，每小时16辆被盗。1970年杰克.梅普尔(JackMaple)高中毕业后成为地铁警察，开始研究地铁抢劫案发生规律。办公室挂满各种地图，将犯罪标在地图上并决定第二天出警地点(chartsoffuture).1990年这一图表引起新任局长布雷特(WilliamBratton)注意，得到推广。1991年纽约地铁案件下降27%。共和党人鲁迪.朱利安尼(RudyGiuliani)竞选当上市长，立即任命布雷特为局长，布立即任命梅普尔为第一副局长。电子版的chartsoffuture就是CompStat,纽约76个警区全部数据，1994年起案件下降，2009年每天1起(全年466起）。181996年CompStat获哈佛大学的InnovationsinAmericanGovernmentAward,引起美国总统和副总统注意，在全国推广CrimeMappingandData-DrivenManagement.到2006年将20多年犯罪数据和交通事故数据结合在一起，发现高度相关。不同联邦部门联合治理，10万人以下城市至少4年以上数据。提高效率，改善治安。192021例1.3,佛罗里达州警车超速调查2011年10月佛罗里达州劳德代尔市(FortLauderdale)发生一起恶性交通事故，警车超速。《太阳哨兵报》记者克斯汀（SallyKestin)开始调查：2004年起，该州发生320起警车超速导致的交通事故，19人丧生，只有一名警察入狱。难在取证。根据美国信息自由法，克斯汀申请交管信息开放。获得110万条警车通过不同高速路收费站信息，用3个月时间算出13个月中，3900辆警车发生5100宗超速事件。96%超速在144公里到176公里之间，当地1/5警车都有超过144公里记录。22而且，绝大多数超速在上下班途中。2012年2月第一篇报道“他们凌驾于法律之上”。查实800名警察，48名州高速路巡警受处分，迈阿密市38名警察受处理，1名被开除，10名停发工资等。2012年底克斯汀又作了与2011年同月的对比分析，2月到12月超速数从3179件减少到495件，减少84%，写第二篇报道“警察猛踩刹车！”《太阳哨兵报》是当地县里的小报，23万份，获得2013年普利策新闻奖。23例1.4,世界杯的大数据我7月初就收到微信：意大“离”了、西班“哑”了、英格“烂”了、乌拉“归”了…..八强赛：哥伦比“哑”了、法兰“熄”了、比利“失”了、哥斯达“离家”了！四强赛：巴“熄”了、荷“烂”了….决赛：阿根“停”了，德“过”了。德国队用SAPMatchInsight系统，球员鞋内、护腕内放置传感器，足球和球场内布满传感器，捕捉球员动作细节和位置变化，实时传回到SAPHANA平台上，几分钟后处理完显示在教练的平板显示器上，每个球员跑动线路、技术特征、成功率等数据都一目了然。教练可以用它安排技战术，球员可用它发现问题。242526三、全球竞争要政府主导：美国2004年11月奥巴马赢得联邦参议院选举，他当了三年多参议员，作为第一发起人提了137个法案，只有2个成为法案。同时作为合署人与其他议员发起600多个法案，他上任成功推出的第一份法案就是有关数据开放的法案《联邦资金责任透明法案》(科伯恩---奥巴马法案)，要求公开所有公共财政支出的原始数据USAspending.gov2009年1月21日上任第一天签署的首份总统备忘录《透明和开放的政府》，签署的第二份《信息自由法》2009年3月5日他上任不到两个月就任命联邦政府首席信息官，4月18日又任命了首席技术官。Data.gov。2728美国从“信息高速公路计划”过渡到“大数据计划”29大数据战略第一轮行动303132大数据战略第二轮行动3334大数据战略第三轮行动352013年6月，八国集团首脑在北爱尔兰峰会上签署了《开放数据宪章》，法国、美国、英国、德国、日本、意大利、加拿大和俄罗斯承诺，2013年年制定开放数据行动方案，2015年年底开放可机读的政府数据。八国用共同的网站：data.gov.目前美国data.gov网站包含来自90个联邦机构的200个发布主体,176个组织主页,提供了129,950个数据集.3637BigDataforDevelopment:Challenges&OpportunitiesMay2012联合国38中国大数据不仅仅是数据状态和高科技信息技术，而是认识世界的观念与方法。一是用数据说话，科学决策；二是职能辅助决策，提高办事效率。2013年3月14日公布的《国务院机构改革和职能转变方案》要求，用3至5年时间，基本建成集合金融、工商登记、税收缴纳、社保缴费、交通违章等信用信息的统一平台，实现资源共享；建立以居民身份号码为基础的公民统一社会信用代码制度；建立以组织机构代码为基础的法人和其他组织统一社会信用代码制度；建立不动产统一登记制度；加强技术标准体系建设。39智慧城市建设2008年11月，IBM董事长SamuelPalmisano（彭明盛）在美国外交委员会演讲中，提出智慧地球和智慧城市的概念。“全面感知、充分整合、激励创新、协同运作”。截止2009年，全球已有一半以上人口居住在城市，到2030年，将有50亿人口住在城市。到2014年，居住在城市的中国百姓已近55%信息网络宽带化、规划管理信息化、基础设施智能化、公共服务便捷化、产业发展现代化以及社会治理精细化。402013年全球7大智慧城市全球超过400个城市竞逐最有智慧城市头衔，最后选出这7个城市，分别是：1、美国俄亥俄州的哥伦布市；2、芬兰的奥卢；3、加拿大的斯特拉特福；4、台湾地区的台中市；5、爱沙尼亚的塔林；6、我国台湾地区的桃园县；7、加拿大的多伦多。41422012年12月5日住房与城乡建设部“关于开展国家智慧城市试点工作的通知”，到2015年1月住建部和科技部分三批公布290个试点市、区、镇。智慧城市的三化：物联化、互联化和智能化。智慧城市四大特征：全面职能的感知、宽带互联的便利、职能融合的应用、以人为本的持续创新。近三年国家开发银行投资800亿，整个投资近5000亿搞新型城镇化建设。经过3-5年试点建设，住建部评定1、2、3星。432012年底广东率先制定《广东省实施大数据战略工作方案》，采用行政收集、网络搜取、自愿提供、有偿购买等多种方式拓宽数据搜集渠道；政府各部门开展数据开放试点，通过部门网站向社会开放可供下载和分析使用的数据，进一步推进政务公开；建设完善全省网上办事大厅、政府数据档案、企业信用信息网等骨干网路系统；同时，同3年左右时间，在全省范围内推广设立公民个人专属网页。到2015年力争信息化水平达到中等发达国家水平，到2020年，迈进世界先进水平，基本建成“智慧广东”。44案例3.1，