大数据时代28

呼啸而至的大数据时代背景案例•BACKGROUND马云说：“当我们还没有弄清什么是个人计算机的时候，互联网时代就到来了；当我们还没有弄清什么是互联网的时候，大数据时代已经到来了。”今天，我们的头顶上有云，我们的双脚下有网，我们的周围布满了难以计量的数据。气势磅礴的大数据飓风正从世界深处向我们呼啸奔腾而来。你做好准备了吗？前言FOREWORD大数据的时代特点1.1大数据的定义大数据就是很大的数据。但是在不同领域，又有不同的状况。大数据作为一种数据集合，当我们使用这个概念的时候，实际包含有三层含义，一是数据很大；二是变化很快；三是构成复杂。但是，大数据里面蕴藏着大知识、大智慧、大价值和大发展。大数据不光是一大堆数据的存在，更重要的是大数据还是一种思维方式和管理、治理路径。因此，应该引起充分的重视。我认为，对于企业营销来说，大数据的出现，乃是一个可以大幅度提升营销效果的良好契机。1.2大数据是怎么出现的大数据是数据量变积累达到质变的结果。比如，一张人骑马的照片就是一个人在骑马。但是，这张照片每秒就拍摄一张，如果每秒拍摄24张，照片就变成了电影。量变实现了质变。当今的世界，基本上一切都可以用数字表达，所以叫数字化的世界。纸质上的数据，只是很小的一部分。我们每天生产的电视电影、录音歌曲，手机拍摄的照片，卫星拍摄的图片，乃至个人计算机上记录的数据，可以说达到了海量之大。我们每个人都是数据的制造者。包括你打开电视机，走进电梯间，行驶在高速公路，以及下班路上超市购物单据，无不留下数据的足迹。大数据的时代特点其实，早在很多年前，人们就开始对数据进行利用。例如，航空公司就利用数据弄清楚应该给机票如何确定价位，银行利用数搞清楚应该把款项贷给谁。但是，直到最近，大数据才成为一种说法，成为人们日常生活的一部分。谷歌与脸谱的出现，使大数据改变了游戏规则。当他们面对较少用户时，储存他们的数据足迹不是困难事，但是面对超过10亿的好友，1万亿的网页搜索，就不得不创建新的技术，来储存、分析激增的数据。其他公司起而效仿，于是，大数据风生水起。大数据的时代特点1.3大数据与云计算的关系那么，大数据与云计算又是什么关系呢？微软的一位副总裁解释说：大数据与“云计算”就像一枚钢镚的两个面，二者相辅相成。大数据相当于储有海量信息的信息库；“云计算”相当于计算机和操作系统。如果没有大数据的信息积淀，“云计算”的能力再强大，也没有用武之地。大数据与“云计算”二者结合起来，将给世界带来一场深刻的管理技术革命与社会治理创新，当然，人才管理也包括在内。大数据的时代特点1.4大数据重视事物的关联性大数据有一个重要特点，就是“不讲为什么，重视关联性”。如果发现了某种关联性。就可以加以利用。在人才流动方面，国家发改委的研究人员发现了“榨菜指数”、“方便面指数”，就是它们的销售量与国内人才流动流向高度重合。例：沃尔玛的尿布啤酒效应大数据的时代特点1.5大数据的价值重在挖掘对于大数据，不仅要搜集它，更重要的是挖掘它。挖掘就是分析。目的是从中寻找关系、重点、规律，洞察其发展趋势。这就为管理者提供了莫大的帮助。凭借大数据，管理者将可以大幅度提升各行各业管理水平、治理能力。大数据的时代特点1.6大数据将颠覆诸多传统以往，社会科学研究常用的“抽样调查”，曾经被认为是社会文明得以建立的牢固基石，应用很广。其实，它只是在技术受到限制的特定时期，解决特定问题的一种无奈方法。现在，已经可以收集到过去无法收集到的信息，所以“样本就等于全部”。而且这样做，比使用抽样调查方法得出的结论要准确的多。有专家称：大数据将颠覆13个行业。互联网金融就是一个明显的案例。大数据的时代特点1.7大数据的本质是洞察（1）洞察工作重点。美国纽约市就有大量的井盖，但是作为管理部门，现在，每天只要打开50个井盖就可以保证城市平安运行了。为什么？原来他们对每个井盖都安装了感应器，实时汇聚各方信息，掌握了重要信息情报。。（2）洞察未来趋势。2008年，谷歌的一支研发团队利用网上搜集来个人搜索词汇的海量数据，赶在流行病专家之前两个星期，提前预测到甲型H1N1流感即将爆发。而且比专业机构还要提前，还要准确。大数据的时代特点（3）洞察管理规律。汽车交通死亡事故，有没有规律性？大数据告诉人们有。例如，在美国高峰在每天的晚六点到晚九点。而且越是天气热，问题越严重。这是大数据介入管理后发现的规律。美国汽车保有量是中国的3倍，但死亡人数是中国的二分之一。（4）洞察调度奥妙。农夫山泉原来没有利用大数据，造成统计速度极慢。数据汇总需要24小时。这样，就避免不了乱调度、闹笑话，制造混乱。利用大数据后，数据汇总只需0.67秒，而且可以实时获得准确数据，进行科学调度。大数据的时代特点（5）洞察客户需求。现在的电子商务非常火爆。他们掌握了大量商品订单，而且知道好的生产厂家是谁。电商将会变成最牛的生产公司。（6）洞察员工表现。国外高科技企业要员工做“工作日志”，就是把你一天的工作用计算机记录下来。比如，你平时培训学习的时间是多久？学习进度如何？等等这些数据都可以记录下来形成你的“勤奋镜像”；再加上你最近与客户联系过多少次，客户对你的反映如何等等。这不仅能够知道员工的真实表现，而且可以提前干预，避免绩效下降。大数据的时代特点（7）洞察客户诚信。众所周知，银行利润的一个重要来源就是贷款。但是，贷款有风险，最大的风险就是届时还不回来。因此，中央一再要求要帮助中小企业解决贷款困难，实际上谁都知道为什么总解决不了这个问题。问题就卡在银行无法知道哪家企业到底经营状况如何。连报表都真假难说。现在，有的银行开始与大数据联合，与电商联手。通过第三方电商获取的大数据，提升了贷款准确性，避免了赔本风险。（8）洞察合适人选。利用大数据找人，已经有成熟方法。各行各业都可以做到。对党政人才的选拔能不能一试？现在国外已经开始通过大数据挑选电视剧本的合适演员。整个过程有观众、影视粉丝参与。而且可以预测票房价值。大数据的时代特点为什么叫大数据时代人类社会的前进脚步采集社会农业社会工业社会信息社会计算机时代（机器可读，数据可算）互联网时代（信息传递，信息服务）大数据时代（生活、工作与思维的大变革）为什么叫大数据时代人类历史上的五次媒介革命人类利用信息的历史，经历了五次革命，媒介革命催生了数据大爆炸。以欧洲信息储存量为例，过去50年增长100%，今后3年将增长100%。第一次史前时期语言出现第二次公元前3500年文字出现第三次15世纪印刷术普及第四次19世纪中叶电话、广播、电视发明第五次20世纪中后期至今计算机互联网数字化为什么叫大数据时代大数据推进认知革命美国科学家说，大数据的影响犹如4个世纪之前人类发明了显微镜一样，把人类对自然界的观察与测量推进到“细胞”的级别，从而给人类社会带来历史性的进步与革命；今天的大数据将成为人类下一个观察自身行为的“显微镜”。这个新的显微镜，不仅将扩大人类的认知范围，推动人类知识增长，而且还将成为监测社会与自然的“仪表盘”，引领世界新的经济发展与繁荣。为什么叫大数据时代信息时代的三大定律徐继华等人在他们的著作中指出，要想理解大数据，必须弄清信息时代的三大定律。第一定律：摩尔定律1965年，英特尔创始人之一戈登.摩尔提出。该定律认为，同一面积的集成电路上，可容纳的晶体管数目每18个月翻一番，同时，性能提升一倍。也就是说，全世界对数据的储存与处理越来越快，越来越方便，越来越便宜。为什么叫大数据时代吉尔德定律乔治.吉尔德提出。这个定律又叫“胜利者浪费定律”。他说，成功的商业运作，总是将价格最低的资源尽可能地消费掉，以保留价格昂贵的资源。在蒸汽机时代，蒸汽机成本低于马匹成本时，聪明的商人总是将蒸汽机投入使用。今天，廉价的资源是计算机及其网络，所以，未来主干网带宽将6个月翻一番，再往后，人们可以免费上网，永远在线。为什么叫大数据时代麦特卡尔夫定律麦特卡尔夫是“以太网”发明人。该定律认为，网络的价值与其用户的平方成正比。也就是，N个连结能创造出N的平方的效益。这个定律的核心思想是“物以多为贵”。上网的人数越多，创造的价值越大。我们已经看到，无论是伊拉克战争，还是科索沃战争，轰炸目标都选在网络节点上。为什么？因为节点对网络的功能重要性大。为什么叫大数据时代数据成为战略资源人类储存信息量的增长速度比世界经济增长速度快4倍，而计算机处理能力的增长速度比世界经济增长速度快9倍。今天大数据已经成为解决各种世界难题的有力武器。在奥巴马看来，大数据是未来的新石油，对它的占有与控制，犹如对领地权、制海权、制空权的控制，反映的是一个国家的核心能力之大小。因此，他已经将大数据上升到国家战略高度。未来的世界可能会划分为大数据、小数据、无数据三个世界。大数据是怎么工作的数据+背景=信息信息+提炼=知识价值递增的变化趋势3.1解释：数据、信息与知识1.85--------------------------------------数据奥巴马身高1.85m----------------------信息大多数黑人男性身高超过1.85m-----知识大数据是怎么工作的3.2我们都在不停地制造数据现代人每天都在制造数据。早晨起来一打开电视，就记录了你在观看哪类节目；离家乘坐电梯，你就被录像保存备查；上班打开计算机，你一天干了什么全有记录。就是下班路上上一趟超市买菜，也被记录的清清楚楚。所以，我们每个人每天都在制造数据。同样，每个单位也在不断制造数据。还有遍布全市的感应器不断地把各种各样的信息反馈到一个指定的地方。这些信息汇集起来是相当庞大的数据。每天上传到社交网站的照片2.5亿张，如果打印出来，有80个埃菲尔铁塔那么高。大数据是怎么工作的3.3数据大了就有价值今天的世界，一切都可以数据化（感情大概比较难）。数据少了用处不大：数据大了就很有用处，就能够变成价值。大数据的利用，发展潜力大，应用广泛。大数据是怎么工作的3.4大数据促进就业@信息公开促进就业。由于推动信息公开、透明与共享，使得内部与外部利益相关者都提高了工作效率，产生了公共效益。例如，上海从2006年起，中国人民银行上海总部公开金融信息后，催生了一批金融信息咨询服务公司，拉动了10几万人就业。大数据是怎么工作的3.5大数据的利用过程大数据的利用涉及到诸多环节：搜集、汇总、保存、管理、分析、呈现。它很像我们以往对能源的利用一样，必须经过开采、汇集、保管、提炼、使用，这样一一对应起来方便理解。数据仓库、数据挖掘、商业智能。这些词汇，都可以使人产生联想，打开数据利用的想象空间。你就这样想吧——天上有云，地上有网，中间有数据。也有学者把大数据处理划分为四个阶段——（1）采集（利用多个数据库接受发自客户端的数据，并发数高）（2）导入/预处理（将数据导入到一个集中的大型分布式数据库，做一些简单的清洗和预处理）（3）统计/分析（进行普通分析和分类汇总）（4）挖掘（无预先设置的主题，在现有数据的基础上进行各种算法的计算，起到预测效果。有聚类等几种典型的算法）现在人们常说，与大数据相关的技术与能力已经成为一个国家至关重要的核心战略资源。社会需要大批大数据人才美国《哈佛商业评论》杂志认为，21世纪最热的职业是数据科学家。数据科学家的首要任务是，在数据的海洋中探索发现。他们要把散乱的数据变成结构化的、可供分析的数据，找出丰富的数据源，整合可能不完整的数据源，并清理成结果数据集，从而帮助决策者穿梭于各种分析，揭示蕴含在数据中的规律。到2015年，全球市场需要440万个信息技术岗位，每个岗位将催生3个非技术岗位，而现有市场仅能满足1/3的需求。麦肯锡预测未来6年，美国本土需要缺口为150万。社会需要大批大数据人才9.3大数据人才能力多元大数据人才从能力构成上讲，是多元的。神州数码副总郭为认为，关键是三种能力：IT技术能力、数学统计能力以及业务能力。IT能力包括软件硬件能力，数学统计能力包括数据挖掘能力，业务能力强才能科学建模。就大数据人才类型而言，有人认为，包括数据规划师、数据工程师、数据架构师、数据分析师、数据应用师、数据科学家等等。只有实现大数据人才的多元构成，