20180722智慧水务资料包08大数据谁说菜鸟不会数据分析

第　　章数据分析那些事儿数据分析是“神马”数据分析六步曲几个常用指标或术语1谁说菜鸟不会数据分析出场人物：牛董，关键词：私企董事长、要求严格、为人苛刻；小白，关键词：应届毕业生，刚入职场的伪白骨精（白领+骨干+精英）、牛董助手、爱臆想；Mr.林，关键词：小白同事、数据分析达人、成熟男士、乐于助人、做事严谨。话说小白过五关斩六将，通过严格的面试，最终从众多优秀毕业生中脱颖而出，成为公司的一员。在报到的第一天，公司HR向小白介绍了她的职位——公司牛董的助理，负责文秘工作，可能需要做一些数据分析之类的活儿。小白一听到数据分析这个词，就感觉头皮发麻，这时，她的脑子里幻想出一些穿白大褂的科研人员在实验室的计算机前不断忙碌的场景。虽然在上大学时也使用过Excel，但是如果要做数据分析工作，她还真的有些不知如何下手。无数个问号涌到她的脑海中：数据分析到底要做什么呢？我要怎么做数据分析？老板想要看什么样的结果呢？……唉，只好边走边干了。HR看出小白的心事，说道：关于数据分析你不用太担心，如果遇到难题，你可以请教我们公司的Mr.林，他在这方面可是专家喔！小白一听有救星，立马兴奋起来，好像抓到救命稻草一样，想赶紧找到这位大师级人物，然后一股脑把疑问全倒出来。HR：小白，你跟我来吧，我给你引荐下Mr.林。小白：好的。说着小白跟HR来到了Mr.林的办公桌旁，HR说道：Mr.林，这是我们公司新来的同事，叫小白，现担任牛董助理，她的部分工作涉及数据分析，到时候有问题还要麻烦您多多指点了。小白紧跟着说道：Mr.林，您好，请多多指教。Mr.林：呵呵，太客气了，有问题直接来找我就可以了。小白趁机说道：我现在就有问题，您现在是否有时间帮我解答下？数据分析是干什么的，具体要怎么做？Mr.林听完后，笑了起来：你还真是不客气呀，好吧，你刚进公司，我就先给你做个简单的培训，带你入个门吧，以后的修行可就靠你自己努力了。小白用力点着头，HR见这“师徒”二人颇有一见如故之感，大致交代一番后，就离开了。1.1　数据分析是“神马”Mr.林接着说道：小白，既然要学习数据分析，借用现在的网络流行语，你能说说数据分析是“神马”么？章　数据分析那些事13小白：呵呵，数据分析肯定不是“浮云”。从字面上理解，数据分析就是对数据进行分析。Mr.林，我只能理解到这一层面了，专业的解释就需要您来指教了。1.1.1　何谓数据分析Mr.林：简单来说，数据分析就是你刚才讲的——对数据进行分析。较为专业的说法，数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总、理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这里数据也称观测值，是通过实验、测量、观察、调查等方式获取的结果，常常以数量的形式展现出来。数据分析数据分析的目的是把隐藏在一大批看似杂乱无章的数据背后的信息集中和提炼出来，总结出研究对象的内在规律。在实际工作当中，数据分析能够帮助管理者进行判断和决策，以便采取适当策略与行动。例如，如果企业的高层希望通过市场分析和研究，把握当前产品的市场动向，制订合理的产品研发和销售计划，就必须依赖数据分析才能完成。在统计学领域，有些学者将数据分析划分为描述性数据分析、探索性数据分析以及验证性数据分析（参见图1-1）。其中，探索性数据分析侧重于在数据之中发现新的特征，而验证性数据分析则侧重于验证已有假设的真伪性。图1-1　数据分析类别从另一个角度看，描述性数据分析属于初级数据分析，常见的分析方法有对比分析法、平均分析法、交叉分析法等；而探索性数据分析以及验证性数据分析属于高级数据分谁说菜鸟不会数据分析析，常见的分析方法有相关分析、因子分析、回归分析等。我们日常学习和工作中涉及的数据分析方法主要是描述性数据分析，也就是大家常用的初级数据分析。1.1.2　数据分析的广阔前景Mr.林：数据分析作为一个新的行业领域正在全球迅速发展，它开辟了人类获取知识的新途径。目前，数据库技术、软件工具、各硬件设备飞速发展，在这些软硬件技术与设备的支持下，信息技术应用已在各行各业全面展开，尤其是对通信、互联网、金融等行业的发展做出了巨大贡献，并且经过长期的应用积累大量丰富的数据。但大部分企业对其存储信息利用率极低。庞大的历史数据是否有价值？有何价值？是否可以综合利用分析？是否能够为领导决策提供参考依据？回答是肯定的，数据分析这一项工作越来越受到领导层的重视，借助数据分析的各种工具从海量的历史数据中提取、挖掘对业务发展有价值的、潜在的知识，找出趋势，为决策层的决策提供有力的依据，对产品或服务的发展方向起到积极作用，有力推动企业内部的科学化、信息化管理。从20世纪90年代起，欧美国家开始大量培养数据分析师，直到现在，对数据分析师的需求仍然长盛不衰，而且还有扩展之势。根据美国劳工部预测，到2018年，数据分析师的需求量将增长20%。就算你不是数据分析师，但数据分析技能也是未来必不可少的工作技能之一。小白：数据分析师如此抢手的原因何在呢？Mr.林：一个简单的原因就是社会越发达，人们对数据的依赖就越多。无论政府决策还是公司运营，科学研究还是媒体宣传，都需要数据支持。那么，对数据有如此大的依赖，就必然导致对数据分析的大量需求。因此，将数据转化为知识、结论和规律，就是数据分析的作用和价值。小白：那数据究竟会庞大到什么地步呢？Mr.林：据国际知名咨询公司估计，到2020年，全球每年产生的数据量将达到3500万亿GB，打个比方，就是用普通的DVD一张一张地摞起来，可以从地球摞两个堆一直到月球。全球每年产生的数据量章　数据分析那些事15面对这样庞大的数据，数据分析师的职责就不仅仅是单纯的分析了，更重要的是与相关业务部门进行合作，将数据真正应用到业务中，根据实际的业务发展情况识别哪些数据可用，哪些不适用，而不是孤立地在“真空环境”下进行分析。这就要求数据分析师不仅具备洞察数据的能力，还要对相关业务的背景有深入的了解，明白客户或业务部门的需求，从而将数据信息化、可视化，最后转化为生产力，帮助企业获得利润。这就是整个数据“供应链”。当然数据分析师也需要理解这个“供应链”。小白：那怎样才能成为一名优秀的数据分析师呢？Mr.林：学习数据分析需要时间和经验的积累，而不能一蹴而就。在工作中运用不同的分析方法对数据进行分析，并与业务部门同事积极沟通，加深自己对整个行业或研究内容的理解，相信在两到三年内，一个优秀的数据分析师就会诞生。1.1.3　菜鸟与数据分析师小白听完Mr.林对数据分析的介绍后，问道：数据分析这么有用，那成为一个优秀的数据分析师要具备哪些素质呢？以我现在的能力可以做数据分析师吗？Mr.林看了看小白说：小白，先别着急。我们先来看看菜鸟与数据分析师之间的差别。刚好我这儿有张菜鸟与数据分析师想法对比图（参见图1-2），你可以对比一下，看看自己在哪些方面还是菜鸟，在哪些方面已经达到了数据分析师的水平。从他们思考问题的不同方式，就能发现为什么一个是菜鸟，而另外一个是数据分析师了。图1-2　菜鸟与数据分析师的区别Mr.林：小白，从菜鸟与数据分析师想法对比图中，你发现菜鸟与数据分析师有什么区别了吗？谁说菜鸟不会数据分析小白：我发现，菜鸟很迷茫，目的不明确，而且一味追求高级的分析方法。而数据分析师的目的就很明确，一切都以解决问题为中心。Mr.林：说得好！其实他们最主要的区别就在于目的是否明确，如果目的明确，所有问题就自然迎刃而解了。例如，分析师是不会考虑“需要多少张图表”这样的问题的，而是思考这个图表是否有效表达了观点？如果没有，需要怎样调整？如果目的不明确，菜鸟自然会在用什么样的分析方法、作多少张图表、需要多少文字说明、报告要写多少页等这些问题上纠结。小白：我明白了，我不要做菜鸟，我要朝着数据分析师的方向努力。1.1.4　数据分析师的基本素质Mr.林看到小白斗志昂扬的样子非常高兴：别光说不做啊，要成为一名优秀的数据分析师，并非一件容易的事。虽然所学的专业与数据分析不相关，但你可以通过工作中的实践学习数据分析，需要付出大量的时间和精力，不经一番寒彻骨，怎得梅花扑鼻香？下面，我给你介绍一名合格的数据分析师需要具备的五大基本能力和素质。态度严谨负责严谨负责是数据分析师的必备素质之一，只有本着严谨负责的态度，才能保证数据的客观、准确。在企业里，数据分析师可以说是企业的医生，他们通过对企业运营数据的分析，为企业寻找症结及问题。一名合格的数据分析师，应具有严谨、负责的态度，保持中立立场，客观评价企业发展过程中存在的问题，为决策层提供有效的参考依据；不应受其他因素影响而更改数据，隐瞒企业存在的问题，这样做对企业发展是非常不利的，甚至会造成严重的后果。而且，对数据分析师自身来说，也是前途尽毁，从此以后所做的数据分析结果都将受到质疑，因为你已经不再是可信赖的人，在同事、领导、客户面前已经失去了信任。所以，作为一名数据分析师就必须持有严谨负责的态度，这也是最基本的职业道德。严谨负责章　数据分析那些事17好奇心强烈好奇心人皆有之，但是作为数据分析师，这份好奇心就应该更强烈，要积极主动地发现和挖掘隐藏在数据内部的真相。在数据分析师的脑子里，应该充满着无数个“为什么”，为什么是这样的结果，为什么不是那样的结果，导致这个结果的原因是什么，为什么结果不是预期的那样等等。这一系列问题都要在进行数据分析时提出来，并且通过数据分析，给自己一个满意的答案。越是优秀的数据分析师，好奇心也越不容易满足，回答了一个问题，又会抛出一个新的问题，继续研究下去。只有拥有了这样一种刨根问底的精神，才会对数据和结论保持敏感，继而顺藤摸瓜，找出数据背后的真相。好奇心强烈逻辑思维清晰除了一颗探索真相的好奇心，数据分析师还需要具备缜密的思维和清晰的逻辑推理能力。我记得有位大师说过：结构为王。何谓结构，结构就是我们常说的逻辑，不论说话还是写文章，都要有条理，有目的，不可眉毛胡子一把抓，不分主次。通常从事数据分析时所面对的商业问题都是较为复杂的，我们要考虑错综复杂的成因，分析所面对的各种复杂的环境因素，并在若干发展可能性中选择一个最优的方向。这就需要我们对事实有足够的了解，同时也需要我们能真正理清问题的整体以及局部的结构，在深度思考后，理清结构中相互的逻辑关系，只有这样才能真正客观地、科学地找到商业问题的答案。谁说菜鸟不会数据分析逻辑思维清晰擅长模仿在做数据分析时，有自己的想法固然重要，但是“前车之鉴”也是非常有必要学习的，它能帮助数据分析师迅速地成长，因此，模仿是快速提高学习成果的有效方法。这里说的模仿主要是参考他人优秀的分析思路和方法，而并不是说直接“照搬”。成功的模仿需要领会他人方法精髓，理解其分析原理，透过表面达到实质。万变不离其宗，要善于将这些精华转化为自己的知识，否则，只能是“一直在模仿，从未超越过”。擅长模仿勇于创新通过模仿可以借鉴他人的成功经验，但模仿的时间不宜太长，并且建议每次模仿后都要进行总结，提出可以改进的地方，甚至要有所创新。创新是一个优秀数据分析师应具备的精神，只有不断的创新，才能提高自己的分析水平，使自己站在更高的角度来分析问题，为整个研究领域乃至社会带来更多的价值。现在的分析方法和研究课题千变万化，墨守成规是无法很好地解决所面临的新问题的。章　数据分析那些事19勇于创新听到这里，小白就掰着手指头算自己符合几条优秀数据分析师的素质和能力。Mr.林继续说道：这些素质能力不是说有就有的，需要慢慢培养形成，不能一蹴而就。小白：……1.2　数据分析六步曲Mr.林：小白，刚才已经介绍了一名合格的数据分析师需要具备的五大基本能力和素质，现在我们就来看看如何进行数据分析吧！先问你一个问题，你知道数据分析是怎样一个过程吗？小白一时语塞：这个……