数据分析修炼手册

数据分析修炼手册目录数据分析修炼手册............................................................................................................................1前言...............................................................................................错误!未定义书签。数据分析师如何分类？...............................................................................................1数据分析师的具体工作职责和工作内容有哪些？......................................................3如何在业余时间成为数据分析师？............................................................................4数据分析实战与运用..................................................................................................9如何用Excel做数据分析？.......................................................................................10如何用Tableau做数据可视化？...............................................................................17数据分析师如何分类？入行之后，我才发现数据分析其实可以分为两种：一种类似产品经理、一种偏向数据挖掘，类似产品经理向更加注重业务，对业务能力要求比较高；数据挖掘向更加注重技术，对算法代码能力要求比较高。首先我说说这两种方向共同需要的技术面，当然以下只是按照数据分析入门的标准来写：1.SQL（数据库），我们都知道数据分析师每天都会处理海量的数据，这些数据来源于数据库，那么怎么从数据库取数据？如何建立两表、三表之间的关系？怎么取到自己想要的特定的数据？等等这些数据选择问题就是你首要考虑的问题，而这些问题都是通过SQL解决的，所以SQL是数据分析的最基础的技能，零基础学习SQL可以阅读这里：SQL教程_w3cschool2.统计学基础，数据分析的前提要对数据有感知，数据如何收集？数据整体分布是怎样的？如果有时间维度的话随着时间的变化是怎样的？数据的平均值是什么？数据的最大值最小值指什么？数据相关与回归、时间序列分析和预测等等，这些在网易公开课上倒是有不错的教程：哈里斯堡社区大学公开课：统计学入门_全24集_网易公开课3.Python或者R的基础，这一点是必备项也是加分项，在数据挖掘方向是必备项，语言相比较工具更加灵活也更加实用。至于学习资料：R语言我不太清楚，Python方向可以在廖雪峰廖老师的博客里看Python教程，面向零基础。再说说两者有区别的技能树：1.数据挖掘向我先打个前哨，想要在一两个月内快速成为数据挖掘向的数据分析师基本不可能，做数据挖掘必须要底子深基础牢，编程语言基础、算法、数据结构、统计学知识样样不能少，而这些不是你自习一两个月就能完全掌握的。所以想做数据挖掘方向的，一定要花时间把软件工程专业学习的计算机基础课程看完，这些课程包括：数据结构、算法，可以在这里一探究竟：如何学习数据结构？在此之后你可以动手用Python去尝试实现数据挖掘的十八大算法：数据挖掘18大算法实现以及其他相关经典DM算法2.产品经理向产品经理向需要你对业务感知能力强，对数据十分敏感，掌握常用的一些业务分析模型套路，企业经常招聘的岗位是：商业分析、数据运营、用户研究、策略分析等等。这方面的学习书籍就很多，看得越多掌握的方法越多，我说几本我看过的或者很多人推荐的书籍：《增长黑客》、《网站分析实战》、《精益数据分析》、《深入浅出数据分析》、《啤酒与尿布》、《数据之魅》、《StorytellingwithData》总之一百个人眼中有一百个哈姆雷特，一百个数据分析师对快速入门有一百种方法，但是万变不离其中，以上是我的愚见，希望能对你有所启发。因为我本人是属于商业数据分析师的角色，所以在接下来的讨论中奖主要围绕产品经理向的数据分析师。数据分析师的具体工作职责和工作内容有哪些？有关于这一块，我现在给大家贴几个链接。1、「数据分析师的具体工作职责和工作内容有哪些？」2、「数据分析师的日常工作有哪些？如何入门数据分析？」以下是我作为一个商业数据分析师自己的理解，我把数据分析师的工作日常总结为下面几个方面。「1」产生数据我这里所说的产生数据，并不是说去做开发或是做数据采集。我这里所说的数据是每当业务上有新的功能点需要开发上线的时候，数据分析师需要去围绕着这些功能会产生哪些业务变化、这个功能上线的目的是什么、上线之后该如何衡量效果等一系列问题，在功能上线前做好数据的埋点、以及可以衡量最终效果的指标。这样当功能上线的时候，你可以快速的衡量业务效果。「2」提供数据第一步的数据产生有方便了第二步的数据提供。提供数据可能是作为一个数据分析师每天都要做的事情，甚至有时候大半天都在做这件事情。数据需求的来源是多方的，各种业务方以及产品经理。商业数据分析师是公司业务方面的数据的出口，为了能准确的给需求方提供数据，你需要跟业务方有充分的沟通，对公司的数据维度有详细的了解。「3」解释数据作为数据分析师，是不能止步于提供数据的。提供数据之余，你也要会解释数据，这些数据是怎么来的？好的数据坏的数据都需要去知道，那样才能取长补短。春节期间用户购买vip的数量翻了一倍，为什么翻倍了？上周的用户留存降低了几个百分点，为什么降低？知乎的最近一周的活跃用户答题量下滑几个百分点？等等这些问题，都需要你一步一步的深入挖掘，而这背后的真正原因能够快速的做出预警或者给之后的发展一些很好的idea.「4」探索数据光有解释数据是不够的，因为数据分析并不是解决能看出来的问题，还要能提出发现解决一些探索性的问题。给新用户怎样的激励，才能让他们的次日留存达到最佳？比方说Linkedin探索出来的让新用户拥有六个以及以上好友可以很好提高他们的留存。探索数据通常是一个长期的比较大的项目，探索数据并不存在一个标准的答案，也通常可能是几个月出不了一个好的结论。「5」影响数据A/BTest是为了探索更好的方向，更受用户喜欢的功能。通过数据论证可以说服业务方听询数据分析师的意见。推送的消息文本应该怎么发？发给几个实验组看看效果；这个按钮应该设计成什么颜色，配上什么文字？多设计几套上线几个不同分组看效果。通过不断的A/BTest，数据分析师会更好的辅助产品的迭代，影响数据的产生。如何在业余时间成为数据分析师？以下方法仅适用开发出身或有语言基础的同学。我的情况跟题主是一样的，软件工程出身，在之前一直在做Java/Python开发，无意之中接触到了爬虫，接触了一堆一堆的数据，之后慢慢开始对数据感兴趣，开始学习一些数据分析的技能：凭着爬虫以及数据分析的技能我找到了理想中的数据分析岗位。所以我对自己的评价一直是：科班出身的软件工程师、野路子的数据分析师。从Java/Python开发到Python爬虫到数据分析，有很多人是看着我一步一步走过来的，我想在这里根据我自己这段野路子的学习经历说一说非科班如何利用业余时间学数据分析，当然只是数据分析，不是数据挖掘。数据分析师的能力分为：分析能力和业务能力，分析能力决定一个数据分析师的下限，业务能力决定一个数据分析师的上限。因为是开发出身，我的方法与其他人的不同，我把数据分析的学习分为两个大的阶段，：学习的第一阶段：这一阶段是为了培养自己做分析的能力第一阶段的基础是要有数据分析能力相对来说是死板的，通常你需要学会掌握下面这些技能：数据分析常用哪些算法？需要用哪些库？如何进行计算？进行可视化，每一种图表的用途是什么？为了解决上面抛出的问题，你可以仔细学习阅读下面的书籍：1.利用Python进行数据分析(豆瓣)2.SciPyandNumPy(豆瓣)当然，如果你不想用Pyhton用R去搞这么复杂的计算，那你也可以直接把清理好的数据扔在一些做计算和可视化的工具里，我比较熟悉的就是：Tableau，以及据说不错的PowerBI.当然最后你发现还是学习Python或者R的数据分析库来的实在，因为他们更加灵活。在第一阶段用工具结合Python我留下了一些文章，可以作为参考，这些都是在爬虫抓了很多数据之后，先有数据后结合教程书籍分析学习产生的内容。1.链家网的租房数据做些有意思的事情？2.豆瓣读书分析报告3.爬取6.6w+豆瓣电影之后的分析故事学习的第二阶段：这一阶段是为了培养自己做业务的能力在第一阶段的学习你已经学会了：对数据的整体感知知道什么时候该用什么图表掌握了一些基本的算法和分析库这一阶段，技术不再是你的障碍，重点是要有IDEA这一阶段数据分析的步骤通常为：我想要做什么？分析什么？是否有数据能提供支持？把你想做的抽象成数据。数据获取/数据清洗开始进行分析（语言、工具）我们能看到这四个步骤后两个步骤是在第一阶段学习的内容，所以我们只要把精力聚焦在前两个步骤就可以了，那么怎样培养自己数据分析的IDEA，我的方法是：多学多看多做。多看：看一些实战IDEA较多的书籍1.数据之美(豆瓣)2.啤酒与尿布(豆瓣)3.深入浅出数据分析(豆瓣)多做：网络上有很多数据分析的案例，很简单易懂，在深层的技术点也不难，你完全可以按照他的思路重新做一遍，就变成了你的思路了。数据冰山的数据分析文章：1.生活中的数据犀利哥之一：开篇及选车2.生活中的数据犀利哥之二：排队3.生活中的数据犀利哥之三：找座4.生活中的数据犀利哥之四：看趋势5.生活中的数据犀利哥之五：找错因果关系6.生活中的数据犀利哥之六：快递员送货7.北上广深哪里过得更潇洒8.沧海横流，看行业起伏（2015年）9.和颐事件之后:怎么定酒店更有安全感？10.老鹿玩数据——不光是求婚神器（一）11.老鹿玩数据——不光是求婚神器（二）12.《春节自救指南》之数据分析还有我曾经写的几篇文章：1.如何判断一场知乎live的质量？2.豆瓣5.6分的《西游伏妖篇》有水军吗？团支书的一些回答和文章：1.怎样才能以最少的钱租个靠近地铁的房子？2.「上海富了周围，北京坑了周围」？-知乎3.如何不吹牛地形容北京有多大？-知乎等等几位的文章都可以用来学习参考。通过以上数据分析算是入门了，至于如何进阶，我也在摸索中，希望有机会我可以更新到这篇回答里，也欢迎在学习数据分析的同学一起交流。数据分析实战与运用自从我的知乎读者到达十万之后，我经常会受到各种私信问我为什么能有这么多读者，有什么小技巧可以分享，我经常给到的回复是：数据分析。我的知乎能在一年多时间里从零到十五万是我一步一步分析到实践的结果，那么简单来说一说我从哪些方面做的。1.经常分析研究精华回答精华回答就是知乎社区或者话题下赞同数量最多的回答，答案赞同越多答主曝光率越高，那么被关注的机会就越大，那么如何写一个高赞精华回答就很重要，如何写高赞的回答？把擅长的话题或者知乎的根话题下所有精华回答拉出来，拿一个笔记本对每一个回答做归类做分析，学习高赞回答的文风、思路，对我来说收获非常大。当然，并不是所有的高赞回答都会增粉的，那么这些就是需要结合具体的回答以及回答者的涨粉情况去慢慢分析琢磨了。2.经常