数据分析入门以及方法论

数据分析方法论邓超什么是数据分析方法论•数据分析方法论主要指一次完整的分析的主导思想。包括从哪些方面开展分析？各方面分析的内容和指标？•从鸿观上来说。分析方法论是数据分析的规划。指导后期分析工作的开展。•方法论主要方法包括：•对比分析•交叉分析•相关分析•回归分析•聚类分析等为什么要引入方法论来进行数据分析很多人在做数据分析的时候。经常发现这样几个问题1、不知道从哪里入手开展分析2、分析的内容和指标常常被质疑是否合理。完整。自己也说不出所以然来。而数据分析方法论的主要作用就在于：1、理顺分析思路，确保分析结构的体系化和系统化2、把问题分解成关联的部分，并解析他们的关系3、为后续的分析开展指导方向4、确保分析结果的有效性和正确性常用的分析方法论•1、PEST分析法•PEST为一种企业所处宏观环境分析模型，所谓PEST即Political（政治），Economic（经济）,Social（社会）andTechnological（科技）.这些是企业的外部环境，一般不受企业掌握，这些因素也被戏称为“pest（有害物）”•在引入PEST分析法时，一般会先进行归因分析。将企业内外的一些信息进行归类。然后组合5W2H分析法•5W2H分析法又叫七何分析法，是二战中美国陆军兵器修理部首创。•发明者用五个以W开头的英语单词和两个以H开头的英语单词进行设问，发现解决问题的线索，寻找发明思路，进行设计构思，从而搞出新的发明项目，这就叫做5W2H法。•（1）WHAT——是什么？目的是什么？做什么工作？•（2）HOW——怎么做？如何提高效率？如何实施？方法怎样？•（3）WHY——为什么？为什么要这么做？理由何在？原因是什么？造成这样的结果为什么？•（4）WHEN——何时？什么时间完成？什么时机最适宜？•（5）WHERE——何处？在哪里做？从哪里入手？•（6）WHO——谁？由谁来承担？谁来完成？谁负责？•（7）HOWMUCH——多少？做到什么程度？数量如何？质量水平如何？费用产出如何？5W2H应用领域•由于此方法简单直观有效，我们很多时候。用这种分析方法来分析用户行为逻辑树分析法•1、逻辑树又称问题树、演绎树或分解树等。逻辑树是将问题的所有子问题分层罗列，从最高层开始，并逐步向下扩展。把一个已知问题当成树干，然后开始考虑这个问题和哪些相关问题或者子任务有关。每想到一点，就给这个问题（也就是树干）加一个“树枝”，并标明这个“树枝”代表什么问题。一个大的“树枝”上还可以有小的“树枝”，如此类推，找出问题的所有相关联项目。逻辑树主要是帮助你理清自己的思路，不进行重复和无关的思考。2、逻辑树能保证解决问题的过程的完整性;它能将工作细分为一些利于操作的部分;确定各部分的优先顺序;明确地把责任落实到个人。3、逻辑树是所界定的问题与议题之间的纽带;它能在解决问题的小组内建立一种共识。拆解方法逻辑树分析法需要注意以下三个原则：1、要素归纳要完整2、框架设计要合理，做到不漏不重3、框架内的要素要保持必要的相互关系。不过逻辑树分析也有其局限性。就是涉及到问题可能会有遗漏。虽然可以通过罗列的方式展示。但是难免会有考虑不周的情况。这个时候就必须要引入头脑风暴案例：逻辑树分析法分析利润增长放缓利润的降低可以采用多种维度的分析。其中最常见的就是将利润划分为：收入，成本还有其他。一般而言。利润下降是多种因素共同作用的结果。但是往往是收入起主导作用，在分析时也是重点关注对象4p分析法•20世纪60年代由杰罗姆·麦克锡提出的一个关于市场营销学的概念，4P解释为：(1)产品(product)，指企业提供其目标市场的货物或劳务，其中包括产品质量、样式、规格、包装、服务等。(2)价格(price)，指顾客购买产品时的价格，包括折扣、支付期限等。(3)地点(place)，指产品进入市场或达到目标市场的种种活动，包括渠道、区域、场所、运输等。(4)促销(promotion)，指企业宣传介绍其产品和说服顾客购买其产品所进行的种种活动，其中包括广告、宣传公关、人员推销、推销活动等应用领域•4p法主要的应用领域在公司的整体运营上、这种方法再结合逻辑树分析法就可以得到一个非常完整的公司整体运营状况的分析结果。漏斗转化模型•漏斗模型一般适用于业务流程比较规范，周期较长，而各个环节涉及到复杂业务较多的管理工具。漏斗的优点是直观，直接。明显。能够快速看到问题所在。例如之前我提到过的关于关键路径转化率的漏斗分析模型，不仅能现实用户从进入网站到实现购买的最终转化率。同时能够精确的将指责细分到每个产品经理。矩阵关联分析•矩阵分析法是根据事物的两个重要指标进行分析挖掘的工具。•以属性A为横轴，属性B为纵轴，组成一个坐标系。然后在两个坐标系中按照某一个指标进行刻度划分（平均值，经验值，行业水品等）。构成四个象限。然后将需要分析的事物投射到这四个象限内。进行交叉分析。就可以直观显示事物之间的属性关系了。例如关于客户满意度的属性分析：矩阵分析案例•客户满意度分析作图的步骤：1、利用满意度和重要性划分坐标轴2、设置刻度。将坐标轴划分为四个象限3、分别取调研值。并进行权重分析。然后每个每个用户确定一个X值。一个y值。4、绘制分析矩阵发展矩阵跟踪•有时候要长期研究用户的满意度变化情况。这个时候就需要将一定周期内的变化情况绘制成发展矩阵。通过发展矩阵能够了解用户满意度变化情况：如图：实线标识从09年到10年满意度变化情况。虚线标识从10年到11年变化趋势举一反三•矩阵法还可以做哪些衍生？•例如：改进难易程度例如：利润占比多维度结合法•以上的方法往往不是独立使用的。在做一个分析的报告的时候会用到多种分析方法组合的模式。例如：在上周的培训中已经说过了。关于用户行为数据有着很多指标。这么多的指标不可能通过只通过一种方法就将所有的分析维度进行关联更多的时候我们会组合使用：案例：用户行为轨迹描述用户的在电商网站上的基本认知轨迹是：认知，熟悉试用，使用，忠诚。最后的忠诚是最终目的。在这个过程中用户的动作会有大量的冗余操作。这些数据就构成了一个用户行为的网。在做分析的时候需要将这个网进行拆分。用到5w2h方法，用到逻辑树法。而一个用户网购行为受经济影响巨大，所以也必然会引用到PEST归类。诸多方法的组合，才构成了最后的用户最终购买算法介绍•1、加权算法•再分析中，常常会运用到加权算法。目前的加权算法比较多。有专家访谈法，德尔菲法，层次分析法，主成分分析法，因子分析法，回归分析法。但是这些方法都较为复杂，操作起来相当困难。都需要数学基础。这里介绍一种相对简单的权重确认法。我们称之为目标优化矩阵。•2、目标优化矩阵介绍•目标优化矩阵的原理是将人脑的模糊思维，简化为计算机的1/0式逻辑思维。最后得到量化的结果。这种方法简单，方便快捷。而且用途广泛。它不但可以用来做目标的优化。而且可以项目的排序。重要性排序•3、对于权重数值：•对于权重数值的确认，一般需要有经验的专业人士。通过投票来确定重要性。从而获得权重数值案例：目标优化矩阵在实践中的应用•Hr评判权重：在人才评价体中，有四个指标。分别是人品，动手能力，创新意识，教育背景。公司的hr需要对每个应试者进行打分。并计算综合得分。现在要确定权重。我们的计算方法如下：分别在横轴和纵轴都列出人品，动手能力，创新意识，教育背景。然后两两比较。如果超过重要就填入1，如果不如重要就填入0：例如：使用时的注意事项：1、在最终的计算结果中发现，如果发现有项目是0分，就可以在全体增加一份的方式进行等比放大。2、公式：权重=某指标的综合性计分/所有指标的综合性计分。例如：人品调整后分数为3分。调整后总分为10分。则人品的权重为3/10=0.33.将此权重进行等比分析即可图表的使用•目前常见的图表包括：•表格，饼图，条形图，柱形图，折线图，散点图。•有些报表是可以通用的。但是对一些特定的报表必须要采用一些特别的表现方式。下面我就一一讲解了解数据关系•想要搞清楚报表在什么场景下使用。第一需要知道的数据之间的关系，这些关系包括以下六种：•成分，排序，时间顺序，频率分布，相关性，多重数据比较。•首先说成分：成分又叫做构成。是只整体的一部分。一般来说是将整体进行切分的结果。最常见例子的就是披萨。如果一个披萨女孩子吃了四分之一。我们就认为女生吃了２５％。而成分最长用的标新图表就是饼图。但是实际上还有柱状图和折线图也可以表现。例如。关于性别的比例排序和时间顺序•排序：顾名思义就是根据需要比较项目之间的数值大小进行的排列序号。从大到小。或者从小到大。常用来分析线性的数据。最常用的是柱状图和折线图：•时间顺序:表示的而是某一个具体事务在具体时间内的变化。这个时候千万注意不能按照大小来排序。而应该根据时间不可随意调整和修正频率分布•频率分布和排序类似。表现的是各个相聚。类别之间的比较。只是频率分布是以区间的形式展现。是一种特别的排序累图表。注意：频率分布只能按照横轴的数据来描述。而不能根据纵轴大小来排序。例如。下图中问题，商品价格区间报告。只能按早商品价格区间排序。而不能按照销售来排序。否则就会显得很乱。相关性•相关性：•是用来衡量两个类目之间的关系。用来观察一个类目数据的变化引发的另外一个类目的变化。例如价格和销售额。一般使用散点图来查看：•例如：散点图注意点：1、散点图是用以做定性分析。如果想要分析更加精细的维度。必须做定量分析2、坐标轴可以进一步划分，现实公司雷达图•当决策项目过多。无法看出趋势的时候。非常直观的方式就是采用雷达图来查看。例如下图：ABC三款电脑。当以柱状图呈现的时候。是看不出什么区别的。但是。如果我们转化一下。雷达图注意事项•1、如果要雷达图看起来优美。所有的数据必须换算成统一的格式。例如百分比。或者数值性质。•2、横轴纵轴可以进行切换。也就是雷达图可以反映一个事物的多个维度。也可以反映多个事物描述的痛一个维度。•3、雷达图使用过程中尽量不要和其他图混合使用。第二课时关于本章课程•上周讲的课程相对较浅。很多分析方法要结合实践分析才能达到最终效果。本章将重点阐述一些实践性课程。•上周涉及较多的是定性思维分析方法。而本周将针对上周所阐述的方法进行定量方法拆解。-31-PEST推论应用—因子分解法因子分析是什么因子分析是将多个实测变量转换为少数几个不相关的综合指标（因子）的多元统计方法因子分析能做什么浓缩和提炼数据，以较少的几个因子反映原资料的大部分信息寻求数据的基本结构，从原始数据中提取的几个因子分别从不同侧面反映某个事物-32-因子分析的关键点因子分析在市场研究领域应用的意义在市场研究中往往会选择多个变量来描述某个事物，如果直接对观测变量进行分析就会增加问题分析的复杂性，而且分析结果的经济意义往往也难以解释利用因子分析方法从若干观测变量中提取几个因子，再对提取的因子做进一步的分析可以使结果更加清晰，也更易于解释-33-应用领域和解决的典型问题因子分析在市场研究领域应用的越来越广泛。作为一种比较高级的统计分析技术，因子分析的结果不但可以直接揭示某些隐含的信息，还可以为其他很多分析提供支持因子分析＋聚类分析市场细分•通过对提取的因子做聚类分析将受访者分成不同的人群•考察不同人群在人口、社会、经济学等方面的特征，为客户提供细分市场潜在用户的全方位信息，为客户在目标市场大展鸿图指明方向•市场细分能够帮助客户寻找并描述自己的目标市场。由于目标市场与普通市场相比有更多的收益潜力，因此市场细分的研究意义重大-34-应用领域和解决的典型问题因子分析＋回归分析满意度研究•满意度研究需要设计变量数目众多、层次分明的满意度指标体系，为了使满意度研究问卷设计的合理、更科学，必须在满意度研究的预调查阶段对指标设置的合理性进行检验•进行因子分析可以发现哪些指标是可以从指标体系中剔除的，也可以考察指标的设置是否满足了设计初衷（即指标的分类是否合理）•根据因子分析的结果可以提取一些关键的指标进行竞争对手之间的比较，做到有的放矢•通过对提取的因子进行多元回归分析能够在调查之初发现满意度研究的哪个环节是需要关注的重点-35-应用领域和解决的典型