电商经济形态背景下的数据挖掘、大数据分析技术及实用案例

引言2随着云计算、物联网、社交网络等新兴服务的兴起，人类社会的数据种类和规模正以前所未有的速度增长，大数据时代正式到来。数据从简单的处理对象开始转变为一种基础性资源，如何更好地管理和利用数据，从已有的数据资源中挖掘出更大的价值已经成为普遍关注的话题。本课程从数据挖掘以及数据分析讲起，结合大数据背景时代行业特点与现状，希望能对如何利用当前数据资源开展数据挖掘工作及有效的进行数据收益分析做一些有益的探讨。第一篇思维模式篇要想上战场杀敌，你首先得让自己成为一个士兵！找准定位精准定位视角责权渠道效果4视角视角视角89企业的决策结构相当于中枢神经系统，情报系统相当于神经系统，资金管理相当于血液，知识管理（方法、工具）相当于骨架，人力资源（能力）相当于肌肉。传导≠动作反应信息情报≠管理决策如何理解信息情报的功能性——责权情报的多渠道来源——不同渠道的情报内容不同时效提炼甄别同行合作伙伴网络朋友人力资源分支技术来源分支经济来源分支情报圈•国家经济指标•房地产•消费水平•股市资讯公司分支分析报表、CEOS销售人员广告宣传活动客户竞争对手技术来源分支•信息收集•信息分析•情报储存•信息情报传递渠道11内部信息•公司战略•营销政策•产品服务数据•财务报表•市场分析报告•销售人员业绩外部信息•媒体新闻•行业统计•股市资讯•同行网站•分销商报表渠道信息情报来源真实性评估据美国308家公司的调查结果显示：销售人员96%顾客92%行业期刊89%公司的促销材料84%营销研究人员83%对竞争对手产品的分析81%公司的年度报告77%会议、贸易展会74%分销商70%供应商65%渠道如何应用情报的？——13•谁在用？•为什么用？•谁没有用情报？为什么？•在什么情况下用？•通过什么方式？•使用者是如何获得情报的？•他们获得情报的意愿如何？效果情报工作中可能出现的问题——14工作重点不明确：最佳分配5%10%30%15%20%20%实际使用5%5%20%50%5%25%确定需求搜集情报识别筛选研究整理提供传播沟通说服效果15报告种类描述战略价值水平目标客户报告的频率新闻公告包括来源于内部和外部的战略及战术方面的信息。包括：已印刷出版或未印刷出版的信息低一线销售人员市场推广/销售管理人员其他管理人员每月一次或每周一次竞争对手简介包括竞争对手的基本情况，通常是放在一个文件夹或可供随时检索的数据库内，并可经常进行更新低市场推广/销售管理人员前线销售人员其他管理人员按要求而定战略影响工作表和新闻公告近似，但会确认对企业战略和战术有影响的事件中市场推广/销售管理人员其他管理人员每月一次每月情报简报包括主要的战略新闻和影响因素，以高度浓缩的形式报告中高级管理人员其他管理人员每月一次形势分析汇总主要的战略问题，并包括支持汇总的详尽分析中-高高级管理人员其他管理人员按要求而定特别情报汇总关于某一确认情况或问题的一到两页长度的报告。汇总主要的支持性分析，并提供相应行动的建议高高级管理人员按要求而定效果16第二篇行动实践篇我们应如该何操作？Contents目录17数据挖掘与分析的基本概念数据挖掘与分析的流程及方法数据挖掘与分析系统框架的设计数据挖掘与分析的基本概念定义历史特点功能重要性18第一部分19我们身边的数据挖掘与分析如今，网上购物已成为大部分人的消费趋势与习惯，而大家在网上购物时，经常会收到系统做出的个性化推荐。比如：亚马逊会推荐你可能会喜欢看的图书，淘宝会根据你的购物和浏览记录推荐你可能感兴趣的商品。所有这些推荐结果都来自于各式各样的推荐系统，它们依靠计算机算法运行，根据顾客的浏览、搜索、下单和喜好，为顾客选择他们可能会喜欢、有可能会购买的商品，从而增加潜在的销售。定义——数据挖掘分析是什么？20•技术层面：探查和分析大量数据以发现有意义的模式和规则的过程。•商业层面：是一种商业信息处理技术，特点是对大量业务数据进行抽取，转换，分析和建模处理，从中提取辅助商业决策的关键性数据。海量数据知识库数据挖掘21电子邮件阶段•从上世纪70年开始，平均的通讯量以每年几倍的速度增长。信息发布阶段•从1995年起，以WEB技术为代表的信息发布系统，爆炸式地成长起来，成为目前Internet的主要应用。电子商务阶段•1997年底召开的APEC会议中提出各国共同促进电子商务发展的议案，引起全球的关注。1998年被称为电子商务年。全程电子商务阶段•随着SaaS(Softwareasaservice)软件服务模式的出现，延长了电子商务链条，形成了当下最新的“全程电子商务”概念模式。数据挖掘分析的发展历史22数据挖掘与分析的重要性：•电信：客户流失•银行：客户细分；交叉销售•百货公司/超市：购物篮分析•保险公司：客户细分；流失•信用卡：欺诈探测；客户细分•税务部门：偷税漏税行为探测•医学：医疗保健•电子商务：网站日志分析•物流行业：货物追踪在银行、保险、电信、零售等行业，激烈的市场竞争环境下，数据挖掘及数据分析的作用尤为重要，并已开始广泛应用。通过挖掘出的数据，对其进行适当的数据模型分析，使公司对客户了解更精细化，从而改善其市场、销售和客户支持运作。典型的商业应用领域包括：市场营销，交叉销售与交叉营销，客户关系管理，个性化推荐与服务，风险分析与控制，欺诈行为检测和异常模式的发现，供应链库存管理，以及人力资源管理等。23•在大型数据库中寻找预测性信息；例如市场预测问题，数据挖掘使用过去有关促销的数据来寻找未来投资中回报最大的用户，其它可预测的问题包括预报破产以及认定对指定事件最可能作出反应的群体。自动预测趋势和行为•数据库中存在的一类重要的可被发现的知识；若两个或多个变量的取值之间存在某种规律性，就称为关联；找出数据库中隐藏的关联网。关联分析•数据库中的记录可被化分为一系列有意义的子集，即聚类。•聚类增强了人们对客观现实的认识，是概念描述和偏差分析的先决条件。聚类技术主要包括传统的模式识别方法和数学分类学。聚类•对某类对象的内涵进行描述，并概括这类对象的有关特征。•分为特征性描述和区别性描述，前者描述某类对象的共同特征，后者描述不同类对象之间的区别。概念描述•数据库中的数据常有一些异常记录，从数据库中检测这些偏差很有意义。偏差包括很多潜在的知识，如分类中的反常实例、不满足规则的特例、观测结果与模型预测值的偏差、量值随时间的变化等。偏差检测数据挖掘与分析的功能24美国梅隆银行（BankofNewYorkMellon）梅隆银行设定争取20万新户头的目标，为此计划向1000万可能得顾客邮寄邀请函。利用数据挖掘产生了3000个最可能得顾客模式，对这些数据进行进一步分析后再加以精选，产生了更小的数目。而这个更小的数据会产生12%的回报率。结果表明，该银行只需发出200万份邀请函即可获得20万名新用户。数据挖掘与分析技术瞄准了那些最适合梅隆银行服务项目的顾客，不仅削减成本，还提高了每位新开户顾客的平均利润率，其利润要比通常高3倍。25Pop-Tarts和飓风分析人员发现，每次飓风来临，一种袋装小食品“Pop-Tarts”的销售量都会明显上升。手电筒、电池、水，这些商品的销量会随着飓风的到来而上升，很容易理解，但“Pop-Tarts”的上升是不是必然的呢？研究人员后来发现，这也是一个有用的规律：Pop-Tarts的销量上升，一是因为美国人喜欢甜食，二是因为它在停电时吃起来非常方便。此后，飓风来袭之前，沃尔玛也会提高“Pop-Tarts”的仓储量，以防脱销，并把它和水捆绑起来销售。如果没有进行数据挖掘与分析，“Pop-Tarts”和颶风的微妙关系就难以被发现。数据挖掘与分析方法目的流程方法26第二部分27在处理海量数据时，我们常常遇到类似的苦恼，数据库越来越大，数据爆炸，不能制定合适的决策，那么我们如何更好的利用挖掘出的数据，通过分析获取到有价值的数据成为非常重要的课题。数据挖掘与分析目的：用适当的统计分析方法对收集来的大量资料、数据进行分析，提取有用信息并形成分析结论，把隐没在一大批看似杂乱无章的数据中的信息集中，萃取和提炼出来，以找出所研究对象的内在规律；对数据、资料等加以详细研究和概括总结的过程，帮助人们作出判断，以便采取适当行动。29数据挖掘与分析流程数据是企业核心业务处理的中心内容，决定着企业的未来发展。但是在面对这些海量数据时，需要通过一个系统的流程来处理。成功的数据挖掘是让数据产生商业价值，而不是简单运营特别算法或工具。根据1999年由欧盟机构联合起草的“跨行业数据挖掘过程标准”CRISP-DM，一个数据挖掘项目生命周期可以分为商业理解、数据理解、数据准备、建立模型、模型评估及模型发布6个阶段。30欧盟“跨行业数据挖掘过程标准”数据挖掘的第一个阶段；理解项目的目标和从业务的角度理解需求，并将这个知识转化为数据挖掘的定义和完成目标的初期计划。•熟悉数据、发现数据的内部属性，识别潜在的特征,•检查数据是否完整、正确，是否存在缺失值等等•将模型输出的结果与现实生活中发生的结果进行对比，从而进一步评估模型准确性。•合理性、简单性、稳定性、预测能力•为了特定的数据挖掘目的作出假设，运用适当的数据挖掘工具建立模型；•利用模型解释特定的现象和预测对象的未来状况。•构建模型不是项目的终点。在模型建立并验证之后，还需要一个“部署—监控—更新”的过程，以使模型的作用最大化。•将原始数据处理成最终建模需要的数据。该过程可能多次执行，且非常耗时。商业理解数据理解数据准备建立模型模型评估模型发布31如何构建一个有指导的数据挖掘与分析模型把业务问题转换为数据问题选择合适的数据构建模型评估模型适用性结论32把业务问题转换为数据挖掘问题把广泛的目标具体化，细化，深入观察客户行为可能变成具体的目标；取决于对要解决的业务问题的理解程度。没有正确的理解业务问题就没办法把数据转化为挖掘任务。例如：•主动向高风险或高价值的客户提供一个优惠，挽留他们•研究渠道方式，以利于那些能带来最忠实客户的渠道•如果停止某类产品，列出处于销售风险的产品•根据当前市场营销策略，预测未来三年的客户数量数据挖掘分析后，会产生几个不同类型的交付形式。可能是一个报表或充满图标和图形的简报。例如：当我们的目的是提醒销售惊雷时，产生一个营销测试的客户列表是不够的。如何使用结果如何交付结果33选择合适的数据对数据的探索的前期工作判断字段，含义，是否有用，是否缺失，是否有问题等一系列问题认识数据什么数据可以用多少数据才足够分析需要多久的时间数据必须包含什么构建分析模型数据分析模型（方法论）：主要是用来指导分析人员进行一个完整的数据分析，更多是指导数据分析的思路。如：主要从哪几方面开展分析？各方面包含什么内容或者指标之类？常用分析模型水平比较分析趋势分析定标比超九宫图分析法SWOT分析波士顿矩阵竞争态势矩阵竞争者分析竞争者标杆核心竞争力分析差距分析麦肯锡7S框架组织和个性评估组合分析产业/行业分析价值链组合管理和调整战略波特一般竞争战略波特价值链波特——产业五种力量分析产品生命周期经验曲线营销技术矩阵比率分析国家风险分析分销战略分析研发、产品和制造分析方向政策矩阵战略设想和联盟分析曲线分析持续增长率分析商业筛选宏观环境分析……34数据分析常用表现形式•将实验数据按一定规律用列表方式表达出来是记录和处理实验数据最常用的方法。•表格的设计要求对应关系清楚、简单明了、有利于发现相关量之间的物理关系；•在标题栏中注明物理量名称、符号、数量级和单位等；•根据需要还可以列出除原始数据以外的计算栏目和统计栏目等。列表•作图法可以最醒目地表达物理量间的变化关系；•从图线上还可以简便求出需要的某些结果，显示出没有进行观测的对应点或在一定条件下从图线的延伸部分预测范围以外的对应点。•可以把某些复杂的函数关系，通过一定的变换用直线图表示出来。作图3536应用案例：啤酒和尿布——沃尔玛的购物篮分析分析啤酒与尿布之间的销售关系啤酒和尿布是顾客群完全不同的商品。沃尔玛通过一年数据挖掘与分析两种产品的情