25商务数据挖掘与应用案例分析

商务数据分析2020/1/240/43参考资料参考书：蒋盛益.商务数据挖掘与应用案例分析.北京：电子工业出版社.2014.1蒋盛益等.数据挖掘原理与实践.北京：电子工业出版社.2011.8(美)贝里，(美)利诺夫著，袁卫等译.数据挖掘——客户关系管理的科学与艺术.中国财经出版社,2004.1(美)贝里，(美)利诺夫著.别荣芳等译.数据挖掘技术：市场营销、销售与客户关系管理领域应用.机械工业出版社.2006.7(美)奥尔森(Olson，D)，(中)石勇著，吕巍等译.商业数据挖掘导论.机械工业出版社.2007.8熊平.数据挖掘算法与Clementine实践.清华大学出版社.2011.1相关网站：中国统计网：中国商业智能网：数据堂：第1章绪论1.1引例1.2数据挖掘产生的背景及概念1.3数据挖掘任务及过程1.4数据挖掘常用软件简介1.5数据挖掘在商业领域中的应用1.6数据挖掘技术的前景2020/1/242/431.1引例1.1.1超市货架组织1.1.2广告精准投放1.1.3客户流失分析1.1.4智能搜索1.1.5免费用户到付费用户的转化2020/1/243/43超市货架组织关联销售!原来，美国的妇女通常在家照顾孩子，所以她们经常会嘱咐丈夫在下班回家的路上为孩子买尿布，而丈夫在买尿布的同时又会顺手购买自己爱喝的啤酒。这种现象就是卖场中商品之间的关联性，研究“啤酒与尿布”关联的方法就是购物篮分析，购物篮分析是沃尔玛秘而不宣的独门武器，购物篮分析可以帮助超市在销售过程中找到具有关联关系的商品，并以此获得销售收益的增长！货架的组织会影响商品的销售！超市商品按什么原则摆放？尿布与啤酒被摆在一起。为什么？2020/1/244/43广告精准投放随着Web2.0应用的推广，网络社区服务SNS(SocialNetworkService)已成为互联网关注的热点。通过挖掘网络中潜在的社区人群，企业可以更好地搜索潜在消费者和传播对象，将分散的目标顾客和受众精准地聚集在一起，精确地把广告投放给目标客户，这不但有效降低单人营销费用，而且可以减少对非目标客户的干扰，提高广告的满意度，最终实现网络广告投放策略的真正价值。2020/1/245/43客户流失分析在激烈竞争的市场，往往采取名目繁多的促销活动和层出不穷的广告宣传来吸引新客户、留住老客户；研究发现：发展一个新客户比保持一个老客户的费用要高出5倍以上。客户流失分析是以客户的历史消费行为数据、客户的基础信息、客户拥有的产品信息为基础，通过研究综合考虑流失的特点和与之相关的多种因素，以此建立可以在一定时间范围内预测客户流失倾向的预测模型，以便对流失进行预测、并对流失的后果进行评估2020/1/246/43智能搜索Web信息检索，即搜索引擎，是能有效解决通过网络来快速发现有用信息的重要工具。传统的搜索引擎(百度、Google、Bing、搜搜等)，在用户输入关键词进行查询后，返回的是成千上万的相关结果，往往需要用户花费大量时间浏览与选择，不能满足用户快速获取信息的愿望。因此大量学者以及研究人员开始研究行业化、个性化、智能化的第三代搜索引擎。2020/1/247/43免费用户到付费用户的转化在网络游戏试玩初期，游戏运营商为了测试和完善网络游戏以及快速扩大玩家群，通常都会推出一段相对较长的免费试玩期。因此，在网络游戏正式运营前就会存在大量的注册用户，这些注册用户会在网络游戏运行后存在很长一段时间。如何把这些注册用户转化成付费客户，真正为游戏运营商带来收益呢？数据挖掘技术的应用使网络游戏运营商能够对注册用户采取差别化营销，对正确的注册用户采用合适的营销手段，从而提高市场营销活动效果，使企业利润得到最大化。2020/1/248/431.2数据挖掘产生的背景及概念1.2.1数据挖掘产生的背景1.2.2数据挖掘概念2020/1/249/431.2.1数据挖掘产生的背景信息的快速增长带来的问题：(1)信息过量，难以消化；(2)信息真假难以辨识；(3)信息安全难以保证；(4)信息形式不一致，难以统一处理。现象：“数据过剩”、“信息爆炸”与“知识贫乏”苦恼:淹没在数据中，难以制定合适的决策!数据挖掘的迅速发展，使商业受益匪浅，如市场营销组织应用客户细分来识别那些对不同形式营销传媒敏感的客户群，许多公司应用数据挖掘技术来识别高价值客户，从而为他们提供所需的服务以留住他们。时代的挑战、市场的需求2020/1/2410/43案例1-1：梅隆银行的数据挖掘美国的梅隆银行(BankofNewYorkMellon)在1997年设定了争取20万新户头的目标，为此，计划向1000万可能的顾客邮寄邀请函。然而，这家银行却利用了数据挖掘技术产生了3000个最可能的顾客的模式。对这些模式的子集再加以精选，产生了更小的一个数目。测试表明，这个更小的数目会产生12％的回应率。这个回应率使得这家银行只需发出200万份邀请函即可获得他们想要的20万名顾客，而不是原定的向1000万人发出信函。因此，利用数据挖掘技术除了削减成本之外，还提高了每位新开户的顾客的平均利润率，其利润要比通常高3倍，因为该技术瞄准了那些需求最适合梅隆银行服务项目的顾客。这个例子说明了数据挖掘的两个重要方面。第一个方面仅就其规模而言：牵涉到的数据量和所探索的模式数目要比传统的数据分析量大得多；第二个方面就是，即使是受过高级培训的专家也能获益于数据挖掘；正如我们在梅隆银行的例子中所见，一个外部专家小组得出的结果比本公司专职数据分析部门用常规方法得出的结果高6倍，而所花时间只是后者的四分之一。我们的一个主要目标就是使数据挖掘工具使用简易，因此，连最终的商务用户，而不是专家，都会使用它们。资料来源：案例1-2：Yahoo!数据挖掘案例UsamaFayyad博士是Yahoo!的首席数据官，KDnuggets的Gregory对他进行了访谈。下面是访谈中介绍的Yahoo！在数据挖掘方面的成功案例：(1)产品整合：一个例子就是你今天在Yahoo!电子邮箱上看到的，数据挖掘的可视结果。通过对用户使用行为的意外模式分析，我们发现在每次会话中，人们阅读邮件和阅读新闻的行为之间存在很强的相关关系。我们把这个发现传达给Yahoo!电子邮箱产品小组，他们首先想到的就是验证这种关系的影响：在一组测试用户的邮箱首页上显示一个新闻模块，其中的新闻标题被醒目显示。对于象电子邮箱这种产品，最头痛的问题就是如何获取新的“轻量级用户”，并推动他们的用量，使之变成“重量级用户”。如果你做到了，那么流失率就会显著下降。实际上，在我们的试验中，最弱的一组流失率下降了40%。于是Yahoo!立刻开发并完善了新闻模块，并嵌入Yahoo!电子邮箱的首页，到现在，上亿的消费者都可以看到并使用这种产品。我喜欢提及这个故事，因为它很好地说明了我们产品团队的及时反应能力，也证明了在用户使用行为数据中蕴含着很多很多极具价值的潜在模式。(2)即时通信：我们对雅虎通（InstantMessenger）的使用情况进行了分析，以了解激励用量的关键因素是什么。结果发现，最重要的因素是让用户扩大他们的“好友列表”，至少增加5个新的好友。据此Yahoo!精心设计了相应的营销活动，鼓励用户增加好友列表中的好友数，从而显著激励了雅虎通的用量。(3)Yahoo首页的搜索框：一个简单的例子就是我们发现，在Yahoo的首页上，把搜索框放在居中的位置（而不是以前的左侧）将提高用户的用量。这样一方面可以促进用户的积极使用，对Yahoo!来说也没有成本支出。这个结果的发现过程也很有趣，我们首先发现Netscape浏览器的用户比IE的用户更多地使用了搜索功能，进一步探查发现两个浏览器在视觉上的唯一区别就是：二者中的搜索框位置不同！搜索框在Netscape浏览器中是居中放置，而在IE中则是靠近左侧。很不明显的差别，但却很重要。一般谁会想到呢？资料来源：=idmer&id=97292020/1/2412/431.2.2数据挖掘概念技术层面：数据挖掘是探查和分析大量数据以发现有意义的模式和规则的过程。商业层面：数据挖掘就是一种商业信息处理技术，其主要特点是对大量业务数据进行抽取、转换、分析和建模处理，从中提取辅助商业决策的关键性数据。2020/1/2413/431.3数据挖掘任务及过程1.3.1数据挖掘任务1.3.2数据挖掘过程2020/1/2414/431.3.1数据挖掘任务(1)（1）预测任务根据其它属性的值预测特定属性的值，如分类、回归、离群点检测。（2）描述任务寻找概括数据中潜在联系的模式，如聚类分析、关联分析、序列模式挖掘。2020/1/2415/431.3.1数据挖掘任务(2)(1)聚类(Clustering)分析“物以类聚，人以群分”。聚类分析技术试图找出数据集中的共性和差异，并将具有共性的对象聚合在相应的类中。聚类可以帮助决定哪些组合更有意义，广泛应用于客户细分、定向营销、信息检索等等。(2)分类(Classification)分析分类分析，通过分析示例数据库中的数据为每个类别做出准确的描述或建立分析模型或挖掘出分类规则，然后用此分类规则对其它数据库中的记录进行分类。分类分析广泛应用于用户行为分析(受众分析)、风险分析、生物科学等。2020/1/2416/431.3.1数据挖掘任务(3)(3)关联(Association)分析关联分析，发现特征之间的相互依赖关系，通常是从给定的数据集中发现频繁出现的模式知识(又称为关联规则)。关联分析广泛用于市场营销、事务分析等领域。(4)离群点(Outlier)检测离群点检测就是发现与众不同的数据。可应用于商业欺诈行为的自动检测，网络入侵检测，金融欺诈检测，反洗钱，犯罪嫌疑人调查，海关、税务稽查等。2020/1/2417/431.3.1数据挖掘任务(4)(5)回归(Regression)分析回归分析是确定两种或两种以上变数间相互依赖的定量关系的一种分析方法。其可应用于风险分析、作文自动评分等领域。(6)序列模式(SequentialPattern)挖掘序列模式挖掘是指分析数据间的前后序列关系，包括相似模式发现、周期模式发现等。其应用领域包括客户购买行为模式预测、Web访问模式预测、疾病诊断、网络入侵检测等。2020/1/2418/431.3.2数据挖掘过程(1)从商业的角度看，数据挖掘过程可分为三个阶段:(1)数据准备：数据收集(集成)和预处理。知识是从海量数据里提取出来的，因此要挖掘知识必须得收集一定量的数据。收集到的原始数据一般存在缺失值、错误值等问题，不能直接用作知识提取的数据源，需要进行数据预处理。(2)知识提取：基于经过预处理的数据，使用数据挖掘方法(如分类、聚类、关联分析等)进行知识提取，这是数据挖掘的核心部分。(3)知识辅助决策：数据挖掘技术已被广泛地应用于各领域，其提取出来的知识可以很好地辅助决策者做出良好的决策。2020/1/2419/431.3.2数据挖掘过程(2)图1-1数据挖掘过程2020/1/2420/431.4数据挖掘常用软件简介比较著名的商用数据挖掘软件有SPSSClementine、SASEnterpriseMiner、IBMIntelligentMiner、SQLServer2005DataMining、OracleDM等，它们都能够提供常规的挖掘过程和挖掘模式。Matlab，Excel(DatamininginExcel:XLMiner)等提供了数据挖掘模块。开源数据挖掘工具有Weka、