商务智能技术

主讲人：QQ玉米地时间：2010.09.10商务智能技术篇—之K-means算法当今世界，电子商务的发展已经深刻的影响着企业的经营方式。企业面对日益激烈的竞争，需要有灵敏的感觉和快速反应能力，提高反应能力和决策的准确性。而企业做出业务决策的最基本依据是企业庞大的数据资源。为此，伴随着互联网技术的进一步发展，一种能够帮助企业整合数据，并从中提取分析出有用的信息，并且获取知识，提高企业理性做出管理决策支持的系统—商务智能应运而生。同时，对作为商务智能发展的核心关键技术进行研究具有非常重要的必要性。背景目录一、商务智能概述二、商务智能技术简介三、K-means算法四、总结一、商务智能概述•商务智能的概念：商务智能是企业利用数据仓库（DW）、数据挖掘（DM）、在线分析处理（OLAP）、决策支持系统（DSS）等现代信息技术对企业经营过程中产生的大量结构化和非结构化商务数据和信息进行收集、整理、分析，以便辅助企业做出正确决策、采取有效商务行动、优化商务流程、全面提升商务绩效的工具、方法、技术的统称。•商务智能的发展：TPS（事务处理系统）>>MIS（管理信息系统）>>EIS（主管信息系统）>>DSS（决策支持系统）—商务智能的雏形>>BI（商务智能）•商务智能的价值：BI能够做出比市场需求更快更直接的反应—BI的最大价值和核心能力。•商务智能核心技术：1.DW；2.OLAP；3.DM。•商务智能的热点：1.集成的BI体系；2.充分利用数据；3.BI的预测功能。二、商务智能技术简介•1.DW（数据仓库）必要性：实施BI首先要从企业内部和企业外部不同的数据源，如客户关系管理(CRM)、供应链管理(SCM)、企业资源规划(ERP)系统以及其他应用系统等搜集有用的数据，进行转换和合并，因此需要数据仓库和数据集市技术的支持。概念：数据仓库(DataWarehouse)是一种语义上一致的数据存储，是指从多个数据源收集的信息，以一种一致的存储方式保存所得到的数据集合。面向不同的需求，对数据进行清洗以保证数据的正确性，然后对数据进行抽取，转换成数据仓库所需形式，并实现加载到数据仓库。数据仓库技术是基于信息系统业务发展的需要，基于数据库系统技术发展而来，并逐步独立的一系列新的应用技术。数据仓库技术就是基于数学及统计学严谨逻辑思维的并达成“科学的判断、有效的行为”的一个工具。数据仓库技术也是一种达成“数据整合、知识管理”的有效手段。特点：数据仓库是面向主题的、集成的、与时间相关的、不可修改的数据集合。这是数据仓库技术特征的定位。数据仓库最根本的特点是物理地存放数据，而且这些数据并不是最新的、专有的，而是来源于其它数据库的。数据仓库的建立并不是要取代数据库，它要建立在一个较全面和完善的信息应用的基础上，用于支持高层决策分析，而事务处理数据库在企业的信息环境中承担的是日常操作性的任务。数据仓库是数据库技术的一种新的应用，而且到目前为止，数据仓库还是用关系数据库管理系统来管理其中的数据。二、商务智能技术简介•2.OLAP（联机分析处理）联机分析处理(OLAP)又称多维分析，它对数据仓库中的数据进行多维分析和展现，是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据更深入了解的一类软件技术。它的技术核心是“维”这个概念，因此OLAP也可以说是多维数据分析工具的集合。进行OLAP分析的前提是已有建好的数据仓库，之后即可利用OLAP复杂的查询能力、数据对比、数据抽取和报表来进行探测式数据分析了。称其为探测式数据分析，是因为用户在选择相关数据后，通过切片(按二维选择数据)、切块(按三维选择数据)、上钻(选择更高一级的数据详细信息以及数据视图)、下钻(展开同一级数据的详细信息)、旋转(获得不同视图的数据)等操作，可以在不同的粒度上对数据进行分析尝试，得到不同形式的知识和结果。联机分析处理研究主要集中在ROLAP(基于关系数据库的OLAP)的查询优化技术和MOLAP(基于多维数据组织的OLAP)中减少存储空间和提高系统性能的方法等。OLAP操作语言：通过扩展数据库的操作语言SQL，得到MSQL（MultipleSQL）。二、商务智能技术简介•3.DM（数据挖掘）数据挖掘是从大量的数据中，抽取出潜在的、有价值的知识（模型或规则）的过程。与OLAP的探测式数据分析不同，数据挖掘是按照预定的规则对数据库和数据仓库中已有的数据进行信息开采、挖掘和分析，从中识别和抽取隐含的模式和有趣知识，为决策者提供决策依据。数据挖掘的任务是从数据中发现模式。模式有很多种，按功能可分为两大类：预测型(Predictive)模式和描述型(Descriptive)模式。预测型模式是可以根据数据项的值精确确定某种结果的模式。挖掘预测型模式所使用的数据也都是可以明确知道结果的。描述型模式是对数据中存在的规则做一种描述，或者根据数据的相似性把数据分组。描述型模式不能直接用于预测。在实际应用中，根据模式的实际作用，可细分为分类模式、回归模式、时间序列模式、聚类模式、关联模式和序列模式6种。其中包含的具体算法有货篮分析(MarketAnalysis)、聚类检测(ClusteringDetection)、神经网络(NeuralNetworks)、决策树方法(DecisionTrees)、遗传算法(GeneticAnalysis)、连接分析(LinkAnalysis)、基于范例的推理(CaseBasedReasoning)和粗集(RoughSet)以及各种统计模型。二、商务智能技术简介•4.三大核心技术之间关系DW是前提和基础。负责统一数据规则的处理和存储。OLAP是操作，侧重显性知识处理和分析。DM是发现，侧重于隐士知识发掘和利用。OLAP与数据挖掘的区别和联系是：OLAP侧重于与用户的交互、快速的响应速度及提供数据的多维视图，而数据挖掘则注重自动发现隐藏在数据中的模式和有用信息，尽管允许用户指导这一过程。OLAP的分析结果可以给数据挖掘提供分析信息作为挖掘的依据，数据挖掘可以拓展OLAP分析的深度，可以发现OLAP所不能发现的更为复杂、细致的信息。数据挖掘的研究重点则偏向数据挖掘算法以及数据挖掘技术在新的数据类型、应用环境中使用时所出现新问题的解决上，如对各种非结构化数据的挖掘、数据挖掘语言的标准化以及可视化数据挖掘等。三、K-means算法K-means算法是数据挖掘中最基本的聚类算法，也是数据挖掘中一种主要技术。K-means算法接受输入量k；然后将n个数据对象划分为k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”（引力中心）来进行计算的。k-means算法的工作过程说明如下：首先从n个数据对象任意选择k个对象作为初始聚类中心；而对于所剩下其它对象，则根据它们与这些聚类中心的相似度（距离），分别将它们分配给与其最相似的（聚类中心所代表的）聚类；然后再计算每个所获新聚类的聚类中心（该聚类中所有对象的均值—簇的质心）；不断重复这一过程直到标准测度函数开始收敛为止。一般都采用均方差作为标准测度函数.k个聚类具有以下特点：各聚类本身尽可能的紧凑，而各聚类之间尽可能的分开。其中相异度基于对象与类中心（簇中心—每个簇的质心）的计算距离，与簇中心距离最近的对象可以化为一个簇。此算法目标是每个对象与簇中心mi距离的平方和最小。三、K-means算法K-means算法的大致过程如下：1.给定K，从N个对象中任意选择K个对象作为初始聚类中心；2.计算每个对象与聚类中心的距离，把他们划分成不同的簇；3.重新计算每个簇的聚类中心，得到新的聚类中心；4.再次计算每个对象与新的聚类中心的距离，把他们划分成不同的簇；5.重复步骤34，直到聚类中心不再发生变化。每个样本维也可以根据需要赋予不同权重，K值的选择也需要视应用而定，而不是简单的看聚类效果。K-means算法比较适合处理凸形分布的连续数值型数据的聚类。K-means算法经常以局部最优结束，效率比较高，缺点是对离群点和噪声数据非常敏感，而且这种算法不能处理非凸形的簇和不同大小的簇。此外，初始聚类中心的选择对聚类结果影响比较大，随机选择的初始聚类中心可能会导致不同的聚类结果，通常可以不同的初始值多次运行再确定合适的聚类结果。注意这些初始的聚类中心应相互远离。三、K-means算法K-means算法应用实例详解（见书本《商务智能（清华大学出版社）》P103例5.3）四、总结商务智能引领我们进入一个新的时代，对于分析、报表和绩效管理，企业拥有更多的控制权；对于隐性知识的挖掘有效利用，让企业能够做出比市场需求更快更直接的反应。同时也给企业提供了更加正确的决策支持。作为商务智能体系支撑的商务智能技术，应该受到我们的深刻研究。K-means算法作为商务智能核心技术体系中的数据挖掘最基本的聚类算法，有着非常重要的研究价值，基于K-means算法，人们也在不断的进行着探索，加以改进，研究出更为适用的其他算法，例如K-modes算法和K-prototypes算法等。