商务智能方法概论

商务智能原理与方法—参考文档—2019年7月31日机密商务智能原理与方法2019/7/31版权所有，不得翻印第1页目录一．引言二．商务智能过程三．数据仓库四．商务智能应用五．构建商务智能环境六．关联规则七．分类分析八．聚类分析九．概念描述商务智能原理与方法2019/7/31版权所有，不得翻印第2页目录一．引言1.商务智能简介2.商务智能与信息社会3.商务智能与企业管理4.商务智能与数据挖掘5.商务智能与新技术融合6.小结及练习商务智能原理与方法2019/7/31版权所有，不得翻印第3页商务智能的概念通常认为是于1996年由加特纳集团（GartnerGroup）提出的。商务智能是一门新兴的边缘学科汇集了来自数据库、管理信息系统、统计学、人工智能中的机器学习与模式识别等多学科的成果，具有很强的生命力。公司定义IBM利用已有的数据资源作出更好的商业决策，它包括数据访问、数据和业务分析，以及发现新的商业的机会。这说明商务智能的实质是从数据中有效地提取信息，从信息中发现知识，为商务决策和战略发展。GartnerGroup商业智能描述了一系列的概念和方法，通过应用基于事实的支持系统来辅助商业决策的制定。商业智能技术提供使企业迅速分析数据的技术和方法，包括收集、管理和分析数据，将这些数据转化为有用的信息，然后分发到企业各处。微软是任何尝试获取、分析企业数据以更清楚地了解市场和客户、改进企业流程、更有效地参与竞争的努力，以便在正确的时间向正确的决策者提供正确的信息。Oracle商务智能就是在核实的时间提供核实的数据访问以制定正确的决策课本商务智能是一个从大规模（海量）数据中发现潜在的、新颖的、有用的知识的过程，旨在支持组织的业务运作和管理决策。商务智能原理与方法2019/7/31版权所有，不得翻印第4页企业对信息资源开发与利用要求的提升，促使了商务智能的发展。1、数据应当得到有效的管理和组织，才能通过系统化得应用，服务于组织的管理和决策信息资源的开发与利用包含两个层面的含义2、对信息资源的利用存着一个由浅入深，由单一到综合的过程事务处理（OLTP）分析处理（OLAP）知识发现（KDD）On-LineTransactionProcessing联机事务处理系统On-LineAnalyticalProcessing联机分析处理系统KnowledgeDiscoveryinDatabases商务智能原理与方法2019/7/31版权所有，不得翻印第5页对数据进行深入的，智能化的分析，寻找潜在的未来知识别名：数据挖掘、知识抽取、信息发现、数据考古，最常用的术语是“知识发现”和“数据挖掘”。相对来讲，数据挖掘主要流行于统计界，数据分析、数据库和管理信息系统界；而知识发现则主要流行于人工智能和机器学习界。KDD实现数据的电子化采集、交换和处理。用户群：通常层级较低数据：当前的功能：日常处理OLTP要求对数据进行多维度的综合整理用户群：决策层数据：历史的功能：分析决策OLAP超市前端+后台运营商务智能原理与方法2019/7/31版权所有，不得翻印第6页OLAP和KDD又有很多不同的地方数据挖掘与OLAP不同的地方是，数据挖掘不是用于验证某个假定的模式（模型）的正确性，而是在数据库中自己寻找模型。他在本质上是一个归纳的过程。比如，一个用数据挖掘工具的分析师想找到引起贷款拖欠的风险因素。数据挖掘工具可能帮他找到高负债和低收入是引起这个问题的因素，甚至还可能发现一些分析师从来没有想过或试过的其他因素，比如年龄。传统的查询和报表工具是告诉你数据库中都有什么（whathappened），OLAP则更进一步告诉你下一步会怎么样（Whatnext）、和如果我采取这样的措施又会怎么样（Whatif）。用户首先建立一个假设，然后用OLAP检索数据库来验证这个假设是否正确。OLAP分析过程在本质上是一个演绎推理的过程。OLAPKDD但是如果分析的变量达到几十或上百个，那么再用OLAP手动分析验证这些假设将是一件非常困难和痛苦的事情。商务智能原理与方法2019/7/31版权所有，不得翻印第7页商务智能概念中通常有四个要素：大规模数据，数据驱动，潜在新颖性和知识有用性大规模数据：商务智能是从海量的数据中发现知识，因此数据挖掘的效率是重要的考量。数据驱动：由于数据规模的缘故，传统的建模假设都难人工穷举数据变量和属性组合。潜在新颖性：商务智能通过数据挖掘所获得的知识是非显见的，而且是新颖的。知识有用性：通过商务智能得到的知识是用于业务运作和管理决策的。也就是说，所发现的知识的有用性通常与应用环境有关。商务智能原理与方法2019/7/31版权所有，不得翻印第8页目录一．引言1.商务智能简介2.商务智能与信息社会3.商务智能与企业管理4.商务智能与数据挖掘5.商务智能与新技术融合6.小结及练习商务智能原理与方法2019/7/31版权所有，不得翻印第9页处在信息社会的一个重要标志性特征就是信息融合，这主要体现在两点：技术透明性和技术渗透性技术透明性技术渗透性信息融合两个要点需要和人联系，第一首先想到的是电话，而不是信件我们并不需要了解3G,4G的网络技术商务智能原理与方法2019/7/31版权所有，不得翻印第10页由信息技术进步和广泛应用驱动的技术融合不断深化，从两个方面对于人们的社会生活和经济活动产生影响一方面，企业中许多传统的业务决策问题逐渐变成信息决策问题另一方面，信息产品及其应用随着技术创新呈现出越来越丰富的形态和特征商务智能原理与方法2019/7/31版权所有，不得翻印第11页商务智能是信息社会的产物---信息社会的技术融合使技术透明性和渗透性非常高，因而为商务智能的发展提供了沃土。商务智能比传统的业务报告在内容以及时效性上都有长足的进步传统业务报告数据充分而知识匮乏1传统报告不能满足用户需求天气预报：每天只告诉你历史数据对你来说有用么？2传统分析工具的整合能力有限用户被限定在数据对象中，而不能进一步分析和整合3信息技术及应用的推广大容量数据存储，互联网，并行处理，云技术4商务智能发展起来的四种推手商务智能原理与方法2019/7/31版权所有，不得翻印第12页商务智能是信息社会繁荣的推动力—从传统的商业领域逐步拓展到政务领域、教育领域、医疗领域等其他各领域商业领域政务领域教育领域医疗领域其他各领域商务智能原理与方法2019/7/31版权所有，不得翻印第13页一．引言1.商务智能简介2.商务智能与信息社会3.商务智能与企业管理4.商务智能与数据挖掘5.商务智能与新技术融合6.小结及练习目录商务智能原理与方法2019/7/31版权所有，不得翻印第14页商务智能可以在企业的各个层面发挥作用Title销售管理领域营销领域客户关系管理财务分析人力资源管理供应链管理商务智能原理与方法2019/7/31版权所有，不得翻印第15页商务智能对企业的战略决策也同样具有非常重要的影响，这种影响体现在3个方面：公司战略、业务战略和职能战略。业务战略公司战略职能战略•商务智能可以进行企业外部因素分析：外部环境分析、行业状况分析、竞争对手分析等•商务智能可以根据公司各战略业务单元的经营业绩和经营定位来选择合格的投资组合战略•商务智能可以在分析企业内部因素（劳动力，成本，技术，竞争等）的基础上为职能战略提供科学的决策依据商务智能原理与方法2019/7/31版权所有，不得翻印第16页实例：商务智能在服装行业的应用亚洲60%欧洲40%常规款式的时装和童装量小且流行性强的服装高效供应链快速反应供应链IT驱动设计实时销售数据顾客喜好流行趋势传至采购部➠采购确定生产数量➠供应商安排生产➠送至德国汉堡物流中心分类➠快速配送到全球门店商务智能原理与方法2019/7/31版权所有，不得翻印第17页归纳而言，商务智能对于企业至少有四个方面的作用理解业务改善关系可以对各项业务进行准确的评估，帮助理解业务的驱动因素，识别对业务产生影响的关键因素，积极推动业务发展，培养良好发展态势提供有关业务状况的有用信息，提高企业知名度，改善全信息链的效率衡量绩效创造商业机会从企业各个应用该系统中提取各种基础绩效指标与关键绩效指标，对员工的工作绩效进行追踪、衡量和评价。以商务智能为基础的企业绩效管理成为欧美企业最热门的管理和信息技术课题之一掌握各种商务数据和信息的企业可以出手这些信息而获利。（咨询）商务智能原理与方法2019/7/31版权所有，不得翻印第18页商务智能又是如何协助企业进行管理的呢？通常我们认为有4种方式：基于目标的管理，基于异常的管理，基于事实的管理和基于智能协同的管理基于智能协同的管理：实现企业内部与外部资源的协同基于异常的管理：检测实际指标与计划目标之间的偏差基于目标的管理：能计算跨组织的绩效目标241基于事实的管理：将企业目标与事实结合3需要说明的是，商务智能不只是一套软件和工具，同时也是建立在灵活性、响应速度和软/硬件基础上的一套业务运作的方法，这也是现代商务智能的核心理念。商务智能原理与方法2019/7/31版权所有，不得翻印第19页商务智能的商业价值主要有三个方面的体现：省钱，提高效率和提高竞争力省钱提高竞争力省时，省力（提高效率）商务智能可以给企业带来三个方面的好处需要说明的是，商务智能作为对信息的提炼和知识的积累，是企业的一项重要的隐形资产，不能简单的用传统的指标来衡量。（其实，对于很多企业来说，这就是资产！比如投行，比如券商等等）商务智能原理与方法2019/7/31版权所有，不得翻印第20页一．引言1.商务智能简介2.商务智能与信息社会3.商务智能与企业管理4.商务智能与数据挖掘5.商务智能与新技术融合6.小结及练习目录商务智能原理与方法2019/7/31版权所有，不得翻印第21页数据挖掘是商务智能的核心技术，从认知层次来看，数据挖掘的基本目标是预测（Prediction）和描述（description）从认知层面看数据挖掘的基本目标预测：利用数据中已知的变量和字段来确定一些感兴趣的未知或未来的值描述：集中于寻找一些人类能够理解的模式来对数据进行刻画商务智能原理与方法2019/7/31版权所有，不得翻印第22页通常我们可以根据知识类型将数据挖掘划分为6类时序数据分析其他模式识别和统计分析方法概念描述分类和预测关联规则聚类数据挖掘六种分类1234561归纳或简约，通过将数据进行一般化、汇总或将可能矛盾的数据特征进行说明，来寻求对一个数据自己的简约的描述2将一组个体按照某种标准进行汇总，形成新的类，目的是同一类的距离尽可能的小，不同类的距离尽可能的大3发现数据之间的关联性、相关性和因果性。比如：港口物流繁荣与腹地经济增长关系4一方面包括根据按类进行划分的属性值将数据进行分类，瓦举出关于每一类数据的描述或模型；另一方面包括根据已有的信息和模式来预测未来的或位置的属性值5统计方法的直接应用，包括：趋势和偏差分析，用户定义的模式匹配分析及周期数据分析6回归分析，相关分析商务智能原理与方法2019/7/31版权所有，不得翻印第23页数据挖掘系统的体系结构如下图所示数据文件数据库数据仓库数据挖掘引擎模式评价模块可视化工具用户知识库过滤清理整合知识库(KnowledgeBase)是知识工程中结构化，易操作，易利用，全面有组织的知识集群，是针对某一(或某些)领域问题求解的需要，采用某种(或若干)知识表示方式在计算机存储器中存储、组织、管理和使用的互相联系的知识片集合通过应用兴趣度标准来精炼、聚集发现的模式，它还会评价存储在知识库中的阈值。次模块有时被集成到数据挖掘模块中。数据挖掘系统与用户的通信接口。用户通过它来制定数据挖掘计划、提供挖掘所需要的信息、浏览数据挖掘的结构、评价挖掘的模式。包括一系列功能模块，每种模块还包含多种算法。商务智能原理与方法2019/7/31版权所有，不得翻印第24页数据挖掘时数据驱动的，它并不始于一个有待证明的具体逻辑模式，而始于复杂的海量数据，利用强大的分析工具和特定的知识提取方法，从数据出发，对各种模式进行匹配，经过筛选，获得潜在的、新颖的、有用的知识模型驱动数据驱动业务处理信息查询报