第一章商务智能基本概念13

数据仓库与数据挖掘杨春博士讲师Email:[e-mail]:13600058899平时成绩（30-40%）–考勤、课堂回答问题、讨论：期末成绩（60-70%）–考核方式：闭卷考试，16或17周。数据仓库与数据挖掘技术(第2版)作者:陈京民出版社：电子工业出版社出版日期：2007年11月ISBN：9787121053054参考书[1]赵卫东.商务智能.北京：清华大学出版社，2009[2]http://www-304.ibm.com/jct01005c/university/scholars/downloads/[3]https://www14.software.ibm.com/webapp/devtool/scholar/web/coursewarePickPage.do?source=ai-course-dim[4]DW03ChangingBusinesswithDataInsight[5]DW11ArchitectingtheDataWarehouse[6]DW35DB2DataWarehouseE9Components[7]DW820AdvancedDataWarehouseWorkshop:Multi-DimentionalModeling[8]JiaweiHan，MichelineKamber.Datamining：conceptsandtechniques（SecondEdition）.MorganKaufmann，2006[9]W.H.Inmon.Buildingthedatawarehouse.NewYork：JohnWiley&Sons，2005第一章商务智能基本概念1.1商务智能的基本概念IBM商务智能定义知识就是力量。BI系统收集您客户的相关信息并加以分析，以帮助您确定商机和创建可以满足客户需求的战略。数据仓库、数据挖掘和决策支持中的先进技术创建大量的BI工具。http://www-900.ibm.com/cn/smb/solutions/bi/信息：有用的数据SenderReceiver处理数据信息知识•一个人的垃圾（数据）是另一个人的财富（信息）•Dataendowedwithrelevanceandpurpose•信息是经过某种加工处理后的数据，是反映客观事物规律的一些数据。数据是信息的载体,信息是对数据的解释。IBM商务智能产品微软商务智能定义WatchthisinteractivevideoandlearnhowMicrosoftbusinessintelligencesolutionscanhelpyourIT,Finance,OperationsandSalesdepartmentsaccesstherightinformation,faster：http://www.microsoft.com/bi/aboutbi/default.aspx#http://www.microsoft.com/china/smb/local/enterprisebusinesssolution.mspxSAP商务智能定义SAPBusinessObjectsBI解决方案提供全面的商务智能功能，用户可根据可靠的数据和分析，作出有效而明智的决策。借助这些强大的解决方案，企业中的所有用户均可访问、分析和共享组织中的各种信息，并可以设置信息格式及在信息中进行导航。http://www.sap.com/china/solutions/sapbusinessobjects/large/intelligenceplatform/bi/index.epxSAPBusinessObjects智能平台企业数据仓库ETL(抽取、转换、加载)即席查询、预定义报表、自定义报表、OLAP、数据挖掘、专题分析模型元数据管理Web服务器客户端客户端客户端客户端客户端大客户分析数据集市财务分析数据集市客户分析数据集市...模型库业务数据库业务数据库业务数据库业务数据库业务数据库业务发展分析客户分析大客户分析用户发展分析收益情况分析服务质量分析营销管理分析财务分析渠道分析反欺诈专题分析客户流失专题分析...商务智能供应商商务智能（BI，BusinessIntelligence）的定义IBM:利用已有的数据资源作出更好的商业决策，它包括数据访问、数据和业务分析，以及发现新的商业的机会。这说明商务智能的实质是从数据中有效地提取信息，从信息中发现知识，为商务决策和战略发展。Microsoft认为商务智能是任何尝试获取、分析企业数据以更清楚地了解市场和客户、改进企业流程、更有效地参与竞争的努力，以便在正确的时间向正确的决策者提供正确的信息。商务智能使企业能够做出比以前更好的决策。此外，IDC,Business,Objectes,Teradata,MicroStrategy公司也都有对商务智能不同的解释。总而言之，商务智能是由数据仓库、联机分析处理和数据挖掘三种信息技术应用于商务活动后所形成的一组信息技术的应用技术。业务数据分析的类型Increasing#ofusersOLAPStatisticalAnalysisStandardQueryReportingDMIncreasingComplexity数据分析技术的发展可分成报表查询、在线分析处理（OLAP）和数据挖掘3个阶段。数据仓库是基础，它提供了商务智能所需要的各种信息；联机分析处理是商务智能应用之利器，管理决策者使用联机分析工具对反映企业商务活动的数据仓库进行智能分析，可以提高企业的市场竞争力；数据挖掘是商务智能的形成之源，利用数据挖掘可以从数据仓库中寻找企业的商务智能模式，从数据仓库的海量数据中归纳出商务知识。实例销售分析仪表盘客户流失分析目标顾客群信息流畅通了还需要？ERP企业资源规划系统SCM供应链管理商务智能BI（businessintelligence）B2B、B2CCRMInternet等基础设施数据新一代决策支持系统交易处理系统DSS软件系统模式OLAP工具资料挖掘工具外部资料使用者使用者界面DSS资料库数据导向型决策支持系统：事务处理系统等搜集的大量数据，隐藏对决策有用的模式和规则，可以用统计方法、OLAP和数据挖掘等分析得到，以辅助决策分析用。1.1.2商务智能的发展与应用商务智能的发展与应用：电子数据处理系统-〉管理信息系统-〉决策支持系统商务智能的作用：理解、改善、衡量、创造商务智能的作用域：战略管理、营销管理、市场管理、客户关系管理和风险管理商务分析：商务风险分析、数据库营销分析、智能型客户关系管理、供应链管理OLAP、数据挖掘数据仓库图1.1商务智能体系结构1.1.3商务智能的体系结构BusinessIntelligenceArchitectureOperationalandExternalDataWarehousemodelingandConstructionTools(ETL)BusinessIntelligenceApplicationsDecisionSupportToolsQueryandReportingOLAPInformationMiningAccessenablersApplicationInterfacesMiddlewareServicesDepartmentalwarehouses(datamarts)AdministrationGlobalWarehouseOtherInformationStoresOperationalandExternalDataDataManagementMetadataManagement1.2数据仓库的发展与展望管理人员常常希望能够通过对组织中的大量数据进行分析，了解业务的发展趋势，而传统的数据库只保留了当前的业务处理信息，缺乏决策分析所需要的大量历史信息，为满足管理人员的决策分析需要，在数据库的基础上就产生了适应决策分析的数据环境-数据仓库（DW，DataWarehouse）1.2.1从数据库到数据仓库传统数据库在联机事物处理中取得了较大的成功,但在基于事物处理的数据库帮助决策分析时却产生了很大的困难。主要原因是传统数据库的处理方式和决策分析中的数据需求不相称，导致传统数据库无法支持决策分析活动。这些不相称主要体现在如下几个方面：(1)决策处理的系统响应问题：传统数据库数据存取频率高、操作时间快，有较高的响应时间。而在决策分析处理中，有些决策处理请求问题则可能需要系统长达数小时的运行，耗费大量的系统资源，而使事务联机系统无法忍受。(2)决策数据需求的问题：决策分析需要全面、正确的集成数据，这些数据不仅包括企业内部各部门的数据而且包括企业外部的、甚至竞争对手的相关数据。在决策数据的集成中还需要解决数据混乱的问题（0和1，M&F）。决策分析需要从数据库中抽取数据，查找有用的数据。数据的集成还涉及外部数据与非结构化数据的应用问题。决策数据一般涉及到长期的大量历史数据。在决策分析过程中，往往需要经过汇总、概括的数据。(3)决策数据操作的问题：在对数据的操作方式上，事务处理系统往往不能满足决策人员的需要（访问权限、用户身份、报表表现形式）。同时，由于系统响应、决策数据需求和决策数据操作等影响，使企业无法使用现有的事务处理系统去解决决策分析的需要。(4)数据仓库与传统数据库的比较表1-1数据仓库与数据库的对比对比内容数据库数据仓库数据内容当前值历史的、存档的、归纳的、计算的数据数据目标面向业务操作程序，重复处理面向主题域，分析应用数据特性动态变化，按字段更新静态、不能直接更新，只能定时添加、刷新数据结构高度结构化、复杂，适合操作计算简单、适合分析使用频率高中到低数据访问量每个事物只访问少量记录有的事物可能需要访问大量记录对响应时间的要求以秒为单位时间长数据仓库的定义：数据仓库就是一个面向主题的、集成的、不可更新的、随时间不断变化的数据集合，它用以支持企业或组织的决策分析处理。1.2.2数据仓库的基本特性数据仓库的基本特征(1)数据仓库的数据是面向主题的：数据仓库中所有的数据都是围绕着某一主题组织展开的。例如企业中的客户、产品、供应商等都可以作为主题看待。(2)数据仓库的数据是集成的：根据决策分析的要求，将分散于各处的源数据进行抽取、筛选、清理、综合等工作，最终集成到数据仓库中。（业务处理系统：在线事务处理系统OLTP、企业资源计划ERP、企业业务流程重组BPR、电子商务EC）(3)数据仓库是随时间变化的：数据应该随着时间的推移而变化；数据的追加和删除都是时变的；同时，概括数据也是时变的。(4)数据的非易失性：数据仓库中的数据不进行更新处理，而是一旦数据进入数据仓库以后，就会保持一个相当长的时间，而且数据主要是用于查询、分析。(5)数据的集合性：数据仓库必须按照主题，以某种数据集合的形式存储起来。(6)支持决策作用：高层的企业决策者、中层的管理者和基层的业务处理者等不同层次的管理人员均利用数据仓库进行决策分析，提高管理决策质量。1.2.3数据仓库的发展1.基于关系对象数据库的数据仓库：将多媒体数据、复杂的数据类型和其他各种类型的数据引入数据仓库。2.网络的影响：数据仓库越来越依赖于网络进行数据的传输、数据的请求处理。3.操作型动态数据仓库：重在战术性决策支持，为执行工资的战略员工提供支持。（EMS-ESB（企业服务总线）追踪包裹）4.Web应用中的多智能体技术：利用合作伙伴的数据仓库或Internet系统中的多为数据集进行决策分析活动。1.3数据仓库的体系结构数据仓库体系结构建立在其概念基础之上，并根据商务智能的不同应用情况可以选择虚拟数据仓库结构、数据集市结构、单一数据仓库结构和分布式数据仓库结构。图1.2数据仓库的概念结构业务系统外部数据源数据准备区数据集市/知识挖掘库数据仓库数据库数据集市/知识挖掘库应用工具应用工具用户用户管理工具数据源1.3.1数据仓库的概念结构从数据仓库的概念结构看，应该包含数据源、数据准