第10章 CRM中的数据仓库

CRMAdrian.uueasy.com李薇[e-mail]@qq.com第10章CRM中的数据仓库CRM10.1数据仓库的基本概念数据仓库与CRM有着难以割舍的密切关系，客户关系管理的很多工作都是以数据仓库为基础展开的。从某种意义上说，数据仓库是客户关系管理的灵魂。利用数据仓库，企业可以对客户行为进行分析与预测，从而制定准确的市场策略、发现企业的重点客户和评价市场性能，并通过销售和服务等部门与客户交流，实现企业利润的提高。对于客户量大、市场策略对企业影响较大的企业来说，必须在客户关系管理系统中包含数据仓库。第10章CRM中的数据仓库CRM10.1数据仓库的基本概念从数据库到数据仓库数据仓库概念及特点数据仓库的内容数据仓库系统的体系结构第10章CRM中的数据仓库CRM10.1数据仓库的基本概念——10.1.1从数据库到数据仓库在数据库应用的早期，计算机系统处理的是传统手工业务自动化的问题。联机事务处理成为整个80年代直到90年代初数据库应用的主流。决策支持对数据分析的需求需要对大量的业务数据包括历史业务数据进行分析；这种基于业务数据的决策分析称为联机分析处理（On-LineAnalysisProcessing，OLAP）；联机事务（OLTP）处理强调的是更新数据库；联机分析处理（OLAP）就是要从数据库中获取信息、利用信息。传统数据库系统不适宜决策支持系统（decisionsupportsystem,DSS）事务处理和分析处理的性能特性不同；数据集成问题；数据动态集成问题；历史数据问题；数据的综合问题；操作繁简问题。联机事务处理系统(On-LineTransactionProcessing，OLTP)是传统数据库的应用，主要是基本的、日常的事务处理。基本特征是顾客的原始数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。这样做的最大优点是可以即时地处理输入的数据，及时地回答。在日常生活中，我们能够接触到很多基于联机事务处理的应用系统，比如手机交费、银行交易、火车站售票、医院的收费系统等等。第10章CRM中的数据仓库CRM10.1数据仓库的基本概念——10.1.1从数据库到数据仓库联机分析与联机事务处理区别OLTP系统在统计分析方面的局限主要是由于它对数据实时性操作的特点造成的。由于这类系统要频繁的访问数据库，对数据库进行读写操作，如果数据库的历史数据非常庞大，就会影响到当前系统的运行速度。因而，这类系统的当前操作数据库只能存储一段时期的数据，系统自带的查询功能也只能操作当前系统数据库中有限时间的数据。比如，我们日常进行手机话费查询就只能够查询三个月左右的记录。第10章CRM中的数据仓库CRM10.1数据仓库的基本概念——10.1.1从数据库到数据仓库联机分析与联机事务处理区别OLTP和OLAP对比数据对比OLTP数据OLAP数据原始数据导出数据细节性数据综合性和提炼性数据当前值数据历史数据可实时更新不可实时更新，但周期性刷新一次处理的数据量小一次处理的数据量大面向应用，事务驱动面向分析，分析驱动面向操作人员，支持日常操作面向决策人员，支持管理需要二维的分立的多维的集成的，统一的用户操作人员，低层管理人员决策人员，高级管理人员功能日常操作处理分析决策数据库设计面向应用面向业务主题存取读/写数十条记录读写百万条记录工作单位简单的事务复杂的查询用户数上千个上百个数据库大小100MB-GB100GB-TB第10章CRM中的数据仓库CRM10.1数据仓库的基本概念——10.1.1从数据库到数据仓库传统数据库系统不适宜决策支持系统（DSS）——事务处理和分析处理的性能特性不同所有联机事务处理强调的是数据更新处理性能和系统的可靠性，并不关心数据查询的方便与快捷；在事务处理环境中，用户的行为特点是数据的存取操作频率高而每次操作处理的时间短。在分析处理环境中，用户的行为模式与此完全不同，强调的是数据处理和分析的能力；在传统数据库系统基础上的DSS应用程序可能需要连续几个小时，从而消耗大量的系统资源；联机分析和事务处理对系统的要求不同，同一个数据库在理论上难以做到两全，将具有如此不同处理性能的两种应用放在同一个环境中运行显然是不适当的。第10章CRM中的数据仓库CRM10.1数据仓库的基本概念——10.1.1从数据库到数据仓库传统数据库系统不适宜决策支持系统（DSS）——数据集成问题DSS需要集成的数据。全面而正确的数据是有效的分析和决策的首要前提，相关数据收集得越完整，得到的结果就越可靠；当前绝大多数企业内数据的真正状况是分散而非集成的；造成这种分散的原因有多种，主要有事务处理应用分散、“蜘蛛网”问题、数据不一致问题、外部数据和非结构化数据。——数据动态集成问题静态集成的最大缺点在于，如果在数据集成后数据源中数据发生了变化，这些变化将不能反映给决策者，导致决策者使用的是过时的数据；集成数据必须以一定的周期（例如24小时）进行刷新，我们称其为动态集成。显然，事务处理系统不具备动态集成的能力。第10章CRM中的数据仓库CRM10.1数据仓库的基本概念——10.1.1从数据库到数据仓库传统数据库系统不适宜决策支持系统（DSS）——历史数据问题事务处理一般只需要当前数据，在数据库中一般也是存储短期数据，且不同数据的保存期限也不一样，即使有一些历史数据保存下来了，也被束之高阁，未得到充分利用；但对于决策分析而言，历史数据是相当重要的，许多分析方法必须一大量的历史数据为依托。没有历史数据的详细分析，是难以把握企业的发展趋势的；DSS对数据在空间和时间的广度上都有了更高的要求，而事务处理环境难以满足这些要求。第10章CRM中的数据仓库CRM10.1数据仓库的基本概念——10.1.1从数据库到数据仓库传统数据库系统不适宜决策支持系统（DSS）——数据的综合问题在事务处理系统中积累了大量的细节数据，一般而言，DSS并不对这些细节数据进行分析。在分析前，往往需要对细节数据进行不同程度的综合。而事务处理系统不具备这种综合能力，根据规范化理论，这种综合还往往因为是一种数据冗余而加以限制。——操作繁简问题业务数据的模式是针对事务处理系统而设计的，数据的格式和描述方式并不适合非计算机专业人员进行业务上的分析和统计。第10章CRM中的数据仓库CRM10.1数据仓库的基本概念——10.1.1从数据库到数据仓库以上问题解决方案：针对以上问题，人们专门为业务的统计分析建立一个数据中心，它的数据可以从联机的事务处理系统、异构的外部数据源、脱机的历史业务数据中得到，它是一个联机的系统，专门为分析统计和决策支持应用服务，通过它可满足决策支持和联机分析应用所要求的一切。这个数据中心就叫作数据仓库。数据仓库可以看作一个作为决策支持系统和联机分析应用数据源的结构化数据环境。数据仓库所要研究和解决的问题就是从数据库中获取信息。第10章CRM中的数据仓库CRM10.1数据仓库的基本概念——10.1.1从数据库到数据仓库认识数据库与数据仓库数据仓库并非是一个仅仅存储数据的简单信息库，因为这实际上与传统数据库没有两样。数据仓库实际上是一个“以大型数据管理信息系统为基础的、附加在这个数据库系统之上的、存储了从企业所有业务数据库中获取的综合数据的、并能利用这些综合数据为用户提供经过处理后的有用信息的应用系统”。如果说传统数据库系统的重点与要求是快速、准确、安全、可靠地将数据存进数据库中的话，那么数据仓库的重点与要求就是能够准确、安全、可靠地从数据库中取出数据，经过加工转换成有规律信息之后，再供管理人员进行分析使用。第10章CRM中的数据仓库CRM10.1数据仓库的基本概念——10.1.2数据仓库概念及特点数据仓库的基本概念数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。数据仓库概念的两个层次：功能上：数据仓库用于支持决策，面向分析型数据处理，它不同于企业现有的操作型数据库；内容和特征上：数据仓库是对多个异构的数据源有效集成，集成后按照主题进行了重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改。数据仓库的特点面向主题集成的数据数据不可更新数据随时间不断变化使用数据仓库数据仓库的本质第10章CRM中的数据仓库CRM10.1数据仓库的基本概念——10.1.2数据仓库概念及特点数据仓库的特点——面向主题传统的数据库是面向应用而进行数据组织的，其抽象程度不够高，没有完全实现数据与应用的分离。但这种方式能较好地将企业业务活动与数据库模式相对应，利于从手工处理向计算机处理过渡，因而具有较好的可操作性；数据仓库是面向主题而进行数据组织的。主题是一个在较高层次上对数据的抽象，在逻辑意义上，它是对企业中某一宏观领域所涉及的分析对象，即将数据组织成主题域。例如，在银行经营运作中，业务(存款、贷款、汇兑)、货币、客户、机构、会计科目是其主要构架或方向，因此在银行业务数据仓库中，选择业务、货币、客户、机构、会计科目五个主题，并将会计科目作为连接其他四个主题的交易主题进行处理；面向主题可以独立于数据处理逻辑，适用于分析型数据环境，适用于建设企业全局数据库；数据仓库中目前仍采用关系数据库技术来实现，其面向主题所作较高程度上的抽象，应强调其逻辑意义。第10章CRM中的数据仓库CRM10.1数据仓库的基本概念——10.1.2数据仓库概念及特点数据仓库的特点——集成的数据面向事务处理的操作型数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构的。在数据仓库的所有特性之中，这是最重要的。应用问题的设计人员历经多年制定出来的不同的设计决策有很多很多种不同的表示方法，没有什么应用在编码、命名习惯、实际属性、属性度量等方面是一致的，各个应用问题设计员自由地做出他或她自己的设计决策；数据仓库中的数据是集成的。而数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。在数据仓库建设中，这是最关键最复杂的一个步骤，主要工作有：一是，进行数据的综合和计算；二是，统一源数据中所有不一致和矛盾的地方(如同名异义、异名同义、字长不一致、单位不一致等)。第10章CRM中的数据仓库CRM数据仓库的特点——集成的数据10.1数据仓库的基本概念——10.1.2数据仓库概念及特点第10章CRM中的数据仓库CRM10.1数据仓库的基本概念——10.1.2数据仓库概念及特点数据仓库的特点——数据不可更新操作型数据库中的数据通常实时更新，数据根据需要及时发生变化；从数据的使用方式上看，数据仓库的数据不可更新。这是指，当数据被存放到数据仓库以后，数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询和分析，修改和删除操作很少，通常只需要定期的加载、刷新；从数据的内容上看，数据仓库存储的是企业当前的和历史的数据，在一定的时间间隔后，当前的数据需要按一定的方法转换成历史数据，而在一定时间间隔内数据仓库的内容是稳定的。第10章CRM中的数据仓库CRM数据仓库的特点——数据不可更新10.1数据仓库的基本概念——10.1.2数据仓库概念及特点第10章CRM中的数据仓库CRM10.1数据仓库的基本概念——10.1.2数据仓库概念及特点数据仓库的特点——数据随时间不断变化数据仓库的不可更新是针对应用而言的，即用户进行分析处理时不对数据进行更新操作；但不是说，数据进入数据仓库以后就永远不变；数据仓库的数据随时间变化而定期地被更新：每隔一段时间数据库系统中产生的数据被抽取、转换以后集成到数据仓库中，而数据的过去版本仍被保留在数据仓库中；数据超过数据仓库的存储期限或对分析不再有用时，这些数据将从数据仓库中删去；