第5章 电子商务中的数据仓库技术

2019/8/2武汉大学信息管理学院1第5章电子商务中的数据仓库技术主要内容：CIF与电子商务识别电子商务用户电子商务与企业数据的整合数据仓库在电子商务中的应用、探索与变化武汉大学信息管理学院22019/8/25.1CIF和电子商务本节主要内容：CIF的组成部分定义电子商务体系结构需求理解点击流数据利用元数据转化语言来解释信息理解CIF和电子商务接口武汉大学信息管理学院32019/8/25.1.1CIF组成部分CIF：企业信息工厂，CorporateInformationFactory，CIF基础设施包括以下组成部分：因特网（Internet）企业网站（CorporateWebSite）防火墙（Firewall）企业操作型系统（Corporateoperationalsystem）粒度管理器（Granualritymanager）武汉大学信息管理学院42019/8/2企业数据仓库（Enterprisedatawarehouse）企业数据集市环境（Corporatedatamartenvironment）探索环境（Explorationenvironment）可选存储/近线存储环境（Alternativestorage/nearlinestorageenvironment）企业操作型数据存储环境（Corporateoperationaldatastore）武汉大学信息管理学院52019/8/2武汉大学信息管理学院62019/8/2（一）定义WEB环境WEB环境三要素：Internet防火墙网站本身除了这些外，WEB环境还要包括一些内容：武汉大学信息管理学院72019/8/21.企业操作型系统企业操作型系统负责运行日常操作,这些操作通常是在某种媒介上进行。企业操作型系统主要用来管理事务。消费者或者代理可以直接提交这些事务。数据是通过集成/转化（I/T）程序来提供的，I/T程序也称作抽取、转化、和装载（ETL，Extract,Transform,Load）程序。它们负责将这些来自许多程序的数据转化为一种统一的格式和结构，从而将电子商务数据无缝地集成到企业中来。武汉大学信息管理学院82019/8/22.粒度管理器粒度管理器是一种用于对网站数据进行预处理以便让数据进入CIF的软件。负责组织网站数据，以便这些数据可以有效应用于整个系统中。有些情况下，需要丢弃一些数据，而在另外一些情况下，则需要合并相似类型的数据，因此必须谨慎使用粒度管理器，以免破坏数据。武汉大学信息管理学院92019/8/23.企业数据仓库企业数据仓库（EnterpriseDataWarehouse，EDW）位于整个处理过程的中心。所有数据都曾经存储在企业数据仓库中，包括：粒状数据历史数据集成数据企业数据武汉大学信息管理学院102019/8/2粒状数据这是最低的细节级，可以转化为不同的形式和结构。历史数据近5年的数据均可以保存，这些数据可用于直接分析。集成数据这种数据是消除了应用偏差的数据。企业数据通常包括这些数据：易于访问，易于修改。武汉大学信息管理学院112019/8/24.企业数据集市环境企业数据仓库包含了一些粒度非常小而非常详细的数据。一个组织内的不同部门需要根据特定需要查看不同形式组织的数据。这样就要建立物理上独立的数据库——数据集市。经常需要拥有自己的数据集市的部门：销售：用于销售报表。营销：用于确定市场潜力和渗透力。财务：用于在开支上进行下钻。会计：用于建立报表和修正。人力资源：用于满足管理需求。工程：用于提供产品跟踪。保险精算：用于风险管理。武汉大学信息管理学院122019/8/25.探索型数据仓库探索型数据仓库允许探索者随心所欲地进行大量探索处理，而不会对数据仓库环境的其他用户造成负面影响。来自WEB环境中的数据可以通过起一数据仓库进入探索型数据仓库。探索型数据仓库对WEB用户而言非常重要，当业务模式发生变化时，探索型数据仓库会最先并且最清楚地察觉到这些变化。武汉大学信息管理学院132019/8/26.可选存储虽然使用高性能磁盘存储，从技术上对企业数据仓库意义非常大，但是下列2个因素使得这种存储并不是最佳方案：数据仓库的信息量急剧增加，电子商务中非常明显需要将数据分类：经常使用的数据、很少使用的数据因此，有必要将EDW开展到高性能磁盘存储以外的介质上。即：可选二级存储，与高性能磁盘存储相比，可选存储比较廉价，但存取速度也较慢。当数据仓库被扩展到二级存储时，数据可以以最低节级、最高粒度存入数据仓库。武汉大学信息管理学院142019/8/27.操作型数据存储（ODS）Web环境中，ODS（OperationalDataStore)是CIF中最重要的结构之一。ODS的特征就是一种能够处理混合负载的操作系统和数据库管理系统。两种ODS类型：WebODS：存在于Web环境内部，核心部分是一台普通规模的计算机企业ODS：存在于CIF内部，核心部分是一台大型计算机这两种ODS分别针对不同的目的而设计。企业ODS是一个真正的“产业实力”处理器，它能够容纳比WEBODS多的数据，是一种“全局的”ODS。WebODS只为源于Web服务器内部的事务提供服务，是一种“局部的”ODS。利用粒度管理器，ODS可以适应不同级别的数据粒度（0级、1级、2级）。武汉大学信息管理学院152019/8/2武汉大学信息管理学院162019/8/2武汉大学信息管理学院172019/8/2武汉大学信息管理学院182019/8/2（二）定义电子商务体系结构需求什么是电子商务基础设施什么是点击流数据在web用户与网站交互过程中发生了什么行为和活动？这些行为和活动如何影响总的体系结构和模型？什么是信息和元数据转化语言？XML、HTML和XHMTL语言如何作用于数据和元数据转化？应该如何来处理海量数据？武汉大学信息管理学院192019/8/2建立电子商务基础设施在初始阶段，企业一般从一到两太用于支持网站的服务器开始，在创建电子商务环境的早期，网页主要包含了描述性的静态信息；随着业务不断扩大，使用多个服务器支持在线环境，收集Web日志信息和向用户传送任何类型的内容；为了满足需求，开始建立一个由企业本身控制的在线环境，首先考虑转移到代理服务器，当需要额外的服务器来处理特殊工作时，网站就会成为集中式的或者分布式的。武汉大学信息管理学院202019/8/25.1.2理解点击流数据1、点击流数据Web日志里包含的数据被称作点击流数据。是用户在与网站交互活动中产生的。Web日志包含了以下数据：Web用户的唯一在线标识符或者Internet地址用户来自哪里的网络用户用哪些查询来打开网页。Web日志的使用分为三种级别（三种粒度级别），所有级别都是ODS的一部分。0级：最低立地级别，在电子商务环境中表示为Web日志中包含的数据，用于及时分析。常驻在ODS中1级：包含0级数据的简单聚集，这种聚集是在与其他企业数据进行集成基础上创建的2级：包含那些被聚集或汇总的表主要用于报表武汉大学信息管理学院212019/8/2来自Web日志的数据可以以多种方式使用：作为即时分析的基础用于非即时分析（Web日志收集后的15分钟~1个小时）分析Web日志数据以获得关于网站客户的更多知识武汉大学信息管理学院222019/8/2武汉大学信息管理学院232019/8/2识别形式：客户IP地址客户或用户标识符认证用户要素日期和时间戳关于统一支援定位符的服务器请求信息请求状态发送字节数武汉大学信息管理学院242019/8/22、使用先前站点信息说明用户访问当前网站之前访问的那个网站的相关信息。3、与ODS结合起来Web、个性化引擎、内容服务器、两种操作型数据存储以及数据仓库之间的交互如图所示。武汉大学信息管理学院252019/8/2武汉大学信息管理学院262019/8/25.1.3利用元数据转化语言来解释信息企业应用集成（EAI）一种接口，它与不同平台和软件合作以便将数据集成到同一数据存储中。它为应用程序之间的交互提供了必要的基础。●EAI策略需要的三种形式的软件：应用交换技术数据转化技术XML、HTML和XHTML技术武汉大学信息管理学院272019/8/2（四）理解CIF和电子商务接口Web环境发送需要在操作型环境中执行的事务。Web环境通过粒度管理器传送数据到企业数据仓库中。Web环境通过ODS接受数据到网络服务器中。武汉大学信息管理学院282019/8/2武汉大学信息管理学院292019/8/2通向CIF的三种接口武汉大学信息管理学院302019/8/2发送事务到操作型环境中武汉大学信息管理学院312019/8/2数据经过粒度管理器武汉大学信息管理学院322019/8/2武汉大学信息管理学院332019/8/2数据经过ODS武汉大学信息管理学院342019/8/2武汉大学信息管理学院352019/8/25.2识别电子商务用户识别内部用户群体识别外部用户群体获得过程支持所有用户武汉大学信息管理学院362019/8/25.2.1内部用户：分析型用户：“农夫”——出现在管理人员和业务计划小组中，有着一致的、定义完整的需求。“旅行者”——管理和行政级别上的用户。“探索者”——非传统的思考者。“挖掘者”——在大范围的、高度集中的数据集上进行深入研究。“操作员”——最普通的用户。武汉大学信息管理学院372019/8/2武汉大学信息管理学院382019/8/2终端用户群体：这类内部用户团体包含分析型用户，他们使用很多相同的业务智能工具；但是工作的协作特性还需要一些其他的工具、格式和通道（包括网站、点击流数据和遥测技术）。工作组——通常由管理人员组成、其主要工作是送货和提供服务。实践团队——以分组学习活动、共享与工作有关的焦点问题为特性。武汉大学信息管理学院392019/8/2武汉大学信息管理学院402019/8/2武汉大学信息管理学院412019/8/25.2.2外部用户：业务合作伙伴有效的电子商务合作关系以综合的、用户可定制的服务为中心，包括个性化的界面、专门的定价、广泛的客户支持、技术信息、软件升级、产品配置工具、故障诊断支持、在线培训和认证课程。武汉大学信息管理学院422019/8/2消费者商业人员要建立和客户之间相互满意的关系以获得客户的信任，就必须把重点放在为客户提供最满意的服务上。研究人员——最懂计算机的、注意力最集中和最顽强的一类人员。购物者——主要被价格和产品可用性等因素驱动。采购员——注意力更为集中的、目的性更强的购物者。武汉大学信息管理学院432019/8/2武汉大学信息管理学院442019/8/2武汉大学信息管理学院452019/8/2社区在最好的环境下，“社区”建立了一种对于产品供应方面的紧密关系和信任感觉。第一层好处：聚集个人的兴趣和活动另两个好处：社区作为CRM的目标社区作为协作的基础武汉大学信息管理学院462019/8/2武汉大学信息管理学院472019/8/2武汉大学信息管理学院482019/8/25.2.3获得过程获得过程（procurement）是指获得企业运转所需要的商品和服务，以及为流线型业务过程提供最为丰厚的回报的过程。将注意力集中在获得过程的业务用户，和与之对应的消费者相比，显著的不同有：购买优先级；定制功能选项的范围●供应链上的合作关系武汉大学信息管理学院492019/8/25.2.4支持所有用户知识管理和CIF：以结构化方式归档企业中所有的智能资产的过程。1.知识映射——作为知识管理的补充，是一种信息映射的扩展形式。2.培训和教育——要素：智能课程丰富的媒体集武汉大学信息管理学院502019/8/2武汉大学信息管理学院512019/8/2武汉大学信息管理学院522019/8/25.3电子商务与企业数据的整合粒度级别数据模型的作用模型之间的关系武汉大学信息管理学院532019/8/25.3.1Web站点数据模型●主题域模型●企业逻辑数据模型●数据仓库和数据集市