电子商务中的数据处理技术

第八章电子商务中的数据处理技术数据仓库数据仓库概念及特点数据仓库的定义数据仓库是：用于管理决策支持的面向主题、集成、稳定、随时间变化的数据集合。数据仓库的特点：面向主题、集成、时变，不可修改。数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用第八章电子商务中的数据处理技术数据集市是一种更小、更集中的数据仓库，是为企业提供分析企业数据的一条廉价途径。元数据是关于数据的数据，它描述了数据仓库的数据和环境。多维数据库就是以多维方式在组织数据。外部数据是不能在联机事务处理（OLTP）系统中找到，但为增强数据仓库中信息质量而所需的数据。数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用第八章电子商务中的数据处理技术数据仓库与数据库的区别数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用数据仓库组织和管理数据的方法与普通数据库不同。主要表现在以下3个方面。①它依据决策要求，只从数据库中抽取那些需要的数据，并进行一定的处理。②数据仓库是多维的，即数据仓库中数据的组织方式有多层的行和列。③它采用分析型的数据处理而非普通的操作型的数据处理方式，支持决策处理而非常规事务处理。操作型数据的特点分析型数据的特点细节的综合的、经过提炼的在存取的瞬间是准确的代表过去的数据可更新不更新操作需求通常事先可知分析需求通常事先不知道生命周期符合SDLC生命周期不同于SDLC对性能（如操作时延）要求高对性能要求较宽一个时刻操作一个数据单元一个时刻操作一个数据集合事物驱动分析驱动面向应用面向分析一次操作数据量小一次操作数据量很大支持日常操作需求支持管理需求操作型数据和分析型数据的区别第八章电子商务中的数据处理技术数据仓库的技术支持高性能的数据库服务器数据库互操作技术并行数据库技术数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用第八章电子商务中的数据处理技术数据仓库的特性数据仓库的数据是集成的。数据仓库的数据是不可更新的。数据仓库的数据是面向主题的。数据仓库的数据是随时间不断变化的。数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用第八章电子商务中的数据处理技术数据仓库的应用目标优化企业内部管理控制：数据仓库的第二类应用目标是对企业的管理控制进行优化，包括产品生产和人员管理。为企业增加商业机会：数据仓库的第三类应用目标是为了企业增加商业机会。作为企业的核心业务：以核心业务为主要目标的数据仓库是关键业务驱动的。数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用第八章电子商务中的数据处理技术数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用数据仓库的体系结构第八章电子商务中的数据处理技术产品的生产过程与数据仓库的数据处理过程的对比产品的生产制造数据仓库的数据处理目的为客户和消费者提供他们所需的产品为某些分析目标提供他们所需的面向主题的，集成的，相对稳定的和随时间变化的数据集合库存存货：维护存货和过多的存货会导致效率低下，成本高昂孤立的数据：孤立的数据就像存货一样维护起来成本昂贵，只有将其转变成能传递给用户使用的知识，这些数据才有用。设计设计蓝图和原材料：对产品进行概念描述和设计，研究和确定需要什么原材料，哪些原材料能生产出最好的产品模型和数据元：对应用目标进行建模描述，研究和确定需要什么数据，哪些数据更能满足目标需求，并将这些数据集合成数据元生产部件：将这些原材料制成部件主题数据仓库：将数据元组合成主题数据仓库组装产品：将部件装配成产品数据中心：由主题数据仓库生成数据中心销售分销渠道：产品经由各种渠道（批发，直销，代销，零售等）销售出去分发途径：数据通过各种途径（因特网，内部网，报告，计算机程序等）分发出去产品完善产品使用过程：反馈，改进，升级，增强，淘汰数据使用过程：调用，增强，升级，废弃数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用第八章电子商务中的数据处理技术数据仓库的功能数据的抽取、转换和加载功能数据仓库的功能数据的清洗、融合与集成功能数据存储管理和查询功能运行维护功能数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用第八章电子商务中的数据处理技术联机分析处理(OLAP)OLAP是在联机事务处理（OLTP）基础上发展起来的。OLAP工具可分为两大类，一类是基于多维数据库的，另一类是基于关系数据库的。联机分析处理技术也称多维分析，它是一种数据分析技术，能够完成基于某种数据存储的数据分析功能。OLAP服务器是一个高容量和多用户的数据操作引擎,用于支持和操作多维数据结构。数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用第八章电子商务中的数据处理技术联机分析处理(OLAP)数据源：可以是操作型数据库、历史数据、外部数据或从己有的数据仓库环境所得的信息。抽取/传播：是从各种数据源和不同的平台收集数据并将它们移动到数据仓库的过程。相关概念转换/清洗：转换主要用于合并不同数据源的数据。清洗确保数据仓库具有正确的、有用的和有意义的信息。数据提炼：创建数据仓库的一个子集、创建计算域/虚拟域、汇总信息和聚合信息。数据存储与访问数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用第八章电子商务中的数据处理技术OLAP分析中的维度与事实维表的本质是多维分析空间在某个角度上的投影，多个维表共同建立一个多维的分析空间。在OLAP分析中有一些常用的维度：时间维、地理维、机构维、客户维、产品维。模型中的事实一般用维表来描述。事实是各个维度的交点，是对某个特定事件的度量。数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用第八章电子商务中的数据处理技术多维OLAP分析图产品时间财务指标卷烟销售分析国产烟进口烟T1T2T3T4收入开销数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用第八章电子商务中的数据处理技术钻取收入开销产品时间财务指标卷烟销售分析进口烟国产烟Q1Q2Q3Q4杭产烟上海烟中华双喜数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用第八章电子商务中的数据处理技术切片数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用第八章电子商务中的数据处理技术旋转数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用第八章电子商务中的数据处理技术数据挖掘的定义数据挖掘是从数据中抽取正确的、有用的、以前未知的和综合的可理解的信息，并使用该信息作商业决策的过程。数据挖掘的意义数据挖掘是一种决策支持的过程，能高度自动地分析企业原有的数据，进行归纳推理，从中挖掘出潜在的模式，预测客户的行为，帮助企业的决策者调整市场策略，从而减少风险，辅助做出正确的决策。数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用第八章电子商务中的数据处理技术联机分析处理的局限联机分析处理需要对用户的需求有全面而深入的了解。抽取信息的质量依赖于用户对结果的解释。常常需要以假设为基础。数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用第八章电子商务中的数据处理技术概念描述功能关联分析功能数据挖掘的功能分类和预测功能聚类功能检测功能演变分析功能数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用第八章电子商务中的数据处理技术金融业：分析金融企业影响业务的关键因素银行业：辅助金融政策的制定数据挖掘技术的应用保险业：发现客户，防止欺诈零售业：了解各户购买行为医疗与保健：找到特定疾病的治疗方法物流业：优化物流网络电信业：确定电信模式，捕捉盗用行为数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用第八章电子商务中的数据处理技术数据挖掘的过程数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用第八章电子商务中的数据处理技术数据挖掘关键技术分类：为一个事件或对象归类，即预测一个特定的对象属于哪一类。聚类：根据一定的聚类规则把整个数据分成不同的组，即将具有某种相同特征的数据聚在一起。关联技术：从大量的商务事务记录中发现潜在的关联关系，可以帮助人们作出正确的商务决策。关联规则关联分析“啤酒与尿布”的故事购物篮分析数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用第八章电子商务中的数据处理技术以数据仓库为中心的商务数据库系统数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用第八章电子商务中的数据处理技术现代数据库技术的优越性联机分析处理从数据仓库中的集成数据出发，实现了分析方法和数据结构的分离。数据挖掘以数据仓库和多维数据库中的大量数据为基础，自动地发现数据中的潜在模式。数据仓库解决了数据不统一的问题。数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用第八章电子商务中的数据处理技术数据仓库数据仓库概念及