第1章决策支持系统概述

数据仓库和决策支持系统主讲：鲁明羽大连海事大学信息科学技术学院研究方向：智能数据分析与数据挖掘电话：[phone]Email：[e-mail]课程主要内容决策支持系统的相关概念决策推理与决策支持系统数据仓库的基础知识数据仓库的建造技术OLAP技术数据仓库的应用数据仓库的发展趋势数据挖掘方法简介教材及参考书教材：[1]陈京民等.数据仓库与数据挖掘技术（第二版），电子工业出版社，2007-12-01.[2]（美）W.H.Inmon著,王志海等译，数据仓库（第4版），机械工业出版社，2008.8.[3]高洪深，决策支持系统（DSS）理论·方法·案例（第四版），清华大学出版社，2009-09-01.参考书：[1]徐洁磐，数据仓库与决策支持系统，科学出版社，2005年4月，第1版。[2]黄梯云，智能决策支持系统，电子工业出版社，2001.第一章决策支持系统概述本章内容1.决策支持系统的定义2.决策支持系统产生的背景3.决策支持系统的发展阶段4.决策支持系统主要部件5.决策支持系统与企业决策6.决策支持系统的理论基础7.与DSS相关的若干概念8.决策支持系统的发展方向1.决策支持系统的定义计算机发展初期，主要用于科学计算问题，随后转向事务处理问题。EDP（Electronicdataprocessing）解决了一些办公自动化中的数据处理问题，但缺乏数据的系统处理能力。企事业单位的业务数据处理需求，促使MIS系统得到迅速发展和普及，解决了信息存储、组织和利用问题，促进了企事业单位信息化的进程，但不能分析挖掘并利用数据库中潜藏的深层知识。1.决策支持系统的定义20世纪70年代，学术界对于应用系统分析、传统运筹学、MIS等学科的发展和作用进行了反思，认为它们都遇到了一些障碍，主要是由于不重视或者无法正确体现决策者的真实需求和作用。社会与技术的发展，需要一种既能支持管理者决策、又能体现决策者意图和作用的新技术。1.决策支持系统的定义1971年，美国麻省理工学院的Keen和ScottMorton在《管理决策系统》一书中首次指出计算机对于决策的支持作用，提出了决策支持系统(DSS---DecisionSupportSystems）的概念。顾名思义，DSS是为管理决策提供技术支持的计算机系统，主要提供决策所需的必要信息和知识。IBM公司将DSS与BI（BusinessIntelligence）等同。商务智能1989年美国加特纳公司的分析师HowardDresner首次提出“商务智能”的概念。商务智能是数据仓库、联机分析处理和数据挖掘等相关技术走向商业应用后形成的一种应用技术。该技术收集、汇总了与商务活动有关的各种数据，将其集成到数据仓库中；采用联机分析技术对商务活动进行实时的监控、分析，便于及时采取有效的商务决策，提升商务活动的绩效；应用数据挖掘技术对描述商务活动的数据进行挖掘，以获取有效的商务信息，从中提取商务知识，为企业商业发展寻找新的机遇。商务智能商务智能的体系结构商务智能体系架构主要有：比尔•恩门的信息工厂架构扎克曼的企业体系结构美国数据仓库研究院的商务智能体系结构加特纳公司的商务智能体系结构等。这些体系结构中均包含了商务分析、OLAP、数据挖掘和数据仓库四大部分。1.决策支持系统的定义一般认为，DSS是以数据、模型、方法以及知识和工具为主体，结合并利用了计算机强大的信息处理能力和人的灵活判断能力，以交互方式辅助决策者解决半结构化和非结构化系统问题，通过定量分析，为各级管理者提供辅助决策。70年代末期，DSS一词已经非常流行，由此开始了信息系统新的发展阶段，并形成了决策支持系统这一新学科。2.决策支持系统产生的背景2.1从数据库到数据仓库的必然发展20世纪60年代后期=〉数据库时代三种典型数据库：层次数据库网状数据库关系数据库处理功能以信息检索为主，属于事务处理事务处理(TP---TransactionProcessing)分析处理(AP---AnalyticalProcessing)2.决策支持系统产生的背景早期的DSS（20世纪80年代初期）：直接在数据库之上建立分析模型，构成一种用于数据分析、预测和决策的系统，一般为双库结构（图1.1），。分析模型：以演绎性推理的数学模型为主统计分析，线性规划，最小二乘法，回归分析等DSS两库结构(三角式)图1.1DSS双库结构对话部件人机接口界面，协调通信数据库部件（根本）组织形式：层次模型；网状模型；关系模型模型部件（*核心）与对话部件交互，与数据库部件交互DSS两库结构(三角式)DSS两库结构(三角式)模型——是以某种形式对一个系统的本质属性的抽象描述，揭示系统的功能、行为及其变化规律。模型库系统——以库的形式对模型进行组织和管理，包括模型库及模型库管理系统。基于双库的决策系统真实系统环境外部信息内部信息与人的行为有关的信息问题决策决策者操作响应对话系统数据库系统模型库系统DSS图1.2基于双库结构的决策系统2.决策支持系统产生的背景基于模型库和方法库的DSS（三库结构）随着数学模型的结构日益复杂，并且涉及多种数学方法，数学模型中的数学方法部分被分离出去，形成了数学模型和数学方法两个部分，分别称为（数学）模型库和（数学）方法库，构成了三库结构的DSS（20世纪80年代中期，图1.3）。更为复杂的DSS结构（四库，五库，群库）DSS三库结构方法库管理系统图1.3DSS三库结构DSS四库结构（经典结构）图1.4DSS四库结构DSS五库结构图1.5DSS五库结构DSS群库结构近年来，有学者提出增加DSS的组成部件，从而形成5库、6库、7库、8库等群库结构。即：DSS=群库系统+对话系统（人机界面）群库系统：模型库方法库知识库工具库数据库文本库图形库语音库空间信息库…DSS功能两库结构三库结构四库结构五库结构DSS的演变结构化问题半/非结构化问题DSS空间范围桌面DSS网络DSSDSS库结构2.2TP环境不适应DSS应用1.事务处理(TP)和DSS所需数据的粒度不同在事务处理（TP）环境中，操作的是数据库中的数据（一般为原始的业务性数据）。数据格式和描述方式并不适合非计算机专业人员进行业务上的分析和统计；而在分析处理环境中，需要的是对原始数据进行统计加工的统计性、总结性数据。DSS在利用原始数据进行分析前，往往需要对这些数据进行不同程度的综合，而事务处理系统一般不具备这种能力。2.2TP环境不适应DSS应用在事务处理环境中，系统处理特点是：数据的存取操作频率高，而每次操作处理的时间短；数据随时可能修改，从而发生变化；一般为当前数据。在分析处理环境中，系统处理特点与此完全不同，某个DSS应用程序可能需要连续几个小时。另外，可能需要用到大量历史数据，并且一般为相对稳定的，保存周期长；可按事先规定好的方式进行更新，但不允许人工修改。2.事务处理(TP)和分析处理(AP)的处理特性不同2.2TP环境不适应DSS应用3.数据集成问题在事务处理环境中，数据库中的数据一般为面向某个应用的局部数据。=一般不需集成而在分析处理环境中，DSS系统需要的是大量、广泛、普遍的集成性数据。=事先需要集成全面而正确的数据是进行有效的分析和决策的首要前提。相关数据收集得越完整，得到的结果就越可靠。而当前绝大多数企业内数据的真正状况是分散而非集成的。2.2TP环境不适应DSS应用3.数据集成问题造成当前绝大多数企业内数据分散而非集成的原因有多种，主要有：事务处理应用分散而相互独立“蜘蛛网”问题数据不一致问题外部数据和非结构化数据2.2TP环境不适应DSS应用服务器工作站会计系统ORACLE服务器工作站信用卡系统Sybase服务器工作站Informix储蓄系统财务部服务器工作站SQLServer办公自动化系统图1.6事务处理应用分散的实例图1.7蜘蛛网问题2.决策支持系统产生的背景通过对比事务处理(TP)与DSS可知，传统的数据库系统不能适应决策支持系统的需要，必须进行改造，通过数据集成和综合，构建数据仓库数据仓库(DataWarehouse)是在数据库基础上产生的一种数据集合体，是数据库概念的延伸与推广，目的是适应决策支持的需要构建数据仓库的过程称为数据仓储(dataWarehousing)，其成果为数据仓库(dataWarehouse)。2.决策支持系统产生的背景2.3从数据仓库DW到业务智能BI的发展数据仓库可以较好地满足数据集成、复杂数据查询和OLAP的需要但是对于一些复杂的、深层次的数据分析需求，数据仓库有一定局限性，必须与数据挖掘技术及可视化方法等相结合分析模型的扩展：从演绎推理型扩展至归纳推理（学习）型=OLAP（验证型）+DM（探索型）结果展示方法的扩展：引入最新的可视化方法多媒体界面，Web发布扩充的分析方法2.决策支持系统产生的背景结果展示联机分析处理OLAP数据挖掘DM数据仓库DW图1.7新的决策支持系统结构2.决策支持系统产生的背景新的DSS结构的组成：a)数据仓库：是支持DSS的数据集合体，也是其决策基础，可为后面的分析决策提供数据支持b)OLAP：是一种验证型的模型化分析工具，以数据仓库中的数据为基础，按一定的模型进行分析，以人机交互为主要操作手段，最终可获得一定的规律性知识，是一种扩充的验证型分析方法。2.决策支持系统产生的背景c)数据挖掘：是一种以归纳分析为主的分析工具集合，能够对数据库和数据仓库中的数据进行归纳性总结与分析，并最终形成深层次的规律性知识d)结果展示：是DSS中的结果输出与表示工具，具有本地/远程/互联网、单媒体/多媒体等多种展示方式2.决策支持系统产生的背景新的DSS结构的优点1)能较好地反映DSS对数据的真实要求2)能够构建较深刻的分析模型3)能充分利用DSS的有效展示能力4)具有更为广泛的应用性与适用性5)具有多学科的集成优势数据库，人工智能，数学，多媒体，网络技术，…管理学，心理学，运筹学，系统工程，经济学，…联邦数据仓库数据集市已有数据抽取清理转换信息查询分析评价加载建立索引聚合/汇总复制数据集分布OLAPWebpresentDM数据采集系统中心医院信息系统电子病案库中心中心电子病案库。。。—临床流行病学—循证医学—中医诊断学……采集工具采集界面图1.8数据仓库体系结构的一个实例图1.9DSS系统的一个实例知识库中医药诊疗临床信息数据库数据仓库OLAPETL工具其它数据源OLAP结果数据挖掘知识库管理元数据元数据管理其它预处理工具模式结果评价可视化工具系统输出结果数据预处理3.决策支持系统的发展阶段I.数据库阶段DSS发展的初级阶段，主要以数据库为基础，构建分析程序，20世纪80年代初形成，并在80年代中、后期得到发展。这个阶段涉及几种专门程序：1)特定查询程序用户（特别是市场和金融部门的用户）向IT部门提出特定查询需求（例如VIP客户列表），IT部门编制专门的程序来提供特定查询报表。3.决策支持系统的发展阶段2)特殊抽取程序IT部门预先估计用户的各种查询需求，编制从不同业务系统中抽取目标数据的程序，定期运行，以满足用户的需求。有时为了满足特殊需要，也需单独编制专用程序。3)小型通用应用程序IT部门对数据抽取处理进行规范化，并基于所产生的抽取文件，开发一些简单的应用程序。用户只要给定所需要的特定报告的参数，报表打印程序就可以输出满足需要的报表。其中一些高级程序允许用户联机查看结果信息（所见即所得）。3.决策支持系统的发展阶段II.数据仓库阶段20世纪90年代初形成，并在90年代得到发展与普及，是DSS发展的中级阶段（过渡阶段），主要以数据仓库为基础，构建DSS。在这个阶段，国内外出现了许多所谓的信息中心或数据中心。下级单位需要根据上级机构的要求，逐层向上级机构传送业务数据。用户可以向信息中心提出特定查询请求，可以在自己的终端上查看信息。IT专业人员会在信息中心帮助用户获得所需要的合法内容。在这种情况下，报表和屏幕上的信息都是预