数据仓库-方法论

Allrightsreserved.2012,Lakewood数据仓库方法论成功引导您构建数据仓库2Allrightsreserved.2012,Lakewood目标通过本章学习，将学到以下内容:•建设目标•项目存在问题及成功关键因素•Oracle实施方法论DWM(13个过程、7个阶段)•DWM组成•数据仓库建模方法•数据仓库架构•数据质量•项目成功关键因素(应用、实施、技术、推广)3Allrightsreserved.2012,Lakewood数据仓库系统的建设目标－从数据到知识4Allrightsreserved.2012,Lakewood完整的决策分析过程5Allrightsreserved.2012,Lakewood数据仓库项目失败的标志•业务人员日常工作不依赖于数据仓库•业务人员不信任数据仓库•项目周期延长•费用超出预算6Allrightsreserved.2012,Lakewood数据仓库项目普遍存在的问题•平台问题：–高性能，可扩展–稳定可靠•数据问题：–数据整合–数据质量•应用问题：–产品易用性–分析功能－提供决策支持能力7Allrightsreserved.2012,Lakewood数据仓库项目成功的关键因素在最短时间内看到数据仓库的效益•效益–降低客户流失率–增加收入–提高客户满意度•成本–软硬件投资–管理维护成本•风险–技术风险–业务风险8Allrightsreserved.2012,Lakewood数据仓库项目规划考虑的因素9Allrightsreserved.2012,Lakewood数据仓库建设整体思路•整体规划，分步实施–整体规划–设立分阶段目标，逐步实施•需求驱动•注重分析型结果和操作型应用的交互，形成闭环操作流程10Allrightsreserved.2012,LakewoodDWM－数据仓库实施方法Oracle数据仓库实施方法论(DWM--DataWarehouseMethod)•多年数据仓库系统实施的提炼•预定义好数据仓库系统不可缺少的步骤和任务•确定正确的系统范围和用户需求、建立灵活的系统架构•数据仓库系统的实施分为13个过程、7个阶段11Allrightsreserved.2012,Lakewood数据仓库方法论（DWM）的组成12Allrightsreserved.2012,LakewoodOracle数据仓库实施方法论13Allrightsreserved.2012,LakewoodOracle数据仓库方法论的提交物14Allrightsreserved.2012,Lakewood数据仓库系统设计和开发方法15Allrightsreserved.2012,Lakewood整体规划，分步实施16Allrightsreserved.2012,Lakewood应用驱动的建设模式17Allrightsreserved.2012,Lakewood规划系统应用架构18Allrightsreserved.2012,Lakewood规划系统数据架构19Allrightsreserved.2012,Lakewood确定数据仓库应用的优先级20Allrightsreserved.2012,Lakewood数据模型的作用•统一企业的数据视图（业务概念和关系）•定义业务部门对于信息的需求•是建立数据仓库原子层的基础•支持数据仓库的发展规划•初始化业务数据的归属21Allrightsreserved.2012,Lakewood数据仓库建模方法22Allrightsreserved.2012,Lakewood举例：Oracle电信数据模型主题域23Allrightsreserved.2012,Lakewood传统的数据仓库架构－使用专门产品实现专门的功能24Allrightsreserved.2012,LakewoodOracle整合的数据仓库架构低成本，低风险25Allrightsreserved.2012,Lakewood数据仓库的直接使用和间接使用26Allrightsreserved.2012,Lakewood对数据仓库中信息的使用方式27Allrightsreserved.2012,Lakewood信息28Allrightsreserved.2012,Lakewood数据质量金字塔29Allrightsreserved.2012,Lakewood如何保证数据质量30Allrightsreserved.2012,LakewoodOracle数据质量管理流程31Allrightsreserved.2012,LakewoodOWB中的数据质量分析•数据类型验证–数据类型（整数、浮点数、字符串等）是否正确•数据模式验证–电话号码、身份证•唯一性验证–重复的信息•数据有效性验证–符合值域范围•一致性验证–不同表之间、不同系统之间•完整性验证–关键字段缺失32Allrightsreserved.2012,Lakewood数据匹配/合并33Allrightsreserved.2012,Lakewood数据仓库项目成功关键因素34Allrightsreserved.2012,Lakewood数据仓库项目成功的要素－应用方面•以应用为核心–数据仓库不是目的，而是手段•明确系统的使用对象–管理决策层–专业分析员–前台业务部门•提升管理水平–不是统计报表系统–最大限度发挥数据仓库的作用35Allrightsreserved.2012,Lakewood数据仓库项目成功的要素－技术方面•信息集成是关键–保证数据质量–数据获取过程可靠，自动化•以服务用户为目标–方便用户使用•提升系统的可管理性–数据访问的性能–系统的可靠性–易于使用和维护36Allrightsreserved.2012,Lakewood数据仓库项目成功的要素－实施方面•制订合理的项目目标–必须与企业发展目标一致，才能获得领导层的支持–项目目标必须明确而具体–近期需求与长远规划相结合•沟通是关键–业务部门和技术部门紧密合作•保持项目组成员的长期稳定37Allrightsreserved.2012,Lakewood数据仓库项目成功的要素－推广方面•加强项目培训，提升员工的计算机应用水平和决策分析水平•建立系统推广配套体系与奖惩制度38Allrightsreserved.2012,Lakewood小结通过本课的学习,您应该掌握了:•建设目标•项目存在问题及成功关键因素•Oracle实施方法论DWM(13个过程、7个阶段)•DWM组成•数据仓库建模方法•数据仓库架构•数据质量•项目成功关键因素(应用、实施、技术、推广)39Allrightsreserved.2012,Lakewood本页仅备注Allrightsreserved.2012,LakewoodNCR数据仓库实施方法论--XX电信经营分析与决策支持系统2Allrightsreserved.2012,Lakewood目标通过本章学习，将学到以下内容:•数据仓库实施方法论•项目具体实施步骤•项目管理•方法论本地化•关键过程阶段3Allrightsreserved.2012,Lakewood基本情况项目名称：XX电信经营分析与决策支持系统项目周期：•启动时间－2007年01月08日•初验时间－2008年02月29日•终验时间－2008年08月29日项目范围：•地域跨度－省公司＋17个本地网•时间跨度－06年本地网老系统数据＋BOSS上线后所有数据•数据跨度－–省公司：BOSS、结算、渠道、财务、综合统计–本地网：97、计费、10000号HOT4Allrightsreserved.2012,Lakewood?规划解决方案支持数据仓库管理(处理流程与操作)物理数据库设计数据转换应用开发数据挖掘服务设计与实现支持与增强解决方案体系结构设计元数据管理数据仓库评估应用增强逻辑数据模型回顾物理数据库回顾性能调整容量规划解决方案集成定制解决方案规划详细数据分析解决方案准备就绪解决方案实施建议现成解决方案规划数据仓库策略开发业务探索业务探索解决方案定义逻辑数据模型设计修改逻辑数据模型验证解决方案数据仓库的循环过程NCR数据仓库实施方法论5Allrightsreserved.2012,Lakewood数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成项目具体实施步骤项目前期准备业务探索信息探索逻辑数据模型1.项目前期准备2.业务探索（BusinessDiscovery)3.信息探索（InformationDiscovery)4.逻辑数据模型设计5.系统体系结构设计6.物理数据库设计7.数据转换加载ETL8.前端应用开发9.数据挖掘服务10.元数据管理11.数据仓库管理（处理流程与操作）12.解决方案集成（测试验收与试运行）项目具体实施步骤6Allrightsreserved.2012,Lakewood主要任务：项目启动会议(Kick-offMeeting)确认项目范围和主要目标确认项目阶段性验收及总体验收标准确认项目实施计划成立项目组确定各项目小组的成员及各自的工作职责确定各项目小组的阶段性工作目标确定教育训练计划确定服务流程及方式交付项目：项目组织机构项目人员组成项目前期准备业务探索信息探索逻辑数据模型1.项目前期准备7Allrightsreserved.2012,Lakewood主要任务：确定重点用户与数据源用户需求调研与确认数据源确认用户需求和数据源的筛选和分析交付项目：业务需求说明书BRLBusinessRequirementList项目前期准备业务探索信息探索逻辑数据模型2.业务探索8Allrightsreserved.2012,Lakewood主要任务：分析用户需求数据源分析进行工具评估系统安全性设计系统命名规范设计交付项目：系统安全性设计说明书系统命名规范说明书数据质量分析项目前期准备业务探索信息探索逻辑数据模型3.信息探索9Allrightsreserved.2012,Lakewood主要任务：进行原始数据分析建立实体模型建立实体间依赖关系完善并填入所有属性建立数据库逻辑模型利用工具：ERWin交付项目：功能需求列表FRL(FunctionalRequirementList)数据仓库逻辑数据模型LDM逻辑数据模型说明书项目前期准备业务探索信息探索逻辑数据模型建模方法：第三范式3NF4.逻辑数据模型设计10Allrightsreserved.2012,Lakewood4.逻辑数据模型设计实例11Allrightsreserved.2012,Lakewood主要任务：源系统现况NCR可扩展数据仓库框架结构定义数据仓库成功的关键因素定义数据仓库的实施原则对系统体系结构各个组件进行详细设计交付项目：《系统体系结构设计说明书》数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成5.系统体系架构设计12Allrightsreserved.2012,Lakewood用户类型拓扑结构网络存取与互连组织机构安全性数据体系结构逻辑数据模型元数据数据质量命名规范数据采集与转换用户存取及工具备份系统操作管理5.系统体系架构设计内容13Allrightsreserved.2012,Lakewood主要任务：转换逻辑数据模型（LDM）为物理数据模型定义主索引、次索引非正规化处理（demoralizations）数据库建立设计优化数据库功能测试使用工具：ERWin交付项目：物理数据模型（PDM）《物理数据模型说明书》《数据库描述语言DDL》数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成6.物理数据模型设计14Allrightsreserved.2012,Lakewood6.物理数据模型设计实例15Allrightsreserved.2012,Lakewood主要任务：数据源及其特性