基于CWM的数据仓库体系结构设计

基于CWM的数据仓库体系结构设计我的工作提出了一个基于CWM的数据仓库体系结构基于该体系结构，参与设计和实现了一个电信综合业务信息服务平台提纲背景介绍数据仓库、元数据理论介绍CWM、MOF、UML、XMI规范介绍基于CWM的数据仓库体系结构设计电信综合业务信息服务平台设计背景介绍数据仓库的应用越来越广泛不同数据仓库工具之间无法进行数据交换企业的应用受到工具的限制利用元数据可以实现数据交换提纲背景介绍数据仓库、元数据理论介绍CWM、MOF、UML、XMI规范介绍基于CWM的数据仓库体系结构设计电信综合业务信息服务平台设计数据仓库理论数据仓库的定义数据仓库的建设数据仓库的应用国内数据仓库建设的问题元数据定义描述数据的数据研究元数据的原因管理、使用数据的需求系统分布和互通的要求元数据重用、共享的要求元数据的建模和标准化建模的两大方向元数据参考模型元数据模型标准化OMGMDC提纲背景介绍数据仓库、元数据理论介绍CWM、MOF、UML、XMI规范介绍基于CWM的数据仓库体系结构设计电信综合业务信息服务平台设计元数据的层次Student（“张东”，“男”，…）Student（“李芳”，“女”，…）……Record（“Student”，Field（“name”，String），(Field（“sex”，String）…)MetaClass（“Record”，[MetaAttr(（“name”）,String),MetaAttr((“fields”),listField)]MetaClass（“Field”，…）通用的元元模型信息，数据（M0）模型（M1）元模型（M2）元元模型（M3）OMG规范和元数据层次的关系元数据层次MOF术语示例M3元元模型MOF模型M2元模型，元元数据UML元模型，CWM元模型M1模型，元数据UML模型，CWM模型M0对象，数据数据仓库数据CWM和相关规范的关系CWM和MOF的关系CWM和UML的关系直接继承了UML核心元模型使用UML图形标记使用UML中的OCL（对象约束语言）CWM和XMI的关系CWM的组成CWM元模型基础包资源包分析包管理包CWMDTD和CWMXMLCWMIDL提纲背景介绍数据仓库、元数据理论介绍CWM、MOF、UML、XMI规范介绍基于CWM的数据仓库体系结构设计电信综合业务信息服务平台设计OLTP系统遗留系统办公系统外部数据DW管理系统抽取清洁转换装载数据模型本地元数据库本地元数据库元数据交换数据集市中央元数据库OLAP工具挖掘工具报表工具中央数据仓库ODS基于CWM的数据仓库体系结构数据源OLTP数据库遗留数据内部办公系统数据外部数据数据源多种类型：关系型、多维、记录、XML以及其它一些工具类型关系型：模式，物理表，视图，字段，索引，触发器，外关键字，主关键字，数据类型，字段值，数据记录，记录的集合Relational元模型ColumnSQLQueryColumnSetSQLDataTypeTableViewBaseTableCatalogProcedureIndexTriggerPackageRelational元模型（续1）AttributeLinkInstanceExtentRowSetColumnSetObjectDataValueColumnValueRowAttributeRelational元模型（续2）关系型数据源的主要接口BaseTable：查询和修改表的属性、触发器和结构Catalog：查询和修改包含的元素Column：查询和设置属性Row：查询和修改一条记录的内容RowSet：查询和修改包含的记录ETL读取数据清洁数据转换数据装载数据ETL组件的接口黑盒变换：Transformation，DataObjectSet，TransformationUse白盒变换：FeatureMap，ClassifierMap，ClassifierFeatureMap，TransformationMap变换的执行顺序控制：TransformationTask，TransformationStep，TransformationActivity，StepPrecedence，PrecedenceConstraint中央数据仓库数据粒度最细且多层次数据是历史的数据是时间相关的大数据量数据是整合的通用的、全局的操作数据存储ODS操作型系统ODS1/21/2企业数据仓库数据集市企业数据仓库最细粒度数据集市部门2粒度2数据集市部门1粒度1部门3粒度3外部数据源数据集市数据集市的特点面向部门应用规模小，投资少使用方便且成本低元数据库类型：中央元数据库本地元数据库内容：抽取过程：任务、执行顺序、映射关系、转换规则描述数据：方位图、数据之间的商业关系、商业规则、数据的改变数据仓库管理：安全性、运行状态、抽取过程的调度、I/O对象及其关系数据仓库管理访问控制和安全性管理数据增长管理抽取过程的管理性能管理故障恢复扩充和演变管理数据仓库管理接口抽取过程的调度（WarehouseProcess，WarehouseEvent，InternalEvent，ScheduleEvent，ExternalEvent）抽取过程的执行（TransformationExecution，StepExecution，ActivityExecution）数据元素的变化（Measurement，ChangeRequest）OLAP组件接口立方体的定义：Cube，CubeDimAssoc，CubeRegion，Dimension，Hierarchy，Level，Mearsure，LevelBasedHierarchy，HierarchyLevelAsso，ValueBasedHierarchy，MemberSelection，MemberSelGrp，立方体到物理数据源的映射StructureMap，LevelBasedHierarchy，ValueBasedHierarchy数据挖掘组件的主要类及接口MiningModel：模型属性和模型的输入MiningSettings：对象属性，输入参数的说明ApplicationInputSpecification，ApplicationAttribute：使用模型时的参数MiningModelResult：挖掘的结果SupervisedMiningModel:描述预言性算法产生的模型StatisticsSettings,AssociationRulesSettings,ClusteringSettings,ClassificationSettings,RegressionSettings：对应模型的设置基于CWM的数据仓库体系结构的特点及优点统一的数据集市和数据仓库中央元数据库驱动机制灵活高效的数据交换方式易于升级高度的可集成性高度的可扩展性基于CORBA的企业数据仓库扩展结构对象服务企业数据仓库平台CWM（IDL）通用数据仓库工具CWM（IDL）对象请求代理（ORB）提纲背景介绍数据仓库、元数据理论介绍CWM、MOF、UML、XMI规范介绍基于CWM的数据仓库体系结构设计电信综合业务信息服务平台设计系统体系结构设计管理系统抽取清洁转换装载数据建模元数据交换数据联机分析展示元数据库面向主题的企业数据仓库省分公司上报数据计费结算数据WEB服务器客户端系统部署图WEB浏览自动邮件工具客户端OLTP服务器数据仓库服务器OLAP服务器WWW服务器