数据治理平台系统介绍

国家开发银行数据治理平台系统简介2008年11月数据治理项目组数据治理平台项目组21.系统目标与定位2.技术实现架构3.数据标准管理子系统4.元数据管理子系统5.数据质量管理子系统6.数据服务子系统7.统一认证与用户管理模块议题数据治理平台项目组3建设背景数据平台一期已构建完成并投入使用，所面临的问题：数据标准缺乏结构化管理源数据变化造成数据平台数据混乱对数据平台数据问题如何快速定位原因？如何有效监控和改善数据平台数据质量？。。。建设一个完整的数据治理平台，作为数据平台的管控系统，从制度、标准、监控、流程几个方面提升开行的数据信息管理能力，解决目前所面临的数据标准问题、数据质量问题、元数据管理问题和数据服务问题。数据治理平台项目组4项目目标围绕国开行数据平台建设，提供针对数据生命周期的管控机制，体现为以下几个出发点：数据标准规范化--规范化管理构成数据平台的业务和技术基础设施，包括数据管控制度与流程规范文档、信息项定义等。数据关系脉络化--实现对数据间流转、依赖关系的影响和血缘分析。数据质量度量化—全方位管理数据平台的数据质量，实现可定义的数据质量检核和维度分析，以及问题跟踪。数据服务电子化--为数据平台提供面向业务用户的服务沟通渠道。数据治理平台项目组5数据治理平台构成与定位ODSSchemas数据集市数据流数据平台管理行内数据标准管理平台元数据，进行数据影响、血缘分析管理平台数据质量提供平台沟通渠道核心业务系统信贷业务系统信用风险管理系统…系统管理会计风险数据标准元数据管理数据质量管理数据服务分析类应用系统数据抽取数据提供数据治理平台项目组6对数据平台业务的支持—数据标准数据标准子系统数据服务业务部门应用开发者数据标准管理员查询数据标准，以开发符合数据标准的应用提交标准代码比对文档维护数据标准制订、发布标准应用系统代码标准比对查询数据标准规范，反馈建议提出数据标准需求申请数据治理平台项目组7对数据平台业务的支持—元数据数据服务元数据子系统元数据管理员数据平台数据源系统数据抽取查询数据平台相关元数据，为开发应用提供参考数据变更影响评估申请数据变更影响分析数据问题血缘分析应用开发者数据治理平台项目组8对数据平台业务的支持—数据质量数据质量检核业务部门应用开发者数据质量管理员定义检核需求与规则分析数据平台数据质量发现、发布数据检核问题了解本机构特定系统数据质量提出业务数据质量检核需求针对数据质量问题提出完善建议数据治理平台项目组9对数据平台业务的支持-数据服务数据服务业务部门应用开发者数据服务单管理员数据平台服务申请数据平台服务申请与数据平台有效沟通提供数据平台服务数据治理平台项目组10数据治理相关系统关系AD(目录)系统统一用户管理系统数据平台数据服务子系统数据质量管理子系统元数据子系统数据标准子系统提供标准相关元数据提供库表结构元数据执行检核提供检核系统元数据统一认证与用户管理模块登录认证用户与机构信息同步单点登录与角色管理数据治理平台数据治理平台项目组111.系统目标与定位2.技术实现架构3.数据标准管理子系统4.元数据管理子系统5.数据质量管理子系统6.数据服务子系统7.统一认证与用户管理模块议题数据治理平台项目组12资源层业务层集成层JDBCHibernateConfig.xmlManagement&ControlLogSecurityTask/TransAnalysisEngine表现层ExportImportDriver&AdapterOperationEngineInterfaceObjectsListsRelation客户层WebBrowserORMSerializeExtJSHTML/AJAX/HTTPDatabase外部数据ODSDataMart应用系统文本XMLUAEXCEL数据治理平台项目组131.系统目标与定位2.技术实现架构3.数据标准管理子系统4.元数据管理子系统5.数据质量管理子系统6.数据服务子系统7.统一认证与用户管理模块议题数据治理平台项目组14功能需求功能定义数据标准文档管理数据标准文档制订维护数据标准相关文档类信息数据标准文档发布对数据标准相关文档进行发布管理数据标准文档版本管理对数据标准相关文档的历史版本信息提供查看功能。数据标准信息项管理标准代码定义维护数据标准公共代码。主数据定义维护主数据标准数据标准查询与反馈数据标准文档查询与反馈数据标准信息项查询应用代码标准符合性检查新应用开发者将本应用代码与标准代码进行匹配，提交系统检查管理全行数据相关的标准和规范，提供数据标准的查询与反馈等功能。数据治理平台项目组15应用界面数据治理平台项目组16应用界面数据标准文档管理数据标准制订数据标准导入数据标准文档版本管理数据治理平台项目组17应用界面数据标准信息项管理公共代码管理数据标准管理数据治理平台项目组18应用界面数据标准反馈意见查看反馈意见反馈意见数据治理平台项目组19逻辑架构数据治理平台项目组201.系统目标与定位2.技术实现架构3.数据标准管理子系统4.元数据管理子系统5.数据质量管理子系统6.数据服务子系统7.统一认证与用户管理模块议题数据治理平台项目组21功能需求功能定义完成情况技术元数据源系统数据结构定义导入源系统数据字典，并以系统-表-字段的层级关系展现各级数据关系。已完成主数据ER模型导入主数据ERwin模型，解析生成模型各层级关系。已完成数据与映射关系定义定义数据平台各部分，以及源系统间的数据关联映射关系。已完成数据影响与血缘分析依赖所定义的数据平台各部分，以及源系统间的数据映射关系，图形化展现数据变化影响和数据问题溯源。已完成数据变化对比分析针对元数据不同版本进行差异部分识别与比较。已完成业务元数据代码定义定义数据平台公共代码及其与源系统代码的关系。已完成报表表头定义定义数据平台业务报表的构成元素与结构。已完成报表指标定义定义数据平台业务报表中指标的计算规则。已完成报表指标勾稽关系分析定义数据平台业务报表中指标间的依赖关系，并进行影响与血缘分析。已完成对源系统、数据平台以及数据治理项目中的相关的技术、业务元数据进行统一的归集管理，实现数据间的血缘分析和影响分析。数据治理平台项目组22功能定义完成情况系统管理元数据手动采集手工上传元数据定义文件已完成元数据自动采集提供针对不同目标应用的适配器，实现定时的自动采集已完成，但需数据平台提供采集支持，接口方式尚需确定。版本管理提供元数据定版、批量定版、版本回溯的功能已完成访问控制管理提供针对元数据细节操作的访问控制已完成功能需求数据治理平台项目组23应用界面数据治理平台项目组24业务元数据报表表头报表清单报表表头定义报表表样导出应用界面数据治理平台项目组25业务元数据报表指标查看指标相关ER图应用界面数据治理平台项目组26技术元数据影响分析应用界面数据治理平台项目组27逻辑结构数据治理平台项目组28采集适配器元数据采集适配器是一种驱动和解析器，用来接收、解析各种不用类型数据源的数据，将有效的元数据存入模型，并建立关系。在本期项目中，元数据管理系统的接口提供以下几种适配器：库表结构适配器、PowerCenter适配器、E/RWin适配器、数据平台血脉分析适配器、指标适配器、代码适配器、表头适配器等。数据平台应用表头指标代码数据集市数据模型数据模型ETLPowerCenter存储过程存储过程适配器EXCEL文件XML文件文本文件数据库元数据接口区元数据管理平台E/RWin模型Mapping文件图例：采集流解析流数据流数据治理平台项目组29元数据存储结构元数据存储模型层包括两部分内容：元模型定义，即通过XML实现对象、对象关系及对象行为等的定义。元数据实例存储，元数据实例存储到关系数据库中。XML定义模型对象定义对象行为对象关系对象属性超过的属性打散/纵向存储属性值实例编号对象属性值pipipipi实例关系所属对象所属实例关系目标对象目标实例pipipipipi实例编号对象顺序属性1属性2属性3属性4属性5属性6pipi数据治理平台项目组301.系统目标与定位2.技术实现架构3.数据标准管理子系统4.元数据管理子系统5.数据质量管理子系统6.数据服务子系统7.统一认证与用户管理模块议题数据治理平台项目组31系统目标根据“数据质量检核管理办法”中PDCA方法论，基于现有数据平台，对其上数据进行全质量生命周期的管理，包括质量问题的定义、检核监控、发现分析、跟踪反馈。检核调度检核对象收集需求分析规则规则库执行问题数据修正检核需求检核指标检核调度管理数据质量检核分析数据质量问题管理数据质量趋势分析数据质量知识库数据治理平台项目组32数据质量度量分类大类细类正确性唯一性检查非空检查类型检查格式检查值域检查代码检查指标标准偏差检查数据集市指标准确性检查完整性外键约束检查一致性业务规则检查及时性数据平台数据生成及时性检查数据治理平台项目组33功能需求功能定义完成情况数据质量检核定义检核系统定义对纳入数据质量管理需求的系统、数据表纳入检核范围，并定义相关信息已完成检核指标与规则定义按数据质量度量标准，为各类检核指标定义相关属性和数据检查规则。已完成检核调度策略定义为数据质量检核指标类和业务方案定义灵活的检核策略已完成数据质量检核执行检核控制引擎调度符合执行策略数据质量检核指标，并分派给对应的处理器已完成检核执行处理器对数据质量检核指标执行特定于其指标类的检查程序已完成数据治理平台项目组34功能需求功能定义完成情况数据质量检核分析问题分布分析对数据质量检核的结果按机构、系统、数据质量问题三个维度进行分布分析已完成问题趋势分析对数据质量检核的结果按时间维度分析，判断质量改善情况已完成检核指标批次对比对同一检核指标的不同批次进行对比，分析质量改善情况已完成检核执行报告对特定日期的检核结果，形成统计报表已完成数据质量问题管理问题发现查询符合特定条件的数据质量检核问题已完成问题发布将需处理的数据质量检核问题归集到一个问题单，并发布给特定的机构已完成问题处理跟踪问题单的处理情况已完成问题归档对处理完结的问题单进行归档处理已完成数据质量知识管理知识库维护归集数据质量的特定问题，以及特定的解决方案，形成知识信息已完成知识库查询查询数据质量知识信息已完成数据治理平台项目组35检核系统管理应用界面数据治理平台项目组36检核指标管理主键唯一应用界面数据治理平台项目组37检核调度策略管理业务解决方案应用界面数据治理平台项目组38数据质量检核分析问题分布分析批次对比分析应用界面数据治理平台项目组39数据质量问题管理问题发现应用界面数据治理平台项目组40逻辑结构三个层面：定义层：定义作为系统功能的核心-数据质量检核，所需使用对象、指标、调度策略等配置信息；执行层：使用已定义的检核配置信息，对数据平台数据进行检核；分析层：对检核执行结果进行定量、定性的分析与处理。前后端：前端：用户使用基于操作界面的应用程序进行交互式的检核信息定义、检核结果分析等功能；后端：系统根据检核策略在后台自动执行，无需与用户交互。数据治理平台项目组41检核调度与分派数据治理平台项目组42检核规则处理器类别存储过程：固定SQL存储过程：自定义SQL固定Java程序自定义Groovy规则脚本固定自定义简单复杂数据治理平台项目组43Groovy脚本示例packagegroovyimportjava.sql.Connectionimportjava.sql.ResultSetimportgroovy.sql.Sqlimportcn.cdb.backend.RuleHandler/***@author马春宇2008-11-11*/publicclassexampleGroovyRuleHandlerextendsRuleHandler{//groovy数据库执行句柄defsql_DQDB,sq