27数据质量管理

数据质量管理解决方案目录•数据质量管理概述•数据质量问题解决之道•数据质量管理产品简介•产品实施案例及场景分享数据质量管理概述——数据质量问题域•缺乏统一的数据描述导致业务理解差异•信息标准不统一产生低质量的数据，导致业务人员对数据缺乏信心信息问题域•对数据质量的价值及其重要性认识不足•缺乏专门的数据质量管理组织与相关的管理制度管理问题域•需求变更、开发测试等方面没有流程规范和制度•数据创建、数据使用、数据维护等方面没有流程规范和制度流程问题域•系统建设重功能轻数据•系统接口复杂，数据流向不清，缺乏对数据的整体规划•具体数据处理的各技术环节的异常造成的数据质量问题技术问题域损失•收入减少•成本增加•风险增高全领域的导致数据质量问题的原因识别数据质量问题信息问题域技术问题域管理问题域流程问题域唯一性一致性完整性度量合法性准确性业务系统数据变化周期变化频度实体数据刷新周期技术元数据业务元数据元数据数据创建延迟默认值使用不当数据校验规则不当数据创建取数时点不同步数据源不当接口数据获取过程中失真数据获取展示方式展示工具展示周期数据使用维护验证机制数据存储能力数据备份恢复数据维护人为调整数据及时性数据传递网络传输过程不可靠传输技术文件传输方式出错数据清洗算法数据装载数据加载算法数据转换算法调度机制硬件平台平台孤岛软件平台安全管理错误数据维护流程数据测试流程变更维护流程数据维护人为调整数据流程数据使用数据创建数据转换流程数据加载流程调度流程数据装载数据清洗流程稽核流程稽核传递奖惩制度执行奖惩制度反馈机制激励反馈渠道培训资金培训内容培训计划培训培训制度目标工作优先级责任人管理责任心培训时间优先级高优先级中优先级低数据质量管理概述——数据质量度量规则完整性唯一性一致性精确性合法性及时性主要包括实体不缺失、属性不缺失、记录不缺失和字段值不缺失四个方面指主键唯一和候选键唯一两个方面指统一数据来源、统一存储和统一数据口径指计量误差、度量单位等方面的精确程度主要包括格式、类型和业务规则的有效性指数据刷新、修改和提取等操作的及时性和快速性阶段1初始级•每个系统都是分离的数据管理•非标准的独立的数据管理•企业集成数据管理•标准化元数据管理阶段2定义级阶段3管理级阶段4优化级通过数据库进行数据管理通过模型管理进行数据管理通过元数据进行数据管理通过企业标准数据架构进行数据管理数据质量管理产品简介——数据质量成熟度模型目录•数据质量管理概述•数据质量问题解决之道•数据质量管理产品简介•产品实施案例及场景分享数据质量管理策略数据质量管理方法论数据质量管理关键点数据质量问题解决之道管理策略质量检核运行质量问题报警质量问题分析问题管理流程数据质量指标数据质量管理概述——数据质量管理策略1.定义业务需求和方法2.分析信息环境3.评估数据质量5.识别根本原因6.制定提升方案7.预防未来数据错误10.沟通行动和结果4.评估业务影响8.发现及纠正当前数据错误9.实施监督控制评估认知行动数据质量提升周期10步流程数据质量管理方法论数据质量管理关键点•制定规范的数据质量度量标准•建立有效的数据质量监管体系•建立完善的数据质量管理制度•高质量的数据来源于数据标准、数据分析、检验以及管理制度的综合作用11管理制度监管体系度量标准场景分析：唯一性校验•存在问题–某ODS系统中，对私客户主题中的客户信息不允许重复，客户身份证号字段可以作为客户唯一的标识，为了保证系统中客户信息的正确，需要对系统中客户基本信息表增加唯一性校验。•解决方案–数据质量管理系统中提供了规范的唯一性校验规则来检核系统中数据唯一性问题，通过对系统中某个表中的一个或者多个联合字段进行唯一检查，得到该表中不唯一记录的数量及记录显示字段明细。客户基本信息表身份证号字段唯一性校验唯一性问题列表场景分析：一致性校验•存在问题–某ODS系统中，发现ETL过程后对公活期表在ODM层与FDM层的记录数不一致，为保证系统ETL过程运行正确，需要对系统中对公活期表数据由ODM层至FDM层过程增加一致性校验。•解决方案–数据质量管理系统中提供了规范的一致性校验规则来检核系统中ETL过程中数据记录数不一致的问题。通过对系统ODM层及FDM层对公活期表主键增加一致性COUNT校验规则，得到ODM层与FDM层不一致记录数。ODM层对公活期表FDM层对公活期表一致性校验COUNT不一致记录数场景分析：主外键校验•存在问题–某ODS系统中，对公客户财务信息表中存在出资币种、注册资本币别等币种描述信息，其信息来自系统中的币种代码表。为了保证系统中对应关系的正确，需要对系统中对公客户财务信息表与币种代码表关联关系进行主外键校验。•解决方案–数据质量管理系统中提供了规范的主外键校验规则来检核系统中数据关联关系不对应的问题。通过对系统中主表定义主外键校验规则并关联对应外键字段的附表及字段，得到系统关系中不对应的问题数量及主表中的问题记录显示字段明细。对公客户财务信息表外键币种代码表主键主外键校验主外键问题列表场景分析：拉链表交叉链、断链校验•存在问题–某ODS系统中，为保证拉链表数据结构正确，需要对表增加拉链表交叉链和断链校验。•解决方案–为进行系统中拉链表交叉链、断链检验，数据质量系统提供自定义校验规则进行检测，通对表定义自定义查询语句，得到存在交叉链、断链的记录数。自定义检核拉链交叉链、断链SQL语句自定义校验拉链表交叉链、断链问题记录数产品实施案例及场景分享——场景分析：业务平衡性校验•存在问题–某ODS系统中，发现ETL过程后存在FDM层总账科目余额与SDM层明细科目汇总余额不一致，为保证系统业务规则运行正确，需要在系统增加相关业务的平衡校验。•解决方案–为进行系统业务的平衡性校验，可使用数据质量系统中一致性校验规则进行检测，通过对FDM层总账科目余额与SDM层明细科目汇总余额字段设置一致性SUM校验规则，得到过程中数据差额。SDM层明细客户汇总金额字段FDM层总账科目余额字段一致性校验SUM数据差额目录•数据质量管理概述•数据质量问题解决之道•数据质量管理产品简介•产品实施案例及场景分享数据质量管理产品特性数据质量产品价值数据质量产品逻辑架构数据质量产品技术架构数据质量产品功能简介数据质量管理产品简介数据质量管理产品特性•基于元数据的知识库共享设计•灵活的检核模块的配置、支持灵活扩展•支持检核主流数据库系统•提供丰富的系统接口•较强的检核问题与知识库管理•丰富的前端界面展现：系统前端采用Ajax、Flex技术，能够灵活的展现分析图表及血缘、影响关系。数据质量管理产品价值12345规范的问题管理流程及制度，精确管理问题每个阶段提供全面的数据分析机制，加速问题解决完善的质量问题解决共享机制，实现数据质量的闭环管理自动化的检核处理及问题通知机制，达到无人职守完整检核标准梳理方法及指标规则模板价值数据质量产品逻辑架构二次开发权限集成数据访问应用接口存储规则库检核结果库知识库数据质量分析问题处理率数据质量报告系统管理权限管理系统参数系统日志密码维护系统配置系统管理单指标趋势分析功能唯一性检核代码检核非空检核业务指标检核……检核指标管理检核问题管理手工问题管理问题通知问题管理值域检核指标自动调度指标手工调度检核调度执行检核执行数据质量问题定位单表数据分析运行状态库数据质量产品技术架构22展现层逻辑层FlashJavaScript&Ajax持久层数据库HibernateJDBCiBATISJSP/HTMLJSFJasonXMLHTML技术组件层EXCEL组件XML组件邮件组件日志组件文件传输组件语法分析引擎业务组件层数据检核数据采集数据分析业务应用层数据标准业务应用元数据业务应用数据质量业务应用接口服务层数据质量管理功能简介——数据质量产品功能数据质量产品功能简介——处理数据质量问题流程•确定规则：数据质量指标•发现问题：数据质量检核•提出问题：质量问题告警•解决问题：质量问题分析•归纳问题：问题管理流程数据质量指标数据质量检核质量问题告警质量问题分析问题管理流程数据质量产品功能简介——数据质量检核指标•数据质量系统依照数据质量的八大要素量规范了6种数据质量问题的检核规则，其中包括：非空检查、唯一检查、主外检查、长度检查、代码检查以及一致性检查•数据质量系统支持自定义规则对系统中业务性规则进行检核检核规则完整性合法性唯一性一致性准确性及时性安全性扩展性检核指标管理•检核指标管理提供唯一检查、非空检查、外键检查、代码检查、长度检查、值域检查、一致性检查、自定义检查等检核指标的管理及综合查询•功能主要包括以下部分：–指标设置按不同入口下设：•表级指标：提供从检核目标（表及字段）定义、查询、修改、删除检核指标•系统指标：提供从指标分类入口定义、查询、修改、删除检核指标–综合查询•提供按各种不同条件查询所有未删除指标检核指标管理•指标定义主要功能：–基本信息：提供指标名、指标说明、执行频率、调度方式等信息输入等功能–检核目标：提供指标的检核目标、管理部门、自定义SQL等操作等功能•指标修改功能:–提供指标基本信息、管理部门等的日常维护功能•删除指标–删除不再需要的指标检核指标管理技术指标–表级指标检核指标管理技术指标–表级指标–完整性指标-基本信息检核指标管理技术指标–表级指标–完整性指标–检核目标检核指标管理技术指标–检核目标-添加管理部门检核指标管理技术指标–系统指标检核指标管理技术指标–系统指标-新增指标-选择检核表检核指标管理技术指标–系统指标-新增指标-输入SQL条件检核指标管理技术指标-系统指标-正确性指标-一致性指标检核指标管理技术指标-系统指标-正确性指标-代码指标检核指标管理技术指标-系统指标-正确性指标-格式指标检核指标管理技术指标-系统指标-正确性指标-值域指标检核指标管理技术指标-系统指标-完整性指标-外键指标数据质量产品功能简介——数据质量检核•数据质量检核是对源系统中存在的数据质量问题进行检查的过程，通过系统自动／手动方式发现系统中存在的数据质量问题检核指标检核运行质量问题数据质量产品功能简介——数据质量检核数据质量产品功能简介——质量问题告警•质量问题告警是系统提高了数据质量问题的时效性以及数据管理人员对问题数据的响应速度。•检核状态统计•检核结果统计系统首页•检核执行状态•检核问题结果短信投递•检核执行状态•检核问题结果邮件投递数据质量产品功能简介——质量问题分析•质量问题分析通过图形、图表界面，快速定位问题产生的原因以及历史趋势，为数据管理人员解决数据质量问题提供辅助质量问题分析指标趋势分析单表问题分析血缘影响分析数据质量报告数据质量产品功能简介——问题管理流程•系统规范了检核问题的处理流程，通过流程的处理对系统中已解决的数据质量问题进行整理。问题发布问题处理问题审核问题归档知识库问题管理•系统提供检核问题管理管理，分别提供对检核问题管理与手工问题管理，并对检核问题提供血统分析、影响分析、查看明细、导出功能与流程化管理。•功能主要包括以下部分：–检核问题管理：提供对检核出的问题的流程化管理，并可查看检核问题的明细信息、血统分析、影响分析等–手工问题管理：提供对手工提出的问题的流程化管理检核问题管理•检核问题列表：46检核问题管理•问题明细列表：47检核问题管理•转入知识库48检核问题管理•血统分析：49数据质量分析•系统提供对数据质量检核出的结果进行的数据分布式分析。包括查询指标、查看趋势分析视图及下载质量报告等功能•功能主要包括以下部分：–指标趋势分析：提供对单指标所检核出的结果进行数据趋势分析–单表数据分析：提供对数据质量检核出的结果以单表进行数据趋势分析–数据质量报告：对指定的检核数据生成数据质量检核报告(EXCEL格式)并提供下载数据质量分析•单指标趋势分析图数据质量分析•单表数据分析图数据质量分析•数据质量报告列表数据质量报告Excel文档数据质量分析目录•数据质量管理概述•数据质量问题解决之道•数据质量管理产品简介•产品实施案例及场景分享产品实施案例及场