数据稽核系统解决方案

©2007,ZTEsoftCorporation.Allrightsreserved.中兴软创数据稽核系统交流2010年4月南京中兴软创科技股份有限公司章礼良[e-mail]©2007,ZTEsoftCorporation.Allrightsreserved.目录数据稽核系统介绍中兴软创数据稽核案例介绍©2007,ZTEsoftCorporation.Allrightsreserved.数据稽核系统建设的驱动力提升客户对服务的感知1.提升跨域、跨平台以及跨系统间的数据质量2.提高服务的响应效率，进而提升用户的感知度3.有效杜绝数据的差错，减少用户投诉1提高网络运行、生产效率1.有利于提高网络资源的利用率2.减少企业部门间在协同处理业务时因数据质量问题而带来的沟通和协调时间，同时高效、持续的数据自动质量稽核手段有利于提高企业的生产效率3.可靠的数据质量保证企业网络运行的效率2支撑精确化运营，提升企业生产运营水平1.为企业的数据共享提供数据质量保证2.利于梳理和完善企业的数据质量管控流程3.为企业的精确化运营管理提供数据质量保证3©2007,ZTEsoftCorporation.Allrightsreserved.数据稽核是一个闭环管控的过程发现问题分析问题规则完善质量检查数据修正工作考核数据工位数据工位业务人员数据管理组数据决策组经验积累规则积累异常数据归属源系统质量目标1、明确数据质量管理组织机构，通过在设置明确的数据质量职责来改善数据质量。2、通过明确的数据质量标准及指导原则来推动数据质量意识。3、制定数据质量管控流程以及数据考核标准来持续推进数据质量管理工作。4、数据质量管控需要从管理和技术、系统上进行结合，很多环节需要人为介入。5、数据质量管控流程需要闭环，数据稽核系统作为数据质量管控中重要的环节提供技术和数据平台支撑。数据质量决策小组其人员由主管业务的领导牵头，组成跨部门的数据质量决策团队，负责制定数据质量目标，考核目标以及明确具体的管控流程。数据质量管理小组其人员可以由与数据打交道的关键业务人员，熟悉支撑系统的关键技术人员等跨部门人员构成，负责提出具体的数据质量管理要求，确定数据检查的规则和逻辑以及决定数据冲突时解决方案。数据质量执行小组需设立具体的数据工位，负责日常的数据质量执行工作，包括根据ODS-O系统提供的功能生成数据质量报告，组织、监督和推动数据的修正工作，以及对数据修正指标进行考核等。描述数据质量管理团队©2007,ZTEsoftCorporation.Allrightsreserved.数据稽核系统总体工作流程开始确认稽核表结构按表结构在数据库中建表配置稽核表开发获取稽核表数据的存储过程或者Shell脚本配置稽核线程是否配置完所有的稽核表和对应的稽核线程否配置稽核规则是发起稽核任务稽核作业监控稽核数据查询数据稽核报告稽核结束©2007,ZTEsoftCorporation.Allrightsreserved.数据稽核系统功能数据稽核配置管理执行管理报表管理规则库维护流程配置ETL调度线程管理数据清理作业定制我的任务台差异数据同步派单任务监控数据质量报表考核报表一级功能域二级功能域三级功能域简述：配置管理对数据质量检查规则、数据质量任务、考核规则进行维护配置执行管理数据质量任务的分派、处理、审核、同步、监控报表管理提供数据质量相关报表以及对于考核结果的展示和查询。ETL表信息维护考核规则配置日志监控©2007,ZTEsoftCorporation.Allrightsreserved.数据稽核元数据配置1、稽核表是数据稽核规则配置的基础2、需要稽核的表的结构的配置3、稽核表结构之间的对应关系的配置©2007,ZTEsoftCorporation.Allrightsreserved.数据稽核规则配置----记录差异性【记录差异性规则】主要是检查跨系统之间实体记录不相同的信息。比如：A系统存在的用户资料在Z系统无。©2007,ZTEsoftCorporation.Allrightsreserved.数据稽核规则配置----字段一致性【字段一致性规则】主要是检查跨系统之间实体相同的记录的字段是否一致。比如：某用户的城乡标识字段CRM系统跟计费系统是否一致。©2007,ZTEsoftCorporation.Allrightsreserved.数据稽核规则配置---字段准确性【字段准确性规则】主要是检查单系统某字段的取值是否正确，比如：身份证号码是否符合国家标准要求，或者帐目表里面的用户费用取值不应该大于100万。©2007,ZTEsoftCorporation.Allrightsreserved.数据稽核规则配置----业务逻辑性【业务逻辑性规则】主要是检查单系统某字段的取值是否符合业务逻辑；比如：产品实例表中的客户ID在客户表中是否存在，产品实例表中的产品类型ID在产品规格表中是否存在。©2007,ZTEsoftCorporation.Allrightsreserved.任务执行数据稽核系统的一个设计原则是稽核不能影响源业务系统的生产，因此支持源数据从业务系统到稽核系统的抽取；稽核任务执行的完整流程包括：源数据抽取、数据转换、数据稽核、稽核报表生成等步骤，相关的步骤通过专业ETL调度工具自动、高效完成；高效、灵活、自动化的ETL调度工具源数据抽取数据转换数据稽核稽核报表生成支撑稽核任务执行©2007,ZTEsoftCorporation.Allrightsreserved.数据稽核任务流程配置数据稽核流程说明：数据抽取：从外围系统（crm，计费，业务平台等）抽取原始数据数据转换：将外围系统原始数据转换为标准的数据格式，以达到可比性数据稽核：根据配置的稽核规则完成数据比对、稽核数据环比和考核：这次数据稽核差异结果是否存在上次数据稽核差异结果中，对相关修订数据人员进行考核©2007,ZTEsoftCorporation.Allrightsreserved.数据校验配置告警配置1.支持按本地网并发执行2.支持任务预约自动执行3.支持任务按指定间隔自动重跑4支持任务协同触发5.支持图形化展现高效、灵活、自动化的ETL调度工具ETL调度工具介绍（一）流程配置1.支持校验程序的配置2.支持校验时机的配置1.支持短信、邮件等多种告警方式2.支持带参数的告警信息配置3.支持告警对象的配置4.支持告警时间段的配置©2007,ZTEsoftCorporation.Allrightsreserved.ETL调度工具介绍（二）支持按本地网并发执行支持任务按指定间隔自动重跑支持任务按预约时间自动执行©2007,ZTEsoftCorporation.Allrightsreserved.ETL调度工具介绍（三）图形化监控界面，便于对数据流的跟踪、纠错运行情况分析：由于该环节运行错误，造成下环节一直处在未运行状态，流程总体状态为‘运行错误’，可以通过重跑该环节自动唤醒依赖环节解决。©2007,ZTEsoftCorporation.Allrightsreserved.ETL调度工具介绍（四）告警信息内容配置告警信息参数支持带参数的告警信息配置©2007,ZTEsoftCorporation.Allrightsreserved.ETL调度工具介绍（五）支持角色、员工等告警对象配置©2007,ZTEsoftCorporation.Allrightsreserved.ETL调度工具介绍（六）支持短信、邮件等多种通知方式©2007,ZTEsoftCorporation.Allrightsreserved.数据修正任务列表任务监控台工单汇总统计，可点击链接看明细工单处理任务台可以对工单进行派单或回单支持对错误数据以工单的方式进行派单、回单、监控©2007,ZTEsoftCorporation.Allrightsreserved.监控考核通过数据质量报表，以考核支撑管理©2007,ZTEsoftCorporation.Allrightsreserved.中兴软创数据稽核系统特点总结提供了完整的数据稽核闭环管理IT支撑；灵活高效的ETL调度支撑，能够支持大数据量、多任务处理；丰富的配置能力，业务人员也可轻松使用；图形化的界面操作，后台动作一目了然；©2007,ZTEsoftCorporation.Allrightsreserved.目录数据稽核系统介绍中兴软创数据稽核案例介绍©2007,ZTEsoftCorporation.Allrightsreserved.案例介绍XX电信ODS数据稽核数据量1100万用户，2000万销售品，6000万定价计划比对项实现了CRM跟计费系统，CRM跟ODS系统，CRM跟多个业务平台（宽带、智能网、预付费平台等）共75项规则的稽核稽核频率crm和计费系统：每月1号比对一次，月中21号再比对一次crm和业务平台：预付费平台每月1号比对一次Crm和ODS：每月1号比对一次抽取效率源数据抽取(2小时)+数据转换(4小时)+数据稽核(3.5小时)+报表生成(0.5小时)＝10小时；计费和crm的模型差异比较大，转换逻辑比较多会导致转换时间较长；江西电信ODS广西电信ODS辽宁电信OSS云南电信CRM越南BI。。。©2007,ZTEsoftCorporation.Allrightsreserved.XX省每个月的数据质量分析通报©2007,ZTEsoftCorporation.Allrightsreserved.XX省ODS数据稽核实施效果（一）数据质量得到了显著提高CRM跟计费CRM跟业务平台数据项用户商品定价计划窄带宽带VPDN下载速率彩铃预付费20081299.95899.74291.58281.41598.1270.99394.89194.86688.77820100199.99399.8299.74699.70499.74297.80899.56999.59499.237CRM跟计费用户属性比对用户属性1-城乡标志2-用户性质3-产品标志4-付费模式5-来显6-彩铃20081299.9999.99599.97199.99499.98499.97720100199.99999.99899.99499.99999.99599.996©2007,ZTEsoftCorporation.Allrightsreserved.XX省ODS数据稽核实施效果（二）数据质量的提高，同时也提高了数据应用的效果；XX省ODS承担的集团数据门户上报多次在集团排名前列；XX省排名情况：2009年5月第2名2009年6月第1名2009年7月第6名2009年8月第1名2009年9月第1名©2007,ZTEsoftCorporation.Allrightsreserved.口号