数据质量平台V200产品规划

数据质量管理平台V2.0.0产品规划（版本V0.8）2010年08月目录核心概念分析产品目标产品定位业务架构数据架构应用架构集成架构演进思路工作量估算技术架构基础平台要求核心概念分析概念解释数据质量对经营分析系统数据质量进行监控、评估和数据质量问题处理数据质量监控自动获取经营分析系统各环节的数据质量信息，结合元数据库中的有关检查规则和采集规则，对数据质量情况进行诊断，并及时向数据质量监控人员报告数据稽核是数据质量检查的基本功能，是根据预先配置的规则、算法和质量检查度量，对数据的准确性、合理性等多角度的检查，以便能及时发现问题核心概念分析概念解释数据质量知识库数据质量管理子系统存储层上的数据质量存储信息库，主要包括各种检查规则、检查结果报告(包括告警)，以及数据质量问题的处理过程信息数据质量评估数据质量评估是对数据质量日常管理中阶段性累积的各种信息进行汇总、梳理、统计和分析，并输出评估报告的过程数据采集点覆盖经营分析系统数据处理环节的，获取每个环节运行状态的实体。该实体可以是程序实体也可以是任务实体目录核心概念分析产品目标产品定位业务架构数据架构应用架构集成架构演进思路工作量估算技术架构基础平台要求产品目标远景目标业务目标：1.在数据质量监控界面上集成元数据信息，实现拓扑呈现功能，提供经营分析系统数据处理状态和质量状况的全局视图；2.进一步完善数据质量管理知识库，可由数据质量知识库自动产生检查规则的优化建议、自动产生数据质量问题的处理建议；3.进一步完善数据质量评估的应用，结合元数据信息，实现数据质量评分体系；4.进一步完善数据质量对外服务功能，实现数据质量管理子系统对经营分析系统的全面技术支撑。技术目标：1.云计算特性实现：分布式、动态负载、云部署和监控；2.数据质量知识库关联案例搜索，模糊查询与知识挖掘技术应用。产品目标近期目标业务目标：1.在经营分析系统数据处理主要阶段设置数据质量检测点，支持对经营分析数据质量的全程监控，建立有效的数据质量监控机制，提供全面及时的数据质量报告，预防和控制错误范围的扩大；2.完善数据质量管理知识库，积累数据质量问题及其处理过程的相关知识，为相同或相近问题的处理提供参考；3.初步建立数据质量评估的应用，通过评估发现数据质量潜在的问题和规律；4.建立数据质量问题处理机制，有效协助处理经分域数据质量问题；5.开发数据质量对外服务功能，提高数据质量管理子系统对经营分析系统的技术支撑力度。技术目标：1.模块化与组件化改造；2.任务调度与业务过程解藕，复用统一的调度构件;3.采集程序分布式部署。4.配置数据库与数据仓库分离，采用文件数据库。目录核心概念分析产品目标产品定位业务架构数据架构应用架构集成架构演进思路工作量估算技术架构基础平台要求在公司产品规划中定位基础支撑框架融合计费综合客服合作伙伴管理WEB客户/员工/营销人员/管理人员/合作伙伴客户门户Mediation收入保障工作流引擎定单工单管理专业网管企业ERP应用集成平台网络激活营业厅合作伙伴客户经理内部门户元数据管理企业数据仓库决策支持BAM银行产品管理平台知识库BOMCIVR短信POSWAPMAS管理网络资源管理系统业务门户平台网元层业务网承载网MSC行业网关短信网关HLRWAP网关MASVGOPM2M业务平台电子商务平台音乐卡客户管理平台在线分析市场营销销售管理综合受理订单管理服务请求管理综合帐务HotBilling数据服务中心DSC充值平台ABM施工管理业务资源管理VAC渠道管理规则引擎MDB预处理综合采集数据质量管理数据集成平台总部BOSSOCS服务保障平台综合管理数据访问帐务管理帐务处理智能网自助终端自助终端平台经营分析基础管理4A平台B2B服务集成平台渠道接触集成平台综合计算目录核心概念分析产品目标产品定位业务架构数据架构应用架构集成架构演进思路工作量估算技术架构基础平台要求业务过程列表P2信息采集根据相应的采集规则，在不同的数据采集点，执行信息采集任务，并将获取的采集信息入库。还包括采集结果信息的展现。P3检查稽核根据相应的稽核规则，结合已经采集的信息，进行相应的数据检查和稽核，必要时，可以联动进行数据采集。还包括检查稽核结果的展现。P4监控告警根据相应的告警规则，结合检查稽核的结果，进行相应的告警监控检查，并将符合告警条件的情况，生成相应的监控报告与告警信息。对告警信息进行呈现与管理，可结合元数据管理，实现告警信息的拓扑呈现。P5问题处理数据质量问题反映经营分析系统中数据的准确性、完整性、唯一性、合法性、一致性和及时性等质量问题，如指标波动异常、接口传输延时和数据汇总不平衡等。数据质量问题处理包括问题生成（来源）、问题分析、问题处理和问题总结四个环节。P6知识库数据质量知识是在经营分析系统使用及运维过程中，由数据质量管理子系统收集的有关数据及过程问题的处理经验总结。这些知识可作为今后数据质量问题解决方法的参考，并可以按关键字的形式进行索引和分类管理。P7质量评估数据质量评估是对数据质量日常管理中阶段性累积的各种信息进行汇总、梳理、统计和分析，并输出评估报告的过程。通过数据质量评估可以发现一些潜在的数据质量问题和变化规律，如指标关联波动规律和同类问题的发生规律等。数据质量评估也可能会触发相关的后续处理，例如监控规则优化和问题处理等。P8任务调度独立的任务调度系统，用来调度数据质量的数据采集、数据稽核任务运行。在此复用了数据集成平台中独立出来的任务调度构件，以下各级不再进行描述。P1规则配置配置信息采集、数据稽核、告警监控、质量评估的规则，以及执行信息采集、检查稽核的任务调度方式和时间点。P9对外服务数据质量对外服务功能一般以界面集成（页面嵌入）或服务接口调用方式供经营分析门户使用。数据质量对外服务功能主要包括数据质量统计信息查询、数据质量问题信息查询、数据质量问题提交接口与数据质量问题流转接口。0级流程横向流程纵向流程实体列表D1调度信息记录信息采集、数据稽核、告警监控过程的调度信息，用于任务调度构件按此信息调用以上过程D2采集规则记录各类信息采集的规则，包括指标采集规则、实体采集规则、业务源数据采集规则、处理过程信息采集规则等。用于各类采集过程按此规则进行信息采集。D3稽核规则记录各类稽核任务的规则，包括指标稽核规则、实体稽核规则、业务源数据稽核规则、处理过程稽核规则。用于各类稽核过程按此规则进行数据稽核。D4调度日志记录各种由任务调度构件调度的过程执行日志信息。D5采集信息记录各类信息采集结果的信息，包括指标采集结果信息、实体采集结果信息、业务源数据采集结果信息、处理过程采集结果信息。D6稽核结果记录各类数据稽核执行结果的信息，包括指标稽核结果信息、实体稽核结果信息、业务源数据稽核结果信息、处理过程执行结果信息。D7告警信息记录各类告警监控执行结果的信息，包括指标告警信息、实体告警信息、业务源数据告警信息、处理过程告警信息。D8问题信息记录数据质量系统关注的数据质量问题的各类信息。D9知识信息数据质量知识是在经营分析系统使用及运维过程中，由数据质量管理子系统收集的有关数据及过程问题的处理经验总结。包括了以下经验的集合：接口问题解决经验、数据抽取问题解决经验、数据转换问题解决经验、数据加载问题解决经验、数据仓库问题解决经验、数据集市问题解决经验、一经抽取问题解决经验、应用汇总问题解决经验和指标问题解决经验等D10告警规则记录各类告警监控的规则信息，包括指标告警规则信息、实体告警规则信息、业务源数据告警规则信息、处理过程告警规则信息。用来各类告警监控模块按此规则进行判断告警。D11评估规则记录各类数据质量评估的规则信息，用来各类数据质量评估过程中按此规则进行评估打分等，评估规则亦可来自己元数据管理平台。D12评估报告记录各类数据质量评估的结果信息，一般以固定的格式进行呈现。D13监控报告监控报告指对数据质量监控检查结果的报告，报告可以分正常通知和告警。0级描述上下文图数据质量管理平台元数据管理数据集成平台指标信息/实体信息维护人员管理/维护系统检查信息数据仓库经分门户问题信息/数据质量信息问题处理人员问题处理业务源系统计费系统CRM系统……业务系统源数据信息业务元信息0级DFD图数据质量平台0层DFD图手工问题I3数据集成平台I2数据仓库I1业务源系统D2采集规则P2信息采集指标信息/实体信息过程信息业务元数据P3检查稽核D5采集信息P4监控告警D6稽核结果D13监控报告P5问题处理D8问题信息P6知识库P9对外服务D1调度信息D3稽核规则D9知识信息P7质量评估I7问题处理人员I6维护人员P8任务调度P1规则配置D4调度日志问题信息/数据质量信息源数据信息规则信息I4经分门户I5元数据平台I5元数据平台业务元数据D10告警规则D11评估规则D12评估报告专题配置/评估报告D7告警信息I6维护人员监控报告/告警信息拓扑元信息手工知识/解决方案稽核结果采集信息1级DFD---P1规则配置P1规则配置P1.1采集规则配置P1.2稽核规则配置P1.3告警规则配置I6维护人员I5元数据平台D2采集规则D3稽核规则D10告警规则D1调度信息P1.4评估规则配置D11评估规则元数据规则录入1级DFD---P2信息采集D2.1指标采集规则D2.2实体采集规则D2.3业务源数据采集规则D5.4处理过程信息D5.3业务源数据信息D5.2稽核实体属性D2.4处理过程采集规则D5.1指标采集结果I3数据集成平台I2数据仓库I1业务源系统P2.3业务源数据采集P2.4处理过程信息采集P2.2实体采集P2.1指标采集P2信息采集D2.5指标库信息I6维护人员P2.5采集结果展示1级DFD---P3检查稽核D5.2实体信息D3.3实体稽核规则D6.2实体稽核结果D5.3业务源数据信息D3.4源数据稽核规则D6.3源数据稽核结果D5.4处理过程信息D3.5处理过程稽核规则D6.4处理过程检查结果P3检查稽核P3.1实体稽核P3.2源数据稽核P3.3处理过程检查D5.1指标信息D3.2指标稽核规则D6.1指标稽核结果P3.4获取参数P3.5指标稽核D6.5参数信息P3.6稽核结果展示I6维护人员1级DFD---P4监控告警D6.2实体稽核结果D10.2实体告警规则D6.3源数据稽核结果D10.3源数据告警规则D6.1指标稽核结果D10.1指标告警规则D7告警信息D6.4处理过程稽核结果D10.4处理过程告警规则P4监控告警P4.2实体告警P4.3源数据告警P4.1指标告警P4.4处理过程告警D13监控报告P4.6告警管理P4.7拓扑呈现I5元数据平台I6维护人员拓扑元信息告警信息/分类分级D7.1告警分类信息P4.5监控报告推送监控报告1级DFD---P5问题处理P5.1问题生成D8.2评估问题D8.1监控问题D8.3手工提交问题P5.2问题分析I5元数据系统P5.3问题处理P5.4问题总结D8.4分析报告D8.6问题处理信息D8.5工单信息业务元数据P5问题处理I7问题处理人员手工问题P4.6.6告警转问题P6.1知识获取P6.2知识检索1级DFD---P6知识库D8问题信息D3稽核规则I7问题处理人员D10告警规则P6.1知识获取P6.3知识分类P6知识库人工知识/解决方案D9知识信息P6.2知识检索D9.1知识类别知识信息P5.4问题总结1级DFD---P7质量评估I7问题处理人员D8问题信息P7.1指标关联性分析P7.3数据源接口质量评估P7.4发送评估报告评估报告P7质量评估P7.2数据质量问题状况评估D6稽核结果D12.1指标关联分析报告D12.2数据质量问题状况评估报告D12.3数据源接口质量评估报告P7.5评估专题配置P7.6专题评估报告生成D12.4专题配置D3稽核规则配置专题D12.5专题评估报告D11评估规则1级DFD---P9对外服务D6稽核结果D7告警信息I4经分门户P9.2数据质量问题查询P9.3数据质量问题提交P9对外服务D5采集信息D8问题信息P9.1数据质量统计查询P9.4数据质量问题流转P5.1问题生成P5.