广发核心系统项目-数据清理方案分析

广发核心系统项目概要设计书(数据清理)V1.02013年11月1606752537619【内部资料请勿外泄】第2页共12页目录1概述............................................................................................................................................31.1理论背景.............................................................................................................................31.2需求背景.............................................................................................................................31.3功能清单..............................................................................................错误!未定义书签。1.4关键策略.............................................................................................................................41.5限制/假设.............................................................................................错误!未定义书签。2术语定义.....................................................................................................错误!未定义书签。2.1清理编号.............................................................................................................................52.2清理类型.............................................................................................................................52.3清理时间.............................................................................................................................52.4保留期限.............................................................................................................................62.5清理状态.............................................................................................................................73数据结构....................................................................................................................................83.1数据结构描述.....................................................................................................................83.1.1数据清理参数表.......................................................................................................84功能描述....................................................................................................................................94.1数据清理参数表维护.........................................................................................................94.2技术平台数据下载和清理..................................................................错误!未定义书签。4.3应用系统数据下载和清理.................................................................................................94.3.1应用系统数据下载和清理........................................................错误!未定义书签。4.3.2计算清理日组件.......................................................................................................94.3.3计算保留日组件.....................................................................................................104.3.4数据清理控制组件.................................................................................................105附录..........................................................................................................................................101606752537619【内部资料请勿外泄】第3页共12页1概述1.1理论背景完整的数据生命周期是：应用系统的数据在生产应用系统中的在线阶段，归档阶段，销毁阶段的单一流向过程。完整的核心银行系统数据管理流程涉及主机和开放平台，其流程包括：1、主机数据下载:定期将符合条件的应用数据生成文件，下载至开放平台。2、主机数据清理:定期将符合条件的应用数据删除。3、主机数据归档:装载下载的数据文件至开放平台的档案管理系统。4、归档数据销毁:定期销毁开放平台档案管理系统中的应用数据。本文档描述的是主机数据清理的总体方案。1.2需求背景历史数据是指各种档案中带有日期项的数据，这些日期项可能是键值之一（如交易历史表），也可能不是键值（例如账户主档中的销户日期），根据这些日期和记录某些状态，就能够确定那些数据已经过期，无需在主机中继续保留而可以被清除。历史数据清理是保护资源，提高系统性能的重要措施之一，因此数据清理的标准在需求分析阶段就要确定下来，但清理的时间和数据保留的期限却会随着数据量的增长和业务的发展而不断变化。比如票据业务的需求是“对于已结清的票据记录，如果结清期限超过1年的，允许在年末统一作物理删除”。在这个需求中，数据清理的时间（年末）和数据保留的期限（1年），可能会随着业务的大幅增长而发生改变（例如改为每月末清理，保留半年内数据），但清理的条件“已结清的票据记录”却是固定不变的。为了降低需求变更所带来的程序修改，我们将“数据清理时间”和“数据保留期限”单独抽取出来，变成可以定义维护的参数，而清理的条件和具体要清理那些数据库表的记录则留给应用程序来完成。1606752537619【内部资料请勿外泄】第4页共12页1.3关键策略数据清理动作统一由应用发起。应用清理程序每天都启动执行，根据处理对象(清理编号)调用数据清理日期查询组件检查当天是否需要进行数据清理；如果需要数据清理，清理日期查询组件则返回记录的最小保留日期（详见接口说明文档），应用根据最小保留日期进行如下处理。1、档案无需支持24小时。应用程序扫描需要清理的档案，将符合条件的记录作删除。需要考虑所有必要的条件，包括：记录最后修改日小于最小保留日期；记录属于业务无效的状态；有关联的表的主从记录需要同步删除。2、档案需要支持24小时(针对双主档)。第一步：应用程序扫描批量档案，确定需要删除那些档案的那些记录（日期小于最小保留日期的记录），将这些记录的KEY值登记下来生成BSP档案（注意：这些KEY值不一定带有日期数据，例如已销户超过一定期限的活期存款的KEY值其实是存款账号）。第二步：根据BSP档案发动BSP处理，通过KEY值真正删除联机档案中的相关记录。这时应用的BSP程序可能还需要再次检查记录的状态和日期，以免发生意外错误（例如已销户的活期存款被销户重开了）。1.4性能因素1、采用程序的方式删除记录，系统会登记DB2LOG，对于一次清理大量的数据会引起系统性能下降。因此在需求分析时，对于涉及大数据量的清理，尽量通过增加清理次数的方式来分散每次清理的数据量。2、数据清理后一般要对数据库表进行REORG，也可以参照日常系统运行的REORG执行日期，来安排数据清理的运行实施。1606752537619【内部资料请勿外泄】第5页共12页2术语定义数据清理模块的核心数据结构是数据清理参数表，其包含如下要素。2.1清理编号清理编号是8位的字符串，它代表了一类数据清理的规则，由应用技术人员维护。为了方便记忆，可以定义为数据库表的名称。2.2清理类型对同一个清理编号之下清理规则的再次划分，是20位字符串的自由格式，由应用自己定义和使用。比如对交易历史的清理，在同一清理编号下，不同的模块账号，或者不同的产品可能有不同的清理规则。2.3清理时间表示数据清理的时间要求，即在什么时间点来做数据清理，在IBSCORE中，数据清理时间由清理频率和清理周期组成：清理频率清理周期摘要日NNN=1~99，表示相对于年初每NN天就启动数据清理。例如NN=01表示每天都清理，NN=05表示每5天清理一次。周NN=1~7，表示每周N启动数据清理。例如N=1表示周一清理，N=7表示每周日清理。旬NNNN=01~10，表示每旬的NN日启动清理。例如NN=01表示每旬的第1日清理，当NN=10表示每旬末清理。月NNNN=01~31，表示每个月的NN日启动清理。例如NN=01表示每月的1日清理，NN=15表示每月的15日清理,特别地当NN=31表示每月月末清理。季NNNN=01~31，表示每季度的NN日启动清理。例如NN=01表示3、6、9、12月的1日清理，NN=15表示3、6、9、12月的15日清理，特别地当NN=31表示季末清理。1606752537619【内部资料请勿外泄】第6页共12页半