数据库比对方案0317

数据库比对方案上海天玑科技股份有限公司地址：上海市桂林路406号2号楼11层邮编：200233电话：86-21-54278888传真：86-21-54279888数据库比对方案上海轨道交通运管中心票务管理部上海天玑科技股份有限公司第2页共11页1比对背景Goldengate复制队列实时同步后，源端、目标端处于实时同步状态，下一步开始做源端、目标端数据库比对工作，为报表比对做好准备。由于生产库数据量大（4T以上数据），表累计3万张左右，制定详细比对策略，在保证数据质量同时，也要注意时间耗用，在数据准确性和比对时间上取得最佳平衡。数据库比对方案上海轨道交通运管中心票务管理部上海天玑科技股份有限公司第3页共11页2比对原则通过比对步骤，确定生产端和PBdata端数据一致性。根据不同的表分类，分别比对不同的列，保证goldengate队列复制期间，数据稳定可靠。整个比对过程分为几个阶段：第一阶段：比对固定表是否一致,包括行列数，及重要列内容。第二阶段：比对变化表是否一致，包括所有字段内容。第三阶段：比对生产库和PBdata表的数量是否一致。第四阶段：完成所有表比对后，比对生产库、PBdata对象是否一致。（包括索引，视图，图表，函数，过程，触发器）第五阶段：新开PBdata应用账号，初检数据是否一致。数据库比对方案上海轨道交通运管中心票务管理部上海天玑科技股份有限公司第4页共11页3比对步骤3.1固定表固定表，即不实时update的表：前置表、解包表、区段表、日期明细表（部分）。前置表包括：tbl_fep_card_yyyymmddtbl_fep_tick_yyyymmddtbl_fep_pboc_yyyymmddtbl_fep_moni_yyyymmddtbl_fep_cmcc_yyyymmddtbl_fep_emgy_yyyymmdd前置表比对字段：rec_num(笔数)，blob字段。解包表包括：tbl_metro_card_yyyymmddtbl_metro_tick_yyyymmddtbl_metro_pboc_yyyymmddtbl_metro_cmcc_yyyymmdd解包表比对字段：amount,entert_station_id,exit_station_id,cardid,card_counter（计数器），deal_time,trunmber(交易流水号)，equip_id,ticket_type,trans_type。区段表包括：tbl_metro_en_flux_seg_yyyymmddtbl_metro_ex_flux_seg_yyyymmddtbl_metro_stic_seg_yyyymmddtbl_metro_sta_inc_seg_yyyymmddtbl_metro_odflux_seg_yyyymmddtbl_metro_fluxnew_seg_yyyymmdd区段表：比对全表。日期表：tbl_metro_sjtky_en_yyyymmddtbl_metro_sjtky_csm_yyyymmddtbl_metro_sjtky_sell_yyyymmddtbl_metro_sptcky_en_yyyymmdd数据库比对方案上海轨道交通运管中心票务管理部上海天玑科技股份有限公司第5页共11页tbl_metro_sptcky_csm_yyyymmddtbl_metro_sptcky_sell_yyyymmdd日期表：可疑账数据比对以下字段amount,entert_station_id,exit_station_id,cardid,card_counter（计数器），deal_time,trunmber(交易流水号)，equip_id,ticket_type,trans_type其他：TBL_METRO_YJP_OTHER_20150201TBL_METRO_SJTEX_OTHER_20150201TBL_METRO_SJTSE_OTHER_20150201TBL_METRO_SJTEN_OTHER_20150201TBL_METRO_ODFLUX_MTR_20150201TBL_METRO_SPTEX_OTHER_20150201TBL_METRO_SPTSE_OTHER_20150201TBL_METRO_SPTEN_OTHER_20150201TBL_METRO_TICK_20150201TBL_METRO_PBOE_20150201比对amount,entert_station_id,exit_station_id,cardid,card_counter（计数器），deal_time,trunmber(交易流水号)，equip_id,ticket_type,trans_type。分区表：TBL_FEP_TXN_LOGTBL_FEP_TXN_MSGTBL_METRO_CH_SUB_ROADTBL_METRO_CH_SUB_ROAD_CHTBL_METRO_JCP_LISTTBL_METRO_OLAP_ODFLUXSUMTBL_METRO_OLAP_ODFLUXSUM1TBL_METRO_PBOE_LISTTBL_METRO_REPORT_DUTY_USETBL_METRO_REPORT_ODFLUX_ATBL_METRO_REPORT_ODFLUX_CSUMTBL_METRO_REPORT_ODFLUX_DAYTBL_METRO_REPORT_ODFLUX_DSUMTBL_METRO_REPORT_ODFLUX_HOURTBL_METRO_REPORT_ODFLUX_SUMTBL_METRO_REPORT_OD_TRANSITIONTBL_METRO_REPORT_OD_WAYPERTBL_METRO_REPORT_OD_WAYPER_CHTBL_METRO_REPORT_SUBROAD_MAXIDTBL_METRO_REPORT_SUB_ROADTBL_METRO_REPORT_SUB_ROAD_CH数据库比对方案上海轨道交通运管中心票务管理部上海天玑科技股份有限公司第6页共11页TBL_METRO_REPORT_SUM_HOURTBL_METRO_REPORT_SUM_HOUR_MAXTBL_METRO_REPORT_TRANSLISTTBL_METRO_SMTDTBL_METRO_SMTD_LISTTBL_METRO_SMTD_LIST_WWMTBL_METRO_SMTD_TMPTBL_METRO_SPTCSELL_7001比对所有字段。比对步骤：以上各种类型表，首先比对记录数，记录数比对一致基础上，对列出关键列做求和操作并比对，由于以上表只有UPDATA操作，记录数和关键列比对一致，则认为比对完成。对于不方便求和的部分表，直接使用min函数比对所有记录。对于blob字段表，可以使用hash对每个lob字段求值，然后求和。比对对应表的hash值，判断表是否一致。PBdata基础数据准备使用IMP/EXP工具导入，2月初开始goldengate队列复制工作，所以引起数据不一致的可能从2月份开始。比对表格从2月1日起，到比对日前一天所有表格，即可保证表一致性。2月1日后表划分请见附件。总表数量大约1500张，整个比对过程3-4天完成，数据比对一致，则固定表部分比对完毕。3.2非固定表非固定表，即实时变动的表：部分日期表、统计表、分区表等。TBL_METRO_SJTEXIT_20150201TBL_METRO_FLUXNEW_20150201TBL_METRO_SJTEN_FLUX_20150201TBL_METRO_SJTENTER_20150201TBL_METRO_SPTCEX_FLUX_20150201TBL_METRO_SJTSELL_20150201TBL_METRO_SJTEX_FLUX_20150201TBL_METRO_SPTCEN_FLUX_20150201TBL_METRO_ODFLUX_DAY_20150201TBL_METRO_SPTCEXIT_20150201TBL_METRO_SPTCSELL_20150201TBL_METRO_SPTCENTER_20150201数据库比对方案上海轨道交通运管中心票务管理部上海天玑科技股份有限公司第7页共11页TBL_METRO_YJP_LIST_20150201TBL_METRO_YJP_SE_DE_20150201TBL_METRO_WINDTL_1_20150201TBL_METRO_WINDTL_2_20150201TBL_METRO_WINDTL_3_20150201TBL_METRO_WINDTL_4_20150201TBL_METRO_WINDTL_5_20150201TBL_METRO_WINDTL_6_20150201TBL_METRO_WINDTL_7_20150201TBL_METRO_WINDTL_8_20150201TBL_METRO_FLUX_TOTAL_20150201区段表包括：tbl_metro_en_flux_seg_yyyymmddtbl_metro_ex_flux_seg_yyyymmddtbl_metro_stic_seg_yyyymmddtbl_metro_sta_inc_seg_yyyymmddtbl_metro_odflux_seg_yyyymmddtbl_metro_fluxnew_seg_yyyymmdd区段表：比对全表。以上表为实时变动表，为了保证比对准确，采用每条记录比对方式，具体比对方式为：对于实时变动的表，使用以下方式进行比对，如下图数据库比对方案上海轨道交通运管中心票务管理部上海天玑科技股份有限公司第8页共11页1、为了不影响生产系统资源，在PBdata设置比对区域，抽取表到比对区后，比对操作在PBdata完成，不占用superdome资源；抽取表时间放在非高峰时间段进行。2、指定比对时间点，在源端和目标端分别抽取对应表到比对区，在比对区对特定时间点的表格做比对，确定数据是否一致；由于比对过程会对比对表格做全扫描，并且会要求重新排序，耗用资源较大，如果比对表格记录数太多，比对效率会很低，基于准确率和效率全面考虑，采用以下比对步骤：a、确认行列数一致；b、使用minus函数比对表格，找出那些不一致的数值，查找原因，重新比对。非固定表数量大约1000张左右，为了保证每天产出比对结果，可以把1000张表格分为3个批次比对：第一天比对200张；第二天比对400张；第三天比对400张；根据第一天比对时间，灵活调整后续比对表的数量，达到每天都有比对结果产出的效果。比对时间点定为每天的业务波谷期，选取10：00—16:00某时间点作为比对时间点，三个批次选取不同比对时间点，如果三个批次比对结果相同，则认为非固定表比对完成。以上比对需要抽取相应表格到比对区，为了控制数据的实时抽取时间点一致，抽取表在生产库进行，且仍然错峰进行，保证生产库对外提供业务正常。数据库比对方案上海轨道交通运管中心票务管理部上海天玑科技股份有限公司第9页共11页3.3表数量比对比对生产环境、PBdata端表数量是否一致，如果不一致表，则找出相应表，并做好补齐。3.4对象迁移比对迁移生产环境中现有的对象、任务等到PBdata，包括函数、过程、job，由于是跨平台迁移，需要事先验证好各对象迁移后的可用性。如果迁移后有报错，则需要针对解决。此部分放到数据一致比对后进行。一致性+可用性3.5应用初检在PBdata新开账号，应用接口人登录系统后，可以做一些查询操作，初步判断数据一致性。1、比对客流量；tbl_metro_odflux_day_yyyymmddtbl_metro_report_en_flux_daytbl_metro_report_save_flux2、比对收益；tbl_metro_sptc_package_ctltbl_metro_sta_inc_seg_yyyymmddtbl_metro_