数据仓库-数据架构分析报告

【请检查】Slide是否有说服力？不超过4个论据支持论点？是否一行一个观点？是否用图片代替剪切画？（少字多图，冲击力）是否用规范的字体？（宋体、楷体、幼圆）是否用较少且协调的颜色？（土黄色、黑色、白色）【请填写】本次演讲的目的：预期的听众演讲的主题（核心信息）：【请检查】结构是否有说服力？易记？可伸缩？是否经过大声演练？准备搜集试讲听众的反馈？提前熟悉演讲地点及设备？综合纳税服务平台二期开发项目福建省国家税务局【请检查】Slide是否有说服力？不超过4个论据支持论点？是否一行一个观点？是否用图片代替剪切画？（少字多图，冲击力）是否用规范的字体？（宋体、楷体、幼圆）是否用较少且协调的颜色？（土黄色、黑色、白色）Page2目录税务行业数据仓库现状数据仓库理解数据仓库的建设路线规划数据集市的建设路线规划【请检查】Slide是否有说服力？不超过4个论据支持论点？是否一行一个观点？是否用图片代替剪切画？（少字多图，冲击力）是否用规范的字体？（宋体、楷体、幼圆）是否用较少且协调的颜色？（土黄色、黑色、白色）部分省级税务局数据架构【请检查】Slide是否有说服力？不超过4个论据支持论点？是否一行一个观点？是否用图片代替剪切画？（少字多图，冲击力）是否用规范的字体？（宋体、楷体、幼圆）是否用较少且协调的颜色？（土黄色、黑色、白色）数据规划原则交易库数据量相对稳定查询统计与交易分离统一数据标准和口径集成的统一数据视图基于用户数据分析需求按业务类型分类管理预先处理，一次计算，多处共享效率优先，分区存储空间换时间，多维按分析主题分集市数据规划原则【请检查】Slide是否有说服力？不超过4个论据支持论点？是否一行一个观点？是否用图片代替剪切画？（少字多图，冲击力）是否用规范的字体？（宋体、楷体、幼圆）是否用较少且协调的颜色？（土黄色、黑色、白色）税务总局数据架构国税征管系统地税征管系统其它数据源区数据准备区ODS区数据仓库宏观税源分析征管状况分析其它集市数据集市在线历史数据区近几个月数据近两年明细数据其它数据区电子档案数据指标数据其它近十年数据近十年分析数据离线历史数据区国税征管地税征管其它国税征管地税征管其它基础数据轻度汇总其它确保数据量相对稳定【请检查】Slide是否有说服力？不超过4个论据支持论点？是否一行一个观点？是否用图片代替剪切画？（少字多图，冲击力）是否用规范的字体？（宋体、楷体、幼圆）是否用较少且协调的颜色？（土黄色、黑色、白色）【请检查】Slide是否有说服力？不超过4个论据支持论点？是否一行一个观点？是否用图片代替剪切画？（少字多图，冲击力）是否用规范的字体？（宋体、楷体、幼圆）是否用较少且协调的颜色？（土黄色、黑色、白色）数据架构之交换层ETL地税源ORACLE国税源大集中网络发票EXCEL等数据登记停业注销DJ_G……TY_G……ZX_G……ZX_KP_KJXXZX_KP_KJXX_MXZX_KP_NSRZT…………T_DJ_JGNSRT_FP_FPFSPZT_FP_FPFSPZMXT_DM_GYSWJG…………数据层总体架构【请检查】Slide是否有说服力？不超过4个论据支持论点？是否一行一个观点？是否用图片代替剪切画？（少字多图，冲击力）是否用规范的字体？（宋体、楷体、幼圆）是否用较少且协调的颜色？（土黄色、黑色、白色）数据架构之ODS层法人库T_DJ_JGNSRT_ZS_YZMXT_ZS_YZMX_LS发票库税务机关库T_DM_GY_SWJG仓库总体数据架构ODS数据整合区汇总区数据集市区数据层反馈区源数据交换层DJ_G……TY_G……ZX_G……ZX_KP_KJXXZX_KP_KJXX_MXZX_KP_NSRZT…………T_DJ_JGNSRT_FP_FPFSPZT_FP_FPFSPZMXT_DM_GY_SWJG…………T_FP_FPFSPZT_FP_FPFSPZMXZX_KP_KJXXZX_KP_KJXX_MXZX_KP_NSRZT【请检查】Slide是否有说服力？不超过4个论据支持论点？是否一行一个观点？是否用图片代替剪切画？（少字多图，冲击力）是否用规范的字体？（宋体、楷体、幼圆）是否用较少且协调的颜色？（土黄色、黑色、白色）数据架构之交换层ETL地税源ORACLE国税源大集中网络发票EXCEL非结构化数据登记停业注销DJ_G……TY_G……ZX_G……ZX_KP_KJXXZX_KP_KJXX_MXZX_KP_NSRZT…………T_DJ_JGNSRT_FP_FPFSPZT_FP_FPFSPZMXT_DM_GYSWJG…………数据仓库数据架构ODS数据整合区汇总区数据集市区数据层反馈区源数据交换层【请检查】Slide是否有说服力？不超过4个论据支持论点？是否一行一个观点？是否用图片代替剪切画？（少字多图，冲击力）是否用规范的字体？（宋体、楷体、幼圆）是否用较少且协调的颜色？（土黄色、黑色、白色）【请检查】Slide是否有说服力？不超过4个论据支持论点？是否一行一个观点？是否用图片代替剪切画？（少字多图，冲击力）是否用规范的字体？（宋体、楷体、幼圆）是否用较少且协调的颜色？（土黄色、黑色、白色）广东省地税数据利用现状大集中个税管理其它在线发票外部数据数据源区确保数据量相对稳定分发广州数据明细数据数据仓库汇总数据加工税源综合管理系统任务管理复制决策支持准备数据明细数据数据仓库汇总数据加工块策支持系统基本查询基本分析纳税评估业务快线纳税档案综合分析文档管理名单管理监控预测疑点挖掘分类管理复制发票准备数据明细数据数据仓库轻度汇总ETL发票二期数据利用系统报表应用数据分析监控预警明细数据数据集市汇总数据维度汇总查询统计复制直属分局相关数据明细数据汇总数据直属分局税费监控平台报表应用会统分析社保监控查询统计【请检查】Slide是否有说服力？不超过4个论据支持论点？是否一行一个观点？是否用图片代替剪切画？（少字多图，冲击力）是否用规范的字体？（宋体、楷体、幼圆）是否用较少且协调的颜色？（土黄色、黑色、白色）【请检查】Slide是否有说服力？不超过4个论据支持论点？是否一行一个观点？是否用图片代替剪切画？（少字多图，冲击力）是否用规范的字体？（宋体、楷体、幼圆）是否用较少且协调的颜色？（土黄色、黑色、白色）•支持平台•支持数据源•数据转换功能•管理和调度功能•集成和开放性•管理元数据ETL工具比较ETL过程在整数据仓库应用过程中通常会占到80%的比重，可见其在数据利用系统建设中的重要性，下面从以下几个方给出业界主流的三种工具比较：【请检查】Slide是否有说服力？不超过4个论据支持论点？是否一行一个观点？是否用图片代替剪切画？（少字多图，冲击力）是否用规范的字体？（宋体、楷体、幼圆）是否用较少且协调的颜色？（土黄色、黑色、白色）ETL工具比较关键功能点InformaticaAscentialDataStage1：性能要求专用数据库驱动支持有大批量数据转移(调用数据库自身功能,load)支持没有，通过写脚本间接支持（7版后有针对不同数据库的loadstage）进程并发处理支持支持线程并发处理支持没有负载均衡PowerCenter支持没有对CPU、内存的可管理和分配支持没有稳定性在NT平台上不够稳定较好处理速度较快较好大数据量压力测试8~10G/小时较好2：调度任务调度计划支持有基于时间的调度/基于事件的调度支持支持提供调度的API供运维平台调用支持有并发任务调度支持需要用DataStageTX产品【请检查】Slide是否有说服力？不超过4个论据支持论点？是否一行一个观点？是否用图片代替剪切画？（少字多图，冲击力）是否用规范的字体？（宋体、楷体、幼圆）是否用较少且协调的颜色？（土黄色、黑色、白色）ETL工具比较任务的监控支持支持，但对于进程附加任务无法监控错误信息的捕捉支持支持，但很多时候信息不准确3：元数据接口元数据是否采用RDBMS储存、OS支持情况采用RDBMS储存，支持多种OS元数据库备份/恢复支持支持元数据库的迁移支持支持元数据库是否支持平滑升级支持元数据交换，与PowerDesigner/Erwin交换支持（MetadataExchange）支持元数据交换，与OLAP、前端工具的交换支持与Essbase的数据交换（MetadataExchange）支持数据仓库表的创建与管理支持支持元数据结构的开放程度开放MetaStage不能提供api接口易于使用的元数据API接口元数据标准支持支持（XML格式导出）【请检查】Slide是否有说服力？不超过4个论据支持论点？是否一行一个观点？是否用图片代替剪切画？（少字多图，冲击力）是否用规范的字体？（宋体、楷体、幼圆）是否用较少且协调的颜色？（土黄色、黑色、白色）【请填写】本次演讲的目的：预期的听众演讲的主题（核心信息）：【请检查】结构是否有说服力？易记？可伸缩？是否经过大声演练？准备搜集试讲听众的反馈？提前熟悉演讲地点及设备？感谢聆听Interaction&Advice