数据仓库实践系列课程(3)——BI数据架构

数据仓库实践系列课程（3）——BI数据架构文思海辉总体数据架构ESB数据采集和交换平台集成型数据区历史数据访问应用数据挖掘工具监管报送平台即席查询工具数据集成平台新核心系统老核心系统客户系统外围系统渠道系统外部系统(外联平台)操作型数据区分析型数据区应用服务区……应用服务器报表工具WEB服务器历史数据区统一报表平台管理会计系统流动性风险系统市场风险系统历史数据平台数据挖掘平台大数据平台数据交换区实时事件处理平台贴源模型层（ODS）主题模型层（EDW）应用集市层数据缓冲层共性加工层(GDM)国家审计署平台非现场审计课程大纲•引言•BI环境中的数据层次•各层次设计重点•BI用户与各层次数据使用•课程总结•Q&A课程大纲•引言•BI环境中的数据层次•各层次设计重点•BI用户与各层次数据使用•课程总结•Q&A银行有多少数据？--范围出生日期婚姻状况投资组合联系电话咨询/投诉存取款信用评级供养人口称谓姓名是否进入黑名单还款/迟缴职业收入学历关联客户科目消费账户余额房产理财产品促销活动联系地址证件信息偏好渠道开户机构内部机构产品渠道交易资源/资产营销/策略性别财务汽车其他投资交易渠道网银转账积分明细兑换历史管理机构客户经理房贷存款信用卡贷款还款情况总帐协议/账户客户银行有多少数据？--数量系统表个数字段数AI108888B2I21285CAS1081994CCIF102859CIF91500CIFSC49398CMP1172419CMS2442442CMS383420388DTS901201GTS1762498IB2604171IFAR2925707PDS1902344储蓄式国债47467贷记卡外挂623528记账式国债681221开放式基金39655……总计309649965特点：•数量多•分布广•内容庞杂挑战：•这么多的数据怎么管？重点是什么？•数据应该怎么分类？•每类的定义和特点是什么？•跨系统同类数据是否遵循同样的标准？•……实施分类管理贷记卡系统卡片信息授信信息利率信息额度信息储蓄系统客户信息机构信息账户信息利率信息贷款核销产品信息信贷系统客户信息机构信息授信信息账户信息利率信息贷款展期贷款核销产品信息客户信息机构信息额度信息积分信息账户信息产品信息银保通客户信息机构信息账户信息利率信息保单信息产品信息网上银行客户信息账户信息转账信息支付信息产品信息机构信息数据模型7•将各系统、各部门分散、重复的业务概念进行统筹、整合。•从企业级视角进行结构化、规范化的设计，统一数据定义，明晰数据之间的关系。数据主题客户账户交易机构渠道资产财务……数据模型设计示例以“客户”为例不同的数据模型设计没有绝对的对错，合适的就是最好的。课程大纲•引言•BI环境中的数据层次•各层次设计重点•BI用户与各层次数据使用•课程总结•Q&ABI数据架构各层次数据模型的定位与特点各层次数据模型示例一个相对完整的BI数据架构应用集市层•面向应用•按需定制共性加工层•初级的数据加工•依赖对应用的提炼技术缓冲层•ETL专用的纯技术层•完全与源系统结构一致近源模型层•基本依照源系统建模•尽量保持业务数据原貌整合模型层•面向整合•主题设计•提供规范和共享技术缓冲层•定位»服务于数据加载和转换的需要，不对外提供数据服务•特点»数据原样加载，与源系统结构一致»有增量，有全量»可能需要保留数天历史(重加/查数)技术缓冲层示例表外帐户贷款户明细近源模型层•定位»尽量保持源系统数据原貌，提供基于业务数据原貌的访问•特点»简单处理»不考虑整合»保留较短期历史（重点考虑保留策略）近源模型层示例整合模型层•定位»长期的，细节的，整合的数据存储，为各类业务需求提供支持•特点»面向主题，数据整合»提供规范和共享»中性设计，偏范式化，灵活可扩展»细节信息，保留长期历史整合模型层示例产品/服务事件协议渠道客户资产财务/风险地区/地址市场营销内部机构共性加工层•定位»提供相对中性，具有业务意义的初级加工数据，支持上层应用的数据加工，或供业务人员的访问•特点»全局考虑，提炼需求共性»多层次设计，多种数据粒度»侧重业务理解，蕴含丰富的业务规则卡片交易汇总表统计日期卡号币种代码消费交易金额消费交易笔数消费最近交易时间取现交易金额取现交易笔数取现最近交易时间分期交易金额分期交易笔数分期最近交易时间重要商户类型交易金额重要商户类型交易笔数排除商户类型交易金额排除商户类型交易笔数其它商户类型交易金额共性加工层示例：汇总•加工出常用的变量，方便数据处理与查询•遵循业务常用原则共性加工层示例：统计信息蕴含一定业务规则的复杂加工应用集市层•定位»提供特定应用支持•特点»面向应用»形式各异，各自独立»按需定制，满足特定业务的需求报表模型示例：常见表样多维模型示例：卡交易量分析数据挖掘示例复杂加工的变量目标•以数据下载的结构为准，一般与源系统结构相同•数据可能是增量，也可能是全量•用于技术加工•短期的，细节的反应业务原貌的数据存储•直接提供基于源系统结构的简单原貌访问•为BI环境中适合的业务需求提供支持•长期的，细节的，整合的数据存储•为BI环境中适合的各类业务需求提供支持•相对中性，具业务意义的初加工数据，但不面向特定应用•作为上层应用数据加工的基础，或供业务人员直接访问•服务特定应用原则•简单处理•关注源系统结构的变化•简单处理，不考虑整合•关注保留策略•面向全局，数据整合•中性设计，灵活扩展•提供规范和共享•提炼应用需求共性•多种数据粒度•易于理解和使用•面向具体应用•按需设计形式•源系统模型•近源系统模型设计•根据支持应用情况可以保留短期历史•面向主题设计•偏范式化•长期保留历史•初步数据加工•分层设计•形式各异，依具体应用不同技术缓冲层近源模型层整合模型层共性加工层应用集市层各数据层次的定位课程大纲•引言•BI环境中的数据层次•各层次设计重点•BI用户与各层次数据使用•课程总结•Q&A整合模型层共性加工层应用集市层重点关注的层次近源模型层•基本依照源系统建模•尽量保持业务数据原貌整合模型层•面向整合•主题设计•提供规范和共享应用集市层•面向应用•按需定制共性加工层•初级的数据加工•依赖对应用的提炼技术缓冲层•ETL专用的纯技术层•完全与源系统结构一致各层设计重点•主题定义•框架设计•整合策略•实施方法整合模型层•应用筛选•应用提炼共性加工层•整体性•一致性应用集市层整合模型层设计——主题定义产品客户化自行设计项目目标是什么？可参考主题都有哪些？该主题在当前环境下是否适用？是否需要其他修改？目标达成！项目目标是什么？总是有这些共通的主题：客户、协议(账户)、产品、事件(交易)其他业务信息的归纳使用业务熟悉的主题词汇目标达成！整合模型层设计——框架设计主实体•名称•含义分类•分类依据•子类名称•子类含义关系•主实体间关系•其他重要关系•框架设计体现了模型设计原则•框架决定了模型的整体结构整合后的对象标识选择已有标识还是新建？整合前信息是否保留？选择单一信息源(系统)？还是多个源？是否整合依赖业务现状，需要确定影响性？整合模型层设计——整合策略是否整合同一业务对象有多种实例确定信息源源保留策略整合标识选择确定业务对象整合策略共性加工层设计——设计目标技术层面避免相同汇总数据的重复计算和存储，减少系统开销实现共享，降低应用开发和数据查询的复杂度避免数据加工口径的不一致业务层面实现对常用统计口径的统一定义和维护便于业务人员理解，直接进行数据分析共性加工层设计——设计理念中间层是因为需求而产生的，所以一定要基于需求，可以借鉴行业经验，但是每个行的应用建设过程有所不同，所以本行的需求才是根本需求驱动中间层是提炼不同应用公共指标，提炼的程度太高会失去汇总层的意义，个性化程度太高会导致与应用层无区别，所以模型设计人员的经验很重要提炼共性在中间层再分明细层和汇总层，明细层是协议主题的扩展，是协议的业务呈现。汇总层是除协议外的其他主题业务呈现架构分明中间层的建设是一个循环往复的过程，不可能一步到位。随着应用的增加和对应用理解的深入，中间层会不断的丰富和发展，提升其业务价值迭代开发共性加工层——数据处理方法33预计算预连接预聚类将分散在基础层数据中的很多实体根据应用的要求进行预先连接，这种预连接可以有不同的实现方式，比如可以采用物理表、视图，更多的是采用视图的方式。将在基础层数据中以及应用集市中难于计算，通常是规则比较复杂，或者计算一次所需的时间比较长的数据预先计算出来，比如日均、重定价日等，但粒度不变，仍为最细的账户粒度，因需要运行的时间也比较长，建议采用物理表的方式。以维度建模方式对基础数据进行汇总和聚合，不再是最细粒度了；采用物理表与视图结合的方式，对于预聚合粒度比较粗的，数据量上会减少很多，所以适当的多采用物理表的方式，以节约系统资源，提高查询效率，对于预聚类粒度还是很细的，数据量减少不多，建议采用视图方式，如汇总层的客户汇总表。预连接预计算预聚类Account&Cardlevelsummary卡账户平均余额汇总averagebalance卡账户迟缴历史Delinquent卡账户重要交易汇总importantevents最近三个月卡重要交易汇总eventsinrecent3months最近六个月卡重要交易汇总eventsinrecent6months账户利润组成汇总profitcomponents卡账户利润汇总profit卡账户准备金计提记录riskreservationamountCustomerlevelsummary客户平均余额汇总averagebalance客户持卡信息汇总Cardholdsbycustomer客户迟缴历史Delinquent客户交易汇总events客户重要交易汇总importantevents客户利润汇总profitOrganizationlevelsummary机构平均余额汇总averagebalance机构发卡汇总Cardissuedbyorg机构交易汇总IssuereventsIST事件汇总ISTevents机构利润汇总profit共性加工层——设计示例（信用卡）建模时将产品层与机构层用一张汇总表来实现。共性加工层——设计示例（逐层汇总）应用集市层设计——按需定制面向应用的模型设计尽可能使用共性加工层模型实体整体性一致性加工规则应尽量和已有规则保持一致业务驱动，按需定制课程大纲•引言•BI环境中的数据层次•各层次设计重点•BI用户与各层次数据使用•课程总结•Q&A各数据层次的定位目标•以数据下载的结构为准，一般与源系统结构相同•数据可能是增量，也可能是全量•用于技术加工•短期的，细节的反应业务原貌的数据存储•直接提供基于源系统结构的简单原貌访问•为BI环境中适合的业务需求提供支持•长期的，细节的，整合的数据存储•为BI环境中适合的各类业务需求提供支持•相对中性，具业务意义的初加工数据，但不面向特定应用•作为上层应用数据加工的基础，或供业务人员直接访问•服务特定应用原则•简单处理•关注源系统结构的变化•简单处理，不考虑整合•关注保留策略•面向全局，数据整合•中性设计，灵活扩展•提供规范和共享•提炼应用需求共性•多种数据粒度•易于理解和使用•面向具体应用•按需设计形式•源系统模型•近源系统模型设计•根据支持应用情况可以保留短期历史•面向主题设计•偏范式化•长期保留历史•初步数据加工•分层设计•形式各异，依具体应用不同重点•理解源结构•理解源结构•主题定义•框架设计•整合策略•实施方法•应用筛选•应用提炼•整体性•一致性用途•不对外提供数据服务•业务原貌查询•即时报表•数据质量检查•灵活查询•整合规则检查•常规报表•灵活查询•业务规则检查•特定应用技术缓冲层近源模型层整合模型层共性加工层应用集市层不同类型项目的数据层次建议ODS•视加工过程是否需要而定，非必须，但一般会有•同源设计，基本不做处理•必须，是ODS核心模型层•简单处理•视项目具体需求而定，非必须建设层次•只针对必须整合且比较基础的部分才考虑建设此层•