数据仓库体系培训(内部)

AdvanceYourPotential咨询·解决方案数据仓库体系培训1文思信息版权所有，内部保密材料主题2数据仓库体系规划数据仓库实施方法论Q&A文思信息版权所有，内部保密材料数据仓库规划步骤33现状分析体系规划实施路线•基础数据平台与分析型系统现状总结•银行现有数据仓库体系差距•规划数据仓库系统总体技术方案蓝图•制定相关管理制度与工作流程•规划数据仓库体系分阶段落地方案与实施路线图指导方针•承前启后：着重考虑对前期工作的承接和规划成果的落地实施•敦本务实：实施公司、同业经验与银行实际相结合•远近兼顾：立足长远与满足当前需求相结合文思信息版权所有，内部保密材料数据仓库典型体系架构（星型－EDW）4SASBYHTCMSPMS。。。调度软件（Control-M、Automation、ETL_PLUS）ETL软件前端软件管控平台DM信用卡集市DM信贷集市DM风险管理集市DM。。。ETL软件ETL软件ETL软件前端软件前端软件前端软件文思信息版权所有，内部保密材料数据仓库典型体系架构（集中型－EDW）5SASBYHTCMSPMS。。。调度软件（Control-M、Automation、ETL_PLUS）ETL软件PowercenterDatastage文本脚本前端软件（BIEE、Congnus、BO、Microstrategy）DB（TD、DB2、Oracle）缓冲层模型层汇总层集市层管控平台文思信息版权所有，内部保密材料数据仓库典型体系架构（混合型－EDW）6SASBYHTCMSPMS。。。调度软件（Control-M、Automation、ETL_PLUS）ETL软件PowercenterDatastage文本脚本前端软件（BIEE、Congnus、BO、Microstrategy）DB（TD、DB2、Oracle）缓冲层模型层汇总层集市层管控平台库外集市库外集市文思信息版权所有，内部保密材料数据仓库体系规划7应用体系应用主题·应用模式·应用方案·实施规划数据体系数据架构·ODS·基础层·汇总层·集市层技术体系统一交换·统一监控·统一调度·统一发布·统一管控运维体系数据存储·数据质量·元数据·安全组织架构管控体系组织架构·管控流程·管控内容管控体系从数据体系、技术体系、应用体系、运维体系和管控体系五个方面阐述数据仓库规划。文思信息版权所有，内部保密材料BI环境内的数据架构8集市层汇总层预连接/预处理ODS基础层客户账户资产交易产品渠道财务账户汇总交易统计汇总客户汇总机构汇总产品汇总渠道汇总指标库:规模指标、客户指标、盈利指标、风险指标等核心个贷法贷基金存管国结IT人员业务分析人员决策用户高级分析人员ODS层•解决源系统快速接入的问题；避免从源系统频繁、重复数据抽取；•源系统一次性分析、一次性抽取、一次性接入；•需要随着源系统变更进行维护基础层•面向主题整合；保留详细数据和历史数据•按照业务驱动、逐步建设•模型相对稳定；但是随着源系统和数据业务标准的变化，ETL加工逻辑会长期变化应用集市层•面向应用的个性化定制。汇总层•提供统一的业务口径。•避免集市的重复加工。•随着应用建设逐步完善•模型相对稳定，随着业务扩展可以扩展模型；•随着业务统计口径变化，ETL加工逻辑会变化；文思信息版权所有，内部保密材料不同层次应用场景91审计/风险管理等需要未经加工的业务原始数据源数据质量检查规则、常规报告……应用用户、决策用户会访问特定应用……业务人员通过设定业务检查规则来明确模型可用性业务部门人员多数需要常规报表供日常呈报……业务人员参考整合规则来验证业务正确性POWERUSER通常需要访问第二层对数据进行深入分析……234文思信息版权所有，内部保密材料ODS&EDW特点比较ODS:•与源系统保持一致•基本不进行转换和整合•当前最新数据EDW:•第三范式模型•进行数据整合和转换•当前数据和历史数据ODS:•状态类数据保存当前最新数据•日志类数据保存3个月•针对及其特殊的需要可以考虑对数据保留一定时间段的历史EDW:•一般最长在线保存7年。•事件类数据在线保留时间会短一些，13个月左右。ODS:•全部源系统•不重复保存已经入EDW的Event类数据EDW:•全部源系统的原始细节数据，不接入派生和汇总数据。ODS:•时效性要求高的•不需要需历史数据•需要访问最始数据（审计、稽核类）的应用EDW:•模型区时效性可以满足要求的•需要访问历史数据的•基于多个系统整合数据的•不是必须访问原始数据的应用数据模型数据接入数据存储数据应用ODS特点•面向数据的•非集成的•易变的•当前数据的•详细的EDW特点•面向主题的•集成的•稳定的•随时间变化的•详细的文思信息版权所有，内部保密材料11业务处理系统(OLTP)用户群体•客户•员工应用•交易处理•帐务处理访问特征•频繁的更新•偶尔的查询数据模型•当前状态数据•很少的历史数据•范围比较小战略性分析(EDW)用户群•管理人员•高层领导应用•战略性分析•复杂的查询和报表•预测访问特征•批量插入-很少的更新•频繁的复杂查询优劣势对比•解决企业的决策需求•不能满足实时监控和实时业务需求战术性查询(ODS)用户群体•一线的业务人员•客户应用•业务领域查询•战术性决策支持•简单的分析（评分）访问特征•当前数据访问•查询较多优劣势对比•满足实时监控和实时业务需求•不能满足中远期决策需求EDWOLTP1OLTP2OLTP3任务的连续性ODS&EDW价值和定位ODS文思信息版权所有，内部保密材料ODS层模型12•偏源系统模型•部分数据保留全量•少量数据保留短暂历史•简单处理•不考虑整合•考虑保留策略文思信息版权所有，内部保密材料基础层模型VS.汇总层模型文思信息版权所有，内部保密材料应用集市层模型文思信息版权所有，内部保密材料数据仓库体系规划15应用体系应用主题·应用模式·应用方案·实施规划数据体系数据架构·ODS·基础层·汇总层·集市层技术体系统一交换·统一监控·统一调度·统一发布·统一管控运维体系数据存储·数据质量·元数据·安全组织架构管控体系组织架构·管控流程·管控内容管控体系从数据体系、技术体系、应用体系、运维体系和管控体系五个方面阐述数据仓库规划。文思信息版权所有，内部保密材料统一数据交换16文思信息版权所有，内部保密材料统一调度架构17文思信息版权所有，内部保密材料统一监控架构资源信息收集监控知识库交换平台服务器调度平台服务器CPU内存磁盘CPU内存磁盘服务信息收集应用信息收集数据文件收发到达情况数据库使用情况用户访问表级访问审计日志WEB前端趋势分析数据下载信息浏览信息查询资源监控服务监控应用监控数据展现数据仓库服务器CPU内存I/O硬件设备前端服务器知识库服务器CPU内存磁盘CPU内存磁盘数据仓库服务进程空间使用连接个数调度服务器调度服务日志服务其他服务WEB服务器服务信息日志信息其他信息发送情况处理情况ETL运行情况加载进度作业状态失败报警WEB报表AGENT监控代理统一监控企业级SNMP协议运维人员短信、邮件等实时通知手段18文思信息版权所有，内部保密材料统一信息发布统一信息发布定位统一信息发布平台定位为广发银行数据仓库体系的展现平台，用于展现银行的基础数据平台及所有分析型应用资源。分析型应用资源的集成包含前端界面的整合和各应用后台数据及权限的整合19登录首页公告页面调用功能分析型应用集成角色管理授权管理系统管理日志管理会话管理应用模式固定报表即席查询数据挖掘用户身份管理统一认证单点登录安全审计认证管理统一信息发布内容统一入口权限管理应用集成文思信息版权所有，内部保密材料统一数据管控架构20元数据管理数据标准管理数据质量管理影响分析、血缘分析代码标准落地提供检核对象定位检核问题检核指标存储提供映射源数据标准存储数据标准信息模型数据标准文档提供检核规则提供检核问题检核规则指标模型源系统源系统源系统ETL数据服务StageFDMADM数据服务数据服务数据平台应用系统元数据元数据元数据业务元数据操作元数据技术元数据综合信息服务管理数据标准需求数据质量需求元数据需求银行业务需求文思信息版权所有，内部保密材料数据仓库体系规划21应用体系应用主题·应用模式·应用方案·实施规划数据体系数据架构·ODS·基础层·汇总层·集市层技术体系统一交换·统一监控·统一调度·统一发布·统一管控运维体系数据存储·数据质量·元数据·安全组织架构管控体系组织架构·管控流程·管控内容管控体系从数据体系、技术体系、应用体系、运维体系和管控体系五个方面阐述数据仓库规划。文思信息版权所有，内部保密材料国内银行商业智能应用22客户管理支持国内银行的数据仓库应用种类超过40余个，主要分布如下：运营管理风险管理财务管理信息管理客户信息管理系统（CIM）分析型客户关系管理系统（ACRM）操作型客户关系管理（OCRM）个人积分计算客户贡献度计算/模型客户流失概率模型客户聚类细分模型产品购买关联度模型业务统计分析信用卡分析渠道分析、中间业务分析平衡计分卡经营指标快报(KPIDashboard)利润贡献度客户经理绩效考核产品绩效分析1104监管报表人行反洗钱人行征信非现场稽核五级分类数据加工内部评级法定价系统客户违约概率模型信用卡申请评分模型资本充足率资产负债管理关联交易应用支持人行集中金融统计内部财务信息分析管理会计数据标准企业数据架构数据质量管理元数据管理（Metadata）数据访问安全管理文思信息版权所有，内部保密材料常见的应用模式及其演变发展23报表发生什么事情预定义报表分析为什么会发生随机查询,BITools预测什么将会发生数据挖掘模型使用于操作什么正在发生捕捉动态事件ACTIVATINGMAKEithappen!事件营销操作智能是决策智能向业务系统和流程的延伸。决策智能操作智能文思信息版权所有，内部保密材料业务需求/分析和应用模式的关系OLAP/固定报表随机查询挖掘模型用途：提供日常业务管理统计，辅助发现业务发展趋势。场景：客户分布发生变化或者某项业务趋势呈现异常，转而使用其他分析手段，以“客户交易金额和笔数分布发生变化”为例。用途：提供解决那些无法预先定义的查询分析需求以及查找问题时的详细钻取。场景：“客户交易金额和笔数分布发生变化”的详细分析，比如“哪些客户的哪些交易有了变化，是交易种类、金额、笔数还是交易场所？这些客户的特征是怎样的？他们在我行持有的产品分布如何？”用途：数据挖掘通过模式识别与数学模型技术从数据仓库中的大量明细数据中发现隐藏的模式与趋势。场景：经过随机分析发现那些属于“交易金额和笔数分布发生变化”的客户群中发现部分客户最近有销户或者已经很长时间不发生往来的倾向，因此需要利用“客户流失模型”进行评分，结合“客户等级”确定需要进行挽留的客户名单。用途：支持综合、复杂业务逻辑的应用，提供前端的用户使用界面。场景：设计营销活动进行客户挽留，输入该营销活动的“执行策略、日期、预计成本”以及具体的“沟通计划”和“渠道使用规则”等信息。上述各模式的使用顺序与逻辑仅是示例，依赖于具体的使用场景。应用系统分析人员文思信息版权所有，内部保密材料应用规划考虑维度IT部门除了考虑数据质量、数据可用性、投资预算规模之外，更重要的是考虑应用实施能否满足业务用户目前收益心理预期等因素，要想的大（全面，具体，全局观）。数据仓库建设规划，要分步骤进行实施，起步从小做起（）；不同业务部门对业务应用的优先度要求不同，必须综合考虑不同部门对业务应用的策略价值和投资回报评价，形成初步的规划后，再经数据仓库管理委员会讨论确定。数据仓库建设规划，通常从以下三个方面进行评估：实施难度：IT部门评估策略价值：决策层评估投资回报：应用部门评估业务应用实施难度策略价值投资回报事件和营销活动管理535目标市场营销596客户挽留632客户净值提高298客户获取721销售绩效和报告366绩效管理671分销渠道优化525产品开发和包装846合规与披露(BaselII)1073绩效衡量和资本分配(RAROC)766信用/市场/操作风险分析和优化933