银行数据仓库解决方案交流

南昌商业银行数据仓库交流天正智能议程公司介绍银行业数据仓库体系结构及技术解决方案数据仓库.vs.数据集市银行业数据仓库业务解决方案数据仓库实施总结及建议议程公司介绍银行业数据仓库体系结构及技术解决方案数据仓库.vs.数据集市银行业数据仓库业务解决方案数据仓库实施总结及建议数据仓库不是一个产品！！！首先申明：数据仓库是一个过程，而不是一个产品！！！数据仓库的整个过程包括很多产品和实施服务：平台产品数据库服务器存储数据处理工具ETL工具数据质量及数据管理工具前端应用工具OLAP工具数据挖掘工具报表及展现工具门户等业务应用自主开发（如：报表、绩效考核等）套装软件（如：FairIsaac,Sungar…)备份设备数据仓库及信息决策演变过程动态查询第二阶段：分析为什么会发生?动态查询逐渐增加持续数据更新和快速查询第四阶段：操作正在发生什么?持续数据更新及快速响应查询第一阶段：报表发生了什么?主要是批处理预定义查询批处理第三阶段：预测将会发生什么?分析预测模型增加分析预测第五阶段：动态数据仓库希望发生什么?战略与战术的结合事件驱动事件驱动IncreasingQueryandWorkloadComplexityIncreasingDataDetail,Volume,Integration&SchemaSophistication国内商业银行企业级数据仓库系统框架企业数据仓库从属数据集市业务人员IT用户数据导入析取清洗条件剔除家庭关系加载知识发现数据挖掘信息存取工具源数据采集存储和管理数据存取ITUsersBusinessUsers业务系统业务系统业务数据外部数据关系数据库管理系统聚集统计人工智能神经网络多维可视化EIS/DSS电子表对象语言开发银行业数据仓库解决方案产品可扩展数据仓库实施方法论全球项目管理方法论知识管理系统方法论服务器及存储设备数据库及工具金融业逻辑数据模型LDM经营指标体系资产负债管理利润贡献分析客户关系管理信用风险管理交易人员决策人员知识工作者信息访问工具预定义报表随机查询OLAP分析数据挖掘业务用户业务用户其他应用应用系统₷业务探索₷信息探索₷体系结构设计₷逻辑数据模型₷物理数据模型₷数据转换加载₷应用系统开发₷系统安装调试₷系统性能测试₷系统容量规划₷系统安全规划₷数据备份方案₷系统运行管理₷预测模型设计₷培训₷知识转移专业服务是从多个数据源收集的详细交易数据和其他业务相关数据（包括企业内部和外部），并按照企业内部的整体规则整合数据，保持一定期限的历史数据用于分析企业级分析平台描述基于实际的数据回答业务问题:从同一个数据源以任何数据粒度从企业的整体出发获得真实的唯一视图（singleversionofthetruth）企业级数据仓库系统－企业分析平台SingleVersionoftheTruthIntegratedcorporateinformationApplicationneutralNonredundantSystemofrecordforallreportinganddecisionmakingDetailedDataSummarydataonlyhelpinferiortoolsSummarydatalimitsandcontrolsusersAskanyquestion,anydata,anytime功能体系结构－逻辑数据模型可扩展性–不仅仅是数据量CUSTOMERCUSTOMERNUMBERCUSTOMERNAMECUSTOMERCITYCUSTOMERPOSTCUSTOMERSTCUSTOMERADDRCUSTOMERPHONECUSTOMERFAXORDERORDERNUMBERORDERDATESTATUSORDERITEMBACKORDEREDQUANTITYITEMITEMNUMBERQUANTITYDESCRIPTIONORDERITEMSHIPPEDQUANTITYSHIPDATE•SimpleDirectatthestart•ModerateMulti-tableJoin•Regressionanalysis•Querytoolsupport•Complex,58-waytablejoin•15Pages,37FromClauses,7UNION’s,(Largesttable1Brows,43minutes)详细数据量并发用户模型复杂度查询复杂度数据仓库系统选择标准在选择合作伙伴时应当考虑是否有业内足够的成功案例？是否有成功实施过数据仓库系统的专业队伍？是否有该行业的丰富经验？在选择技术时应当考虑该平台在数据仓库领域是否具有普遍成功的案例？系统的整体性能是否能够满足海量数据和复杂、并发查询的要求？整个系统是否具有线性可扩展的能力？整个系统是否具有高可靠性？系统管理是否简单？系统是否能确保投资保护？广泛的源数据支持•DB2•Oracle•Informix•Sybase•SQLServer•VSAM•OLEDB•ODBC•JDBC…源数据支持数据平台－源数据支持ETL系统：1、工具1).TeradataETL工具2).Datastage3).Informatica2、管理系统1).调度系统2).数据管理系统（数据质量）ETL产品数据平台－ETL产品运行在HP-UX、AIX、Solaris、WindowsNT/200、NCRMP-RAS、MVS…数据仓库引擎-数据库系统RDBMS:WorldMarkPlatformWES/EMCStorageTapeLibrary关系数据库管理系统数据仓库管理工具DataWarehouseManagement•TeradataManager•TeradataBAR•TeradataMetadataService•TDQM数据库管理工具数据仓库应用-OLAPServerOLAPServer•Cognos•Hyperion(Essbase)•MicrosoftAnalysisService•MicroStrategy•CA…OLAPServer数据仓库应用-数据挖掘工具•TeradataWarehouseMiner•SASEnterpriseMiner•SPSSClementine数据挖掘工具数据仓库应用–信息访问工具查询工具：•BTEQ•QuerymanBI套件：•BusinessObject•Brio•Cognos•MicroStrategy•ExcelBIPortal:Brio,BO,Cognos,CA…信息存取工具议程公司介绍银行业数据仓库体系结构及技术解决方案数据仓库.vs.数据集市银行业数据仓库业务解决方案数据仓库实施总结及建议选择：数据集市vs企业级数据仓库核心信用卡网银信贷生产系统数据获取风险管理独立数据集市客户关系管理。。。。。数据组织数据访问部门级&企业级“Vertical”BusinessAnalysisOperationsLegalFinanceMarketingDistributed(DataMarts)OperationsLegalFinanceMarketingEmployeesEquipmentMovementsLocationsExpensesCustomersCentralized(Enterprise)“Horizontal”BusinessAnalysis分析系统&业务系统的区别分析系统业务系统交易简单当前已知静态业务需求查询时间限制业务问题业务环境分析复杂历史未知动态议程公司介绍银行业数据仓库体系结构及技术解决方案数据仓库.vs.数据集市银行业数据仓库业务解决方案数据仓库实施总结及建议银行数据仓库应用体系规划OLAP工具/数据挖掘工具/分析模型数据源数据源数据源银行数据仓库FS-LDM地域合约事件组织渠道产品参与人行销活动浦发业务远景与目标财务客户资产财务管理监管报表总帐分析SVA分析财务预算与计划预测与场景分析动态财务报告盈利分析绩效管理机构考核业务量考核客户经理考核风险管理信息披露（BII）市场风险信用风险操作风险反欺诈/反洗钱全面风险管理资产负债管理监管报表流动性管理利率管理资本金分配场景分析客户管理客户单一视图客户细分目标客户搜索客户行为分析营销活动管理营销自动化应用功能描述营销活动管理业务功能客户单一视图客户细分客户行为分析目标客户筛选客户管理应用领域绩效管理财务管理风险管理资产负债管理全面风险管理操作风险管理市场风险管理反欺诈与反洗钱监管报表BaselII监管报表利率管理流动性管理资本金分配场景分析SVA分析盈利分析总帐分析监管报表信息披露预测与场景分析财务预算与计划机构绩效考核CRMROI营销自动化业务量考核客户经理考核动态财务报告信用风险管理产品绩效渠道绩效应用模块之间的相互关系资产负债管理（ALM）风险管理（RISKMgmt）客户管理（CRM）数据源数据源数据源银行数据仓库结果结果结果•客户单一视图•客户行为分析•客户细分分析•交叉分析•事件营销分析•GAP分析方法•Duration方法•利率敏感性分析•到期日分析方法•集中度分析•违约概率模型•评分评级模型•相关分析模型•IRB3333结果分析方法举例：财务管理（FM）•盈利分析•资金转移计价•场景分析•利润贡献度分析报表分析12•KPI•仪表盘•平衡计分卡FS-LDM地域合约事件组织渠道产品参与人行销活动财务客户资产绩效指标管理平衡计分卡报表查询报表查询绩效管理报表分析12报表分析12报表分析12应用功能集成资产负债管理.客户关系管理信用风险管理报表组织利润贡献度帐户/客户/产品利润贡献度BISII自动报表信用风险模型资金转移计价（FTP）基于活动成本（ABC）BISII报表资产负债管理报表预算与计划现有客户利润贡献度客户LTV风险因子BISII信息资本系数资产负债和净利息收入（按产品和到期日）每月预测净利息收入预测损益表和资产负债表每月预测（按组织和总帐科目）当月利润，包括损益表和资产负债表（按组织和总帐科目）当月预算与实际比较当月利润（按帐户）只包括帐户级别的成本与收入当期按活动的成本按产品和帐户特性定义转移计价利率资本需求模型、历史分析、资本系数（按产品）按产品风险因子和风险属性历史分析FTP利率单位成本当月总帐数据与贡献度产出进行调帐LTV，NPV盈利的折扣现值利润贡献度分析资产负债管理信用风险管理客户关系管理银行职能部门完成财务管理模块SVA分析盈利分析总帐分析监管报表信息披露预测与场景分析财务预算与计划动态财务报告财务管理1234567•资产负债表•损益表•信贷收支表•其他监管报表•资产负债表分析•损益表分析•现金流量表分析•财务指标分析银监会、人民银行所需要的监管报表，上市需要或银行自身财务信息的披露，如：资产负债表、业务状况表等。利用银行的总帐数据，针对三大财务报表，根据财务管理的不同要求，分别设定不同的评价分析方式，进行财务指标的分析、利息收支分析、费用监控分析等。运用一致适当的资金转移计价及成本分配的方法论，获取真实反映客户行为对利润贡献度影响的详细数据，进行帐户贡献度的统计，并自下而上的统计和分析客户、机构、产品、渠道的贡献度，定义超越总帐之上的利润评估方法。基于盈利分析的基础，将市场风险、信用风险、操作风险进行资本的分配，并以此为基础计算股东附加价值(SVA)，以股东附加价值建立了一个衡量单位以确定任何的投资是否符合股东所需回报的基准；无二级功能，直接体现SVA值。建立关联模型，通过参数设置的调整，来进行财务数据的预算，并以此调整计划值；通过经营过程中监控计划的完成情况和年末计划执行结果的分析，反馈调整预算模型并建立起全面的财务监管体系。•财务预算•财务计划执行监控•执行过程分析•年末计划执行分析利用What-If的功能，建立业务量、收益的预测模型，并可以假设不同的经营状态下的收益状况。•业务规模预测•收益预测利用分户帐数据和内部