王闯舟-商业智能与大数据概述PPT71

商业智能(BusinessIntelligence)与大数据概述王闯舟2013/12/16于同济大学背景简介•1983.9-1990.12，同济大学电气工程系，自动控制专业，本科与硕士•1991.1-1993.1同济大学电气工程系自动控制教研室•1993.1-1994.7德国FESTO上海办事处•1994.7-2009.7美国AT&T公司、NCR公司、Teradata，在Teradata担任中国区副总经理和SeniorPracticePartner，负责华北与华东地区的ProfessionalService•2009.7-2011.8，东南融通系统工程有限公司，负责其商业智能事业部的技术管理工作•2011.8-目前，文思创新(Vanceinfo)、文思海辉(Pactera)，负责其商业智能解决方案业务线从1996年开始专注于商业智能、数据仓库领域的咨询与项目实施服务，主要为金融、电信行业的客户提供商业智能解决方案，包括数据仓库基础平台、CRM、风险、运营管理、财务管理等领域2TOPIC商业智能的应用示例1数据仓库解决方案架构23进入大数据时代4Q&A3什么是商业智能BusinessIntelligence1.商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。商业智能是对商业信息的搜集、管理和分析过程，目的是使企业的各级决策者获得知识或洞察力（insight），促使他们做出对企业更有利的决策。2.商业智能不是什么新技术，它只是数据仓库、OLAP和数据挖掘等技术的综合运用。3.数据仓库（DataWarehouse）是一个面向主题的（SubjectOriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持管理决策(DecisionMakingSupport)---数据仓库之父BillInmon,“BuildingtheDataWarehouse”（1991）4BI应用案例：管理驾驶窗5BI应用案例：客户获取事例：争夺铁通的用户实施者：中国电信某地区公司市场部使用应用名称：数据仓库内结算话单步骤：1、对当月所有用户的结算费用进行排序，发现电话号码96368的结算支出排名最高，查询之前各月份，它的排名也最高，最近一年每月平均结算支出为3390元。2、查询96368的用户资料为当地一烟草公司客服号码。3、从数据仓库提取其结算话单，统计其与各个运营商之间互通的情况，发现其与铁通的用户互通较多，造成结算支出较大。6BI应用案例：客户获取4、针对铁通经营的同样是固定电话，电信的产品完全可替代的特点，派单给大客户服务部，要求大客户经理说服烟草公司把它的分销商的电话全部转为电信电话。5、通过一系列综合的营销手段，成功把烟草公司分销商转换为电信用户成效：•铁通1842个用户转为电信用户•按门面电话的最低ARPU40元/月计算，月创收7.37万元，年累计创收88.42万元7BI应用案例：数据仓库效益（国内某股份制银行）实施前实施后营销名单获取时间4-6Weeks1Day业务及客户统计报表产生速度4-6Weeks1Day绩效分析能力N/A１天～1周客户可接触率15%30%＋一年能执行营销活动数量1050+活动平均反馈率无法评估8-30%活动回报率无法评估Upto60%无，贷款容易有风险强大客户单一视图能力8BI应用案例：在市场营销的应用（某银行信用卡中心）•基于数据仓库的客户关系管理系统，从了解客户或客户细分开始，在制定各种客户／产品／渠道的营销管理策略时提供决策信息支持，计划、执行并管理各种行销活动。CRM在银行卡管理中提供新卡获取、客户挽留和交叉销售的功能，有力推动银行卡业务快速发展。Ad-hocqueryRawCustomerListAd-hocqueryRawCustomerListAd-hocqueryRawCustomerList优化客户名单CallCenterSMS直邮－客户获取营销邮件，依据分行及目标客户类型而有不同数据仓库2。营销活动定义、名单进行去重、频率规则的限定和过滤1。初始客户名单通过Brio从数据仓库中筛选出来，并导入TCRM中4。渠道应用接触目标客户，传送促销信息5。数据仓库监控客户开卡事件6。使用Brio分析营销活动成功率3。名单和相应营销信息传送给不同的渠道系统直邮分行CRM系统的主要模块：分析模块沟通管理个性化模板与规则交互：营销渠道整合(callcenter/SMS/Email)最优化：营销评估和优化CRM投产之后，已经执行了170多个营销活动，由于实现了目标客户营销，平均每个营销活动的目标客户从百万级降低到10万，乃至5000-1000之间，所以营销成本比系统投产前降低了90%以上。投资回报：9BI应用案例：客户挽留（某银行信用卡中心）07年10月的预测评分结果显示流失概率50％以上的客户为93975人；在流失概率50％以上客户中，其中3％的客户贡献86％利润；在挽留客户的营销活动中，将主要的资金和资源用在3%高价值客户上，可节省97%的营销成本，而得到86%的效果；流失概率50－60％的客户贡献度分布：投资回报：10BI应用的背后111.支持前述类型应用的最佳实践是构建企业级数据仓库EDW（数据平台），通过一定的数据模型来整合企业内的各种数据，并在此基础之上构建相关的分析型应用2.这些应用很难在企业原有的OLTP系统（以交易或者流程为主）上实现，如果没有数据仓库，也可以通过手工或者半手工的方式来实现，但非常麻烦，很难重复使用3.BI系统主要通过数据分析来发现数据之间内含的业务规律，其负载类型和负载特征与OLTP系统有很大的差异，一般都需要建立物理独立的系统，并采用适合BI负载环境的专门技术平台---一般都是以基于MPP（MassiveParallelProcessing）技术的数据库引擎为基础4.目前国内主流的MPP平台有：DB2,Netezza(IBMPuredata),OracleExadata,Teradata,EMCGreenplum(Pivotal),HPVertica,SAPHANA.Microsoft也推出了它的MPP数据库一体机TOPIC商业智能的应用示例1数据仓库解决方案架构23进入大数据时代4Q&A12数据仓库解决方案整体框架数据管控（元数据管理，数据质量管理，数据标准管理）知识库源1源2源n任务处理日志文件侦测器日志执行ODS层基础数据层公共分析层应用集市层固定报表多维分析领导驾驶舱Portal(访问控制/统一认证）数据安全运行监控备份恢复业务用户运维用户源数据层ETL层数据仓库业务应用访问控制用户层加载/导出EOD数据总线数据挖掘原始层标准层加工层源系统卸数至文件服务器数据缓冲区企业级数据仓库基础平台将采用模块化、参数化的功能设计方式，提高了系统运行的稳定性并有效的降低实施成本和风险。13EDW体系架构应用体系应用主题·应用模式·应用方案·实施规划数据体系数据架构·近源层·基础层·汇总层·集市层技术体系统一交换·统一监控·统一调度·统一发布·统一管控运维体系日常监控·故障处理·备份恢复·系统安全组织架构·管控流程·管控内容管控体系从应用体系、数据体系、技术体系、运维体系和管控体系五个方面阐述数据仓库整体架构14应用体系—特定主题的应用15国内外先进银行总结提炼了一套数据仓库业务应用框架，包括了客户管理、运营管理、风险管理、财务管理、监管与信息披露五大支柱的几百种应用，为金融机构的数据仓库项目建设和推广应用提供了极好的借鉴。客户管理客户获取与挽留客户细分与价值提升交叉销售/向上销售事件驱动营销营销活动管理与优化客户生命周期管理风险管理合规与信息披露资产负债管理金融犯罪识别信用风险市场风险操作风险财务管理财务绩效管理资本配置与管理法规遵从与报表产品捆绑与定价财务管理流程优化运营管理交易渠道管理销售渠道管理渠道迁移与流程优化绩效考核与报表产品开发与定价资源规划与管理监管与信息披露1104报表信息披露报表15应用体系—数据应用规划参考16跨领域的应用平台客户管理类应用风险管理类应用运营管理类应用财务管理类应用监管与信息披露类应用零售CRM对公CRM客户营销管理系统即席查询平台数据挖掘平台报表服务平台•满足总分行临时数据需求•支持业务人员进行业务探索•客户聚类分析•产品购买关联分析•客户流失概率模型•行为评分模型•申请评分模型•……•财务报表•风险报表•监管报表•个人客户报表•对公客户报表•总帐报表•考评报表•产品报表1104监管报表信息披露报表新资本协议应用群资产负债管理人行征信人行反洗钱特别关注客户信息系统关联方信息查询系统关键经营指标分析系统管理会计系统人行集中金融统计风险准备金计提客户利润贡献度计算贵宾服务系统客户积分计算客户经理绩效考核分行绩效考核渠道分析中间业务分析产品绩效分析内部财务信息分析定价系统个人客户内部评级境内机构网络布局优化评估战略性业务指标人行支付报表分行分润国家外管局监管报表高端客户理财报表技术缓存层近源模型层整合模型层共性加工层应用集市层数据仓库仓内集市仓内集市仓内集市仓内集市仓内集市仓内集市…仓外集市仓外集市仓外集市仓外集市仓外集市…应用集市16随机查询–具有IT和业务两方面的知识和技能，进行任意数据探索和查询，回答各种未预先定义的业务问题。数据挖掘–在灵活分析的基础上，对某些业务问题进行数据属性的提炼和归纳，如“评分模型”、“违约模型”、”细分模型”等。应用系统–支持复杂业务逻辑的应用系统，包括营销活动管理平台、ALM、利润贡献度、平衡计分卡等。实践表明，应用系统的开发离不开需求的成熟和稳定，只有通过大量的灵活分析和数据挖掘的应用，才能形成成熟稳定的应用需求，反之，应用系统在业务中的大量使用，又会促进分析人员更加深入、有效的分析探索数据。数据挖掘(Modeling)应用系统随机查询(Ad-hoc)固定报表固定报表–以固定模式回答简单、常规的业务管理、统计类问题。应用体系—应用模式17数据仓库数据挖掘的流程取样评估与确认模型化、数据探索与转化清洗数据与预处理找出并了解业务问题部署到数据仓库知识建模前的预处理通过样本组来建立预测模型通过对照组与行动组的比较，评估模型的精准性；通过行动组与不行动组的比较，评估执行环节的优劣。18应用体系—应用规划考虑维度IT部门除了考虑数据质量、数据可用性、投资预算规模之外，更重要的是考虑应用实施能否满足业务用户目前收益心理预期等因素，要想的大（全面，具体，全局观）。数据仓库建设规划，要分步骤进行实施，起步从小做起；不同业务部门对业务应用的优先度要求不同，必须综合考虑不同部门对业务应用的策略价值和投资回报评价，形成初步的规划后，再经数据仓库管理委员会讨论确定。数据仓库建设规划，通常从以下三个方面进行评估：实施难度：IT部门评估策略价值：决策层评估投资回报：应用部门评估业务应用实施难度策略价值投资回报事件和营销活动管理535目标市场营销596客户挽留632客户净值提高298客户获取721销售绩效和报告366绩效管理671分销渠道优化525产品开发和包装846合规与披露(BaselII)1073绩效衡量和资本分配(RAROC)766信用/市场/操作风险分析和优化933额度动态监控和担保品管理521防欺诈和反洗钱376财务报告与分析改进114数据分析体系架构和建模69819IncreasingQueryandWorkloadComplexityIncreasingDataDetail,Volume,Integration&SchemaSophisticationBI应用模式的类型与发展ContinuousUpdate&TimeSensitiveQueriesBecomeImportantOPERATIONALIZINGWHATIsHappening?EventBasedTriggeringTakesHoldACTIVEWAREHOUSINGMAKINGithap