国家开发银行大数据实践经验分享v11-王浩

国家开发银行大数据实践经验分享王浩国家开发银行信息科技局2015年12月第2页/共32页目录第一部分大数据的产生与发展...............................................................第3页第二部分大数据在银行业的应用……………………………......第14页第三部分国家开发银行大数据建设实践............................................第22页第3页/共32页1.1大数据的产生BIGDATAWEBPB千TCRMTB千GGB千兆ERPEB千P不断增加的数据种类与复杂度用户生成内容移动网络短信、彩信舆情分析外部统计高清视频语音转换产品、服务log社交网络业务数据流用户点击流网络log营销历史A/B测试动态定价联署网络搜索营销行为目标动态过滤付款信息客户名单客户接触购买明细购买记录营销信息客户细分移动互联网云计算物联网社交网络数据的低成本获取与分布式存储(Hadoop)基于位置的服务内容分析万兆交换流计算科技的发展，特别是信息技术的飞速发展催生了大数据第4页/共32页1.2大数据的提出麦肯锡咨询公司“大数据”研究报告“Bigdata:Thenextfrontierforinnovation,competition,andproductivity”—McKinseyGlobalInstitute,May2011.最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡在2011年发布的研究报告——《大数据：创新、竞争和生产力的下一个新领域》之中，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。第5页/共32页1.3对大数据的理解大数据是指难以利用常规硬件环境和软件工具在用户可接受的时间内收集、存储、管理和分析的数据集，具有容量大、种类多、复杂度高、处理速度要求高等特征。大数据中的“大”不是最重要的，大数据会持续地演进，今天的大数据明天可能不再被认为是大数据，更重要的是企业如何掌握和运用这些大数据的能力，即通过不断创新思想方法和技术体系，获取更加全面有效的数据信息，深度挖掘分析数据价值，藉此获得生产和管理方式的优势，才能成为傲视群雄的领先者。大数据思想方法硬件资源系统架构交互渠道第6页/共32页金融服务·推出有针对性的市场营销活动和产品·提升客户服务水平·优化交易决策·合规·风险管理·欺诈侦测·提升债务回收率·创造新收入·用于制定战略规范TMT¹·以客户洞察为基础，提供有针对性的产品和服务，推出有针对性的广告·社交网络分析医疗·临床决策支持·分析结果比照·生命科学研究·最佳治疗方案·远程患者监控·新药预测性建模·个性化药物零售和消费品·需求预测·优化库存水平和补货·实时门店监控·店内行为分析·个性化交叉销售和追加销售·近乎实时的定价·渠道绩效衡量·客户洞察公共行业·欺诈防控·人口细分、定制行动·开放式数据项目支持·决策自动化公共事业/能源·需求预测和资产优化·预测性和防范性维护·灾难管理·智能电网·智能家庭·智能电表·欺诈侦测·一线团队增效·发电站点选择和资产设置工业品保险运输·以数据为本的产品设计·车间优化·灵活的供应链管理·以价值为本的设计·群包·“数字化工厂”，旨在实现精益化成产·通过产品传感器数据，优化服务·按实际使用付费的保险（PAYD²）·欺诈战略·专业小众产品和保险捆绑·客户知识·智能化保险续期·交通拥塞管理·车队/网络优化·实时停车位管理·动态化数据调整·基于地理位置的营销·社交细分社交媒介/其他应用·信心分析·价格对比服务+-数据强度1.4大数据对不同行业的价值第7页/共32页2011年3月11日日本大地震发生后仅9分钟，美国国家海洋和大气管理局(NOAA)就发布了详细的海啸预警。NOAA通过对海洋传感器获得的实时数据进行计算机模拟，制作的海啸影响模型出现在各大网站。1962年，经过“圣灰星期三”风暴后，美国陆军工程部和美国国家海洋与大气管理局共同建设了一个传感器监测系统，对兴风作浪的海洋进行监测。2005年，浮标上安装了更高端的传感器，用来监测海浪方向。2009年，系统再次升级，开始着手建立一个覆盖全美海岸线的精确海浪监测网络。这些传感器以分秒为单位，将数据源源不断实时传回。还记得《后天》里面那个场景？1.5大数据能做什么——传感器、智慧地球第8页/共32页通过对BBS、博客、微博中内容的分析，政府、企业和个人可以了解当前舆论情况，公众对待某一事物的看法。目前围绕这个产业，催生了一大拨的创新公司。通过分析15万条关于刘翔的微博，分词并析取出其中使用的字词。在分析中，我们发现，为刘翔呐喊助威的声音占了统治地位，然而也有微博用户激烈地批评刘翔。这是我们第一次能对如此数量的中国用户进行数据可视化和情感分析在所有关于刘翔的微博中出现的最显著的名词和形容词。结点越大表明越多人使用过这个词。两个结点离得越近表明它们一起出现在同一用户微博中的频率越高。我们在构造出的这个图中，可以非常明显地发现刘翔支持者所用的词语（右下）以及批评者所有的词语（左上）的巨大区别。1.5大数据能做什么——舆情监测、情感分析第9页/共32页电信行业、传媒业借助社交网络分析，对客户的通话数据、微博连接进行分析，能够识别出这部分“影响者”。社交分析并不是分析单一用户的通话记录和微博信息，而是分析各用户所处的社交网络。圈子识别关键成员识别传播影响分析重入网用户识别双机双卡用户识别六度空间理论关系强度分析1.5大数据能做什么——社交网络分析、微博营销第10页/共32页今年年初，美国一名男子闯入了他家附近的Target店铺（Target是一家美国零售连锁超市）。“你们怎么能这样！”男人向店铺经理大吼到，“你们竟然给我17岁的女儿发婴儿尿片和童车的优惠券，她才17岁啊！”店铺经理不知道发生了什么，立刻向来者道歉，表明那肯定是个误会。然而，经理没有意识到，公司正在运行一套大数据系统。一个月后，这个愤怒的父亲打来电话道歉，因为Target发来的婴儿用品促销广告并不是误发，他的女儿的确怀孕了。——《纽约时报》报道更多：反恐（万维信息触角计划与建言计划），库存管理（沃尔玛的RetailLink）、卖数据！大数据驱动市场营销、驱动成本控制、驱动产品和服务创新、驱动管理和决策的创新、驱动商业模式的创新。1.5大数据能做什么——客户特征刻画、交叉销售第11页/共32页美国：奥巴马政府3.29宣布“BigDataResearchandDevelopmentInitiative”将投入超过2亿美元推动大数据提取、存储、分析、共享、可视化等领域的研究，并将其与历史上对超级计算和互联网的投资相提并论中国：2015年06月24日,国务院办公厅发布《加强大数据运用的若干意见》，2015年8月31日国务院常务会议通过了《促进大数据发展的行动纲要》。新加坡：利用数据作为资源，将新加坡打造成全球数据管理中心计划未来5年，培养2500名数据分析专业人才新加坡正计划建立一个占地面积超过12公顷的数据中心园1.6各国政府高度重视大数据，上升到国家战略高度第12页/共32页数据管控金首饰原生矿非结构化数据结构化数据私有云公有云数据科学家技术专家业务专家人员角色主要技术大数据淘金过程云计算、物联网、移动互联网、社交网络……javaMapReduceSQL-MapReduce1.7大数据获取与挖掘分析过程数据描述预测模型查询引擎立方体可视化数据搜索数据发现内部非结构化数据Hadoop采集、存储、初加工探索、分析、再加工大数据仓库内部结构化数据传统数据仓库集中整合金矿粉模型实验室（沙盒）挖掘和分析、模型训练第13页/共32页目录第一部分大数据的产生与发展...............................................................第3页第二部分大数据在银行业的应用……………………………......第14页第三部分国家开发银行大数据建设实践............................................第22页第14页/共32页零售银行业务公司银行业务资本市场业务交易银行业务资产管理业务财富管理业务更好地了解客户，制定有针对性的行动方案个性化定价和交叉销售客户细分预见客户流失高效渠道管理为第三方总结深入洞察推出增值服务，提升忠诚度提供丰富实时的商业信息先进的模式和信号识别非结构化的数据挖掘个性化定价和交叉销售客户细分为第三方总结深入洞察推出增值服务，提升忠诚度为客户提供个性化定价个性化定价和交叉销售预见客户流失提供更具成本效益的财务建议风险管理确定违约模式完善评分算式智能化催收欺诈监测识别异常情况2.1大数据在银行业的潜在应用第15页/共32页1.可实现机会是指现状与100%钱包份额之间的差距，其中包括6%-40%的调整，充分考虑到因银行实际能力导致的在实际操作中的可行性。2.渗透率的分析方法是（可实现机会/集群的100%钱包份额），再划分为三段。2.2应用场景（1）–基于智能聚类的客户业务份额提升机会识别第16页/共32页外部因素同业利率定价市场资金供应量内部因素收益预期银行的利率定价客户属性特征资金量业务频度……客户群A成本约束客户群B根据存款业务的收益与成本约束，以及市场上同类业务的成本定价情况，对本行存款业务成本定价决策提供支持。客户综合价值考量银行间同业拆借利率、各家银行的存款利率、民间金融机构利率……f(a1,a2,a3,......)=Ma1=GDP,a2=CPI，a3=......2.2应用场景（2）–基于客户细分的差异化定价策略第17页/共32页宏观经济数据税务数据公用事业收费2.2应用场景（3）–风险管理第18页/共32页谁在说？在哪儿说？是赞扬？批评？中性？话题有多热？伴随时间发展，讨论热度的波动如何？对市场方向有何影响？2.2应用场景（4）–舆情监测分析第19页/共32页2.3大数据未来对银行业的影响以精准营销为主流业务以科技创新为驱动力以数据分析挖掘为决策智慧全景管理视图舆情分析高效支持新型城镇化建设全息360度客户视图客户消费习惯和行为特征深入分析更具针对性的精准营销和交叉销售实时反欺诈、反洗钱监测大数据驾驭能力以服务客户为经营中心对于银行业，大数据未来必将推动产品创新、业务流程、服务渠道、客户营销等生产方式以及组织结构、战略决策、管理制度、风险控制等管理模式的变革。全面推动产品创新生产方式变革管理模式变革第20页/共32页3.4大数据时代下未来银行的构想通过对大数据模型的计算和设计，整个银行体系就会变成基于数据收集、数据分析、数据建模的数据应用体系，加上货币，按照数据分析和挖掘结果，设计和提供金融产品、金融服务、授信额度，再通过现有的支付媒介，进行循环运行，就可构成未来的银行大数据模型支付媒介金融服务体系数据应用体系未来银行体系数据分析数据应用数据收集数据建模银行货币金融产品金融服务授信额度变化速度快有价值数据形式多样性数据量大网点支付网上银行电话银行第三方支付第21页/共32页目录第一部分大数据的产生与发展...............................................................第3页第二部分大数据在银行业的应用……………………………......第14页第三部分国家开发银行大数据建设实践............................................第22页第22页/共32页国家开发银行简介国家开发银行成立于1994年，是中国政府的开发性金融机构，致力于以中长期投融资服务国家战略，改善民生。国开行有“两基一支”（基础设施、基础产业、支柱产业）、民生金融、国际合作、