中国金融行业大数据应用市场研究白皮书-Intel

中国金融行业大数据应用市场研究白皮书赛迪顾问股份有限公司2013年6月（英特尔公司委托开展）中国金融行业大数据应用市场研究白皮书2一、金融行业大数据应用需求分析1、金融行业大数据应用背景2012年11月，“十八大”提出将金融改革列为未来十年发展的重中之重，中国主要金融企业也都制定了“十二五”发展规划，将依靠构建智慧型的数据分析体系（MIS）充分挖掘业务规律，以支持业务创新与服务创新。从未来发展看，中国金融行业在“十二五”时期将重点实现发展方式转型：一，中国金融行业将建立全面的风险管理体制，向严监管转型；二，从粗放式管理向精细化管理转型，信息化重点也将从业务信息化向管理信息化转变；三，从“利润为中心”和“保单为中心”向“客户为中心”转型。由此，未来几年中国金融行业的IT投资规模将会持续增长。2012年，金融行业IT投资规模为1105.78亿元，同比增长10.9%。“十二五”期间，金融行业IT投资将保持快速增长，预计到2015年，金融行业IT投资将达到1598.35亿元。图12011－2015年中国金融行业IT投资规模与增长997.11105.81247.31410.71598.39.1%10.9%12.8%13.1%13.3%0%5%10%15%20%05001,0001,5002,0002011年2012年2013年2014年2015年投资规模（亿元）增长率（YOY）中国金融行业大数据应用市场研究白皮书3数据来源：赛迪顾问，2013.06表12011－2012年中国金融行业IT投资结构(单位：亿元)2011年2012年同比增长银行664.07728.719.7%证券157.54180.2414.4%保险175.49196.8312.2%总计997.101105.7810.9%数据来源：赛迪顾问，2013.062、金融行业大数据应用需求分析需要可扩展性开放架构做支撑。大数据量必然要求金融企业IT基础设施更易于数据的整合与集中、扩展与伸缩，以及管理与维护，同时还必须具备良好的可靠性、可控性、安全性。近年来，随着x86架构CPU处理器制程、内部计算架构设计推陈出新，性能已逐渐赶上RISC服务器，同时，在稳定性、可用性及服务性也足以胜任海量数据对基础架构能力的要求，因此，具备高扩展性的开放架构正逐步成为金融行业应对大数据的优选方案。大数据在加强风险管控、精细化管理、业务创新等业务转型中将起到重要作用。首先，大数据能够加强风险的可审性和管理力度，支持业务的精细化管理。当前中国银行业利率市场化改革已经起步，利率市场化必然会对银行业提出精细化管理的新要求。其次，大数据支持服务创新，能够更好地实现“以客户为中心”理念，通过对客户消费行为模式进行分析（比如事件关联性分析），提高客户转化率，开发出不同的产品以满足不同客户的市场需求，实现差异化竞争。中国金融行业大数据应用市场研究白皮书4在高频金融交易、小额信贷、精准营销等领域加速推进。目前大数据应用已经在金融业逐步推开，并取得了良好的效果，形成了一些较为典型的业务类型，如高频金融交易、小额信贷、精准营销等。高频金融交易的主要特点是实时性要求高和数据规模大。目前沪深两市每天4个小时的交易时间会产生3亿条以上逐笔成交数据，随着时间的积累数据规模非常可观。与一般日志数据不同的是这些数据在金融工程领域有较高的分析价值，金融投资研究机构需要对历史和实时数据进行挖掘创新，以创造和改进数量化交易模型，并将之应用在基于计算机模型的实时证券交易过程中。小额信贷是另一个大数据应用领域，阿里巴巴和建行在2007年推出一个专注于小企业的贷款计划--e贷通，阿里巴巴拥有大量用户信息，并汇集了他们详细的信用记录，利用淘宝等交易平台掌握企业交易数据，通过大数据技术自动分析判定是否给予企业贷款；而建行坐拥巨额资金，希望贷款给无信用记录但发展势头良好的小企业。到2012年年底，阿里巴巴累计服务小微企业已经超过20万家,放贷300多亿元，坏账率仅为0.3%左右，低于商业银行水平。在精准营销方面，各大金融机构也纷纷开始行动。招行通过数据分析识别出招行信用卡高价值客户经常出现在星巴克、DQ、麦当劳等场所后，通过“多倍积分累计”“积分店面兑换”等活动吸引优质客户；通过构建客户流失预警模型，对流失率等级前20%的客户发售高收益理财产品予以挽留，使得金卡和金葵花卡客户流失率分别降低了15个和7个百分点；通过对客户交易记录进行分析，有效识别出潜在的小微企业客户，并利用远程银行和云转介平台实施交叉销售，取得了良好成效。中国金融行业大数据应用市场研究白皮书52012年中国金融行业大数据应用市场投资为2.98亿，其中银行投资占整体投资的41.1%，证券和保险分列二、三位。图22012年中国金融行业大数据应用投资结构数据来源：赛迪顾问，2013.06二、大数据应用案例1、中信银行信用卡营销实施背景：中信银行信用卡中心是国内银行业为数不多的几家分行级信用卡专营机构之一，也是国内具有竞争力的股份制商业银行信用卡中心之一。近年来，中信银行信用卡中心的发卡量迅速增长，2008年银行向消费者发卡约500万张，而这个数字在2010年增加了一倍。随着业务的迅猛增长，业务数据规模也急剧膨胀。中信银行信用卡中心无论在数据存储、系统维护等方面，还是在有效地利用客户数据方面，都面临着越来越大的压力。中信银行信用卡中心迫切需要一个可扩展、高性能的数据仓库解决方案，支持其数据分析战略，提升业务的敏捷性。通过建立以数据仓库为核心的分析平台，实现业务数据集中和整合，以支持多样化和复杂化的数据分析，比如卡、账银行,41.1%证券,35.1%保险,23.8%中国金融行业大数据应用市场研究白皮书6户、客户、交易等主题的业务统计和OLAP（联机分析处理）多维分析等，提升卡中心的业务效率；通过从数据仓库提取数据，改进和推动有针对性的营销活动。技术方案：从2010年4月到2011年5月，中信银行信用卡中心实施了EMCGreenplum数据仓库解决方案。实施EMCGreenplum解决方案之后，中信银行信用卡中心实现了近似实时的商业智能（BI）和秒级营销，运营效率得到全面提升。图3中信银行大数据应用技术架构图数据来源：赛迪顾问整理，2013.06Greenplum解决方案的一个核心的功能是，它采用了“无共享”的开放平台的MPP架构，此架构是为BI和海量数据分析处理而设计。目前，最普遍的关系数据库管理系统（如Oracle或MicrosoftSQLServer），都是利用“共享磁盘”架构来实现数据处理，会牺牲单个查询性能和并行性能。而使用Greenplum数据库提供的MPP架构，数据在多个服务器区段间会自动分区，而各分区拥有并中国金融行业大数据应用市场研究白皮书7管理整体数据的不同部分；所有的通信是通过网络互连完成，没有磁盘级共享或连接，使其成为一个“无共享”架构。Greenplum数据库提供的MPP架构为磁盘的每一个环节提供了一个专门的、独立的高带宽通道，段上的服务器可以以一个完全并行的方式处理每个查询，并根据查询计划在段之间有效地移动数据，因此，相比普通的数据库系统，该系统提供了更高的可扩展性。效益提升：2011年，中信银行信用卡中心通过其数据库营销平台进行了1286个宣传活动，每个营销活动配置平均时间从2周缩短到2-3天。并且市场活动中答应客户在刷满一定金额或次数后送给他们的礼品，可以在客户刚好满足条件的那次刷卡后马上获得，实现了秒级营销，而不必像之前那样等待好几个工作日。2011年的前三个季度，中信银行信用卡中心交易量增加65%，比股份制商业银行的平均水平高14%，比中国所有银行的平均值高4%。中信银行信用卡中心迄今已为客户进行了4000万次的信用额度调整。中信卡中心催收管理团队使用了基于数据仓库的FICOTRIAD系统后，信用卡不良贷款（NPL）比率同比减少了0.76%。中信银行信用卡中心电话销售中心将所有外呼营销历史整合到数据仓库，通过对大量历史数据分析后调整客户提取和营销策略，在上线后的第一个月便实现单位工时创收提升33%、笔均贷款额提升18%，目前银行正在开发针对每个产品的营销响应模型，以进一步提升产能。2、兴业证券客户综合分析管理系统实施背景：随着我国证券市场的日益规范和成熟，证券公司之间的竞争也日趋激烈。证券公司越来越注重对客户的有效服务，以及对营业部、经纪人的业绩管理，而现有的IT系统通常只是面向业务交易而设计的，随着市场竞争的日益激中国金融行业大数据应用市场研究白皮书8烈，越来越不能满足证券公司的决策分析需要。为了提升证券公司的客户服务及精准营销的能力，兴业证券采用大数据技术提升自身客户综合分析管理系统能力。技术实现：吉贝克针对兴业证券所面临的环境，采用数据仓库和数据挖掘技术，自主研发了证券公司客户综合分析管理系统，以满足证券公司日益深化的客户管理需求。图4客户综合分析管理系统功能架构图数据来源：赛迪顾问整理，2013.06中国金融行业大数据应用市场研究白皮书9图5客户生命周期服务管理数据来源：赛迪顾问整理，2013.06围绕客户维护生命周期，在不同的生命周期阶段采用有针对性的方式来降低客户流失率，如主动关怀、客户营销、流失预警挽留、销户挽留等。效益提升：采用了上述系统之后，数据加载速度明显提升，目前100万行数据入库仅需6-7秒，10GB的数据加载和导出也可以在5分钟内完成。同时，数据处理和查询的效率也显著提升，目前每天的数据处理时间基本控制在2小时以内。对于日常简单查询，在50条并发查询的情况下可以实现1秒内完成。对于长时间跨度、多条件的复杂查询，也能在5秒内完成。3、某国有银行用户查询系统应用背景：国有四大银行在中国的网点和用户数量非常多，特别是近几年来，金融业务的活跃程度大大提升之后，使得原有系统很难支持用户大范围的交易查中国金融行业大数据应用市场研究白皮书10询以及各个网点内部人员的交易查询。解决方案：英特尔和该国有银行进行合作，为它提出了基于ApacheHadoop软件的英特尔分发版的大数据解决方案。将它所有的交易数据实时增量导入这个平台，并且能够存放几年。交易数据查询可在0.1秒内完成（并发用户数达600）；交易数据增量处理每秒可达15万条，每天处理时间约4到5分钟；Hadoop还可以对于当中的所有交易数据进行批量的处理，定期账户批量处理9千万条不超出15分钟。该银行活期交易每年会产生130亿条数据（4.5TB），原有传统业务构架很难支持。但对于ApacheHadoop软件的英特尔分发版来说，可以达到秒级查询，可以轻松的支持这家国有银行的业务系统，甚至几年内可以非常平滑扩容支持将来业务的发展。三、金融行业大数据应用发展展望随着数据价值被越来越多的认可，尤其是在金融企业业务转型时期，基于数据的业务及内部管理优化使得金融领域的大数据应用市场规模在未来几年将以高于整体水平的速度增长。表22013－2015年中国金融行业IT投资结构预测(单位：亿元)2013年2014年2015年年均复合增长率银行812.01914.151027.7412.1%证券202.07226.54255.5212.3%保险233.25270.03315.0917.0%总计1247.321410.721598.3513.1%数据来源：赛迪顾问，2013.06中国金融行业大数据应用市场研究白皮书11图62013－2015年中国金融行业大数据应用规模与增长数据来源：赛迪顾问，2013.06从投资结构上来看，银行将会成为金融类企业中对大数据应用投资的主体，证券和保险分列二、三位。表32013－2015年中国金融行业大数据应用结构预测(单位：亿元)2013年2014年2015年年均复合增长率银行2.224.588.9393.8%证券1.994.258.56101.4%保险1.332.885.5898.8%总计5.5411.7123.0797.7%数据来源：赛迪顾问，2013.06和其它行业一样，金融行业也开始进入了大数据时代，数据将给这个行业带来深刻的变化，一些互联网厂商将凭借自身数据资