金融大数据解决方案

金融大数据案例金融大数据背景介绍1金融大数据案例简介2案例流程3案例结果展示与总结4数据显示，中国大数据IT应用投资规模以五大行业最高，其中以互联网行业占比最高，占大数据IT应用投资规模的28.9%，其次是电信领域（19.9%），第三为金融领域（17.5%），交通第四，政府和医疗分别为第五和第六。1金融大数据背景1.1金融大数据应用投资介绍从投资结构上来看，银行将会成为金融类企业中的重要部分，证券和保险分列第二和第三位。国内不少银行已经开始尝试通过大数据来驱动业务运营，如中信银行信用卡中心使用大数据技术实现了实时营销，光大银行建立了社交网络信息数据库，招商银行则利用大数据发展小微贷款。总的来看银行大数据应用可以分为四大方面：Part1银行大数据应用1.1金融大数据应用投资介绍Part2保险行业大数据应用1.1金融大数据应用投资介绍随着互联网、移动互联网以及大数据的发展，网络营销、移动营销和个性化的电话销售的作用将会日趋显现，越来越多的保险公司注意到大数据在保险行业中的作用。总的来说，保险行业的大数据应用可以分为三大方面：Part3证券行业大数据应用第一方面：股价预测第二方面：客户关系管理第三方面：投资景气指数1.1金融大数据应用投资介绍数据源数据采集与ETL数据存储数据分析数据可视化1.2国泰安金融大数据1.2国泰安金融大数据国泰安金融大数据实验室软件架构图包含了数据源、大数据采集与ETL、大数据存储、大数据分析与挖掘、大数据展示与可视化这五大模块。解决方案包括了国泰安金融行业数据，及金融行业相关的一些分析工具等。2国泰安金融大数据案例【案例主题】私募排排网金融数据可视化分析【案例目的】用数据采集工具从网络上抓取大量的金融数据，将抓取的大量数据保存到本地，然后采用数据可视化分析工具，将采集到的数据用图表的形式展现出来。【案例结果】利用大数据分析的手段将私募网上大量的金融数据用很快速的方式获取，并且将这些大量的复杂的数据，快速的通过图表方式展示出来，通过大数据分析手段可以轻松的看出各个不同策略的平均年收益情况比较，以及各个产品年收益情况表现等。随着互联网技术的增长和网络海量信息的增长，对信息进行针对性、行业性、精准性的获取成为一种越来越大的需求，这种获取数据的方式就是网络数据采集。网络数据采集的基本思想是：利用数据抓取软件对网页上的数据实现有针对性、行业性、精准性的抓取。2.1金融数据采集八爪鱼数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。2.1国泰安八爪鱼采集器2.1国泰安八爪鱼采集器1）范围广：全网通用，数据由用户自定义网页八爪鱼采集系统完整的数据2.1国泰安八爪鱼采集器2）性能高：云采集架构，可支持每天千万以上网页采集云采集集群(自动负载均衡，可动态伸缩，热插拔)中央控制终端用户2.1国泰安八爪鱼采集器3）功能强：能轻松应对IP封锁，验证码等各种防采集措施打开页面，点击网页元素输入用户名，搜索词等循环翻页，循环翻下拉列表，循环网址列表条件判断，分支处理，不同情况不同流程识别验证码精准提取网页任何信息对采集的数据做进一步处理可视化采集测试，动态流程修改，异常情况报警，……•内置自主知识产权的浏览器及网页定位解析引擎•内置智能流程引擎，自动生成采集流程•可以模拟人的所有操作过程2.1国泰安八爪鱼采集器4）使用简单：完全可视化流程操作，无需专业知识•模拟人的思维操作方式•模块化步骤，自由组合•鼠标点击拖拽•几分钟即可完成采集配置5）易扩展：可与各种系统自动整合对接通用数据结构及接口，支持任何异构平台调用2.1国泰安八爪鱼采集器2.2私募排排网数据抓取过程（一）首先登陆私募排排网站复制采集网址：（二）配置采集流程（分四步完成）2.2私募排排网数据抓取过程（三）开始单击采集或者开启云采集：单机采集过程：2.2私募排排网数据抓取过程云采集过程：（三）导出数据2.2私募排排网数据抓取过程3数据可视化分析大数据时代下，越来越多的数据被生产出来，人类采集数据的能力、运算的能力以及各种方法的出现，帮助我们处理这些庞大的数据集，同样的，为了更好地展示以及查看这些价值信息，数据可视化技术也在不断的发展，要求也不断提高。数据可视化的基本思想是：将大型集中的数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程。基本目的是：化繁为简，使数据变得更有意义，更容易理解。3.1数据可视化软件-tableauTableau是一款定位在数据可视化的商务智能展现工具。可以用来实现交互地、可视化的分析和仪表盘分析应用。3.1数据可视化软件-tableau简单易用极速高效美观交互的视图与界面轻松实现数据融合灵活的配置简便的管理3.2私募排排网数据可视化过程步骤一：金融数据导入将上一节中抓取的私募排排网金融数据结果导入tableau：【数据】-【新建数据源】-选择【Excel】3.2私募排排网数据可视化过程步骤二：进入工作表（1）以累计收益大于10的产品为例，设置可视化展示参数：将【产品名称】拖至【行】，将【累计收益】拖至【列】，从右边的“智能显示”中选择条形图；（2）将产品名称做筛选，在筛选器中选择筛选条件为：累计收益大于10；（3）然后将产品名称拖动至左边的颜色区，将累计收益拖动到标签上；（4）继续制作其他工作表。3.2私募排排网数据可视化过程步骤三：制作仪表盘新建仪表盘，将制作好的工作表拖动到仪表盘中，并且调整各工作表的位置。4可视化结果意义分析结果分析：该仪表盘包含四个图表，第一个表示八个不同策略在2015年的平均年收益情况；第二个图表表示年收益大于200%的所有产品；第三个图表表示2015年年收益排名前十的投资顾问；第四个图表表示所有投资顾问在2015年的年收益情况。4可视化结果意义分析总结：本案例主要针对私募排排网的金融财报数据做可视化分析，首先采用大数据采集工具--八爪鱼采集器，通过简单的流程配置并且配合云采集功能，从私募排排网上抓取各金融产品的年报数据；然后将采集到的金融产品数据导入tableau可视化软件，做可视化分析，最终形成数据可视化图表。THANKYOU