金融行业的大数据应用案例及解决方案

1目录来自Connotate的解决方案..........................................................................................................2金融数据聚集...........................................................................................................................2金融行业应用...........................................................................................................................2金融行业应用案例-华尔街个案.............................................................................................4用户案例：FactSet................................................................................................................5Conotate功能介绍：.....................................................................................................................6来自Datameer的解决方案............................................................................................................8大型零售银行...........................................................................................................................8金融机构...................................................................................................................................8Datameer简介.................................................................................................................................9来自Syncsort的解决方案..........................................................................................................13Syncsort为金融服务行业提供的解决方案........................................................................13Syncsort的产品介绍...................................................................................................................152来自Connotate的解决方案金融数据聚集每天，所有的政治事件、金融行业动态、企业动态和其他的市场动态都会发布到网上。实时地监控和了解金融行业的动态对于占领和稳固金融数据的市场份额是必不可少的。速度和精准度是最关键的。自动化Web数据监控和抽取功能，大大方便了金融数据提供商持续的跟踪各银行、客户金融服务网站和世界各地的新闻、企业新闻、政府新闻和媒体新闻，并向其用户推送所需的信息，自动化监控的解决方案能够做到：通过监控市场动态，利用内部变化监控和关键字搜索方式，提供实时的更新报表通过复制收集的数据和减少数据上传时的人工干预，大大提高了数据的精准度通过选择性数据推送功能，向特定的管理员发出提醒，告知用户哪些企业网站、新闻门户和政府网站有重要的改变通过增加对金融文件的监控力度（自动化抽取），大大减少了成本通过从世界各网站中收集精准的数据（语言不限）并转换成结构化数据，大大提高了数据收集的广度通过一些指标性特征使管理人员迅速调整监控个抽取的目标数据，提高商务和管理的灵活性有了Web数据自动化监控和抽取的Connotate，管理人员和分析人员可以收到关于数据更新的报告，无需再依赖易于出错的人工方式和繁琐的脚本语言处理工具Connotate自动化监控所有数据源的数据，如银行网站等，下载PDF文件并把Web页面转化为Excel、XML或者适用的文件格式ThomsonReuters（路透社）、DowJones（道琼斯）、FactSet和其他世界各主流金融数据商都新来Connotate，用Connotate进行数据监控和抽取。金融行业应用信息和内容随时可以在Web上获得，随着其价值的增加，对相关的信息内容做出及时的措施、分析和加快决策就越来越显得重要。有了Connotate的帮助下，投资者和分析师可以针对企业和部门的表现有更加深刻的认识，即使在市场看来并不是很明显的表现。Connotate的必杀技在与不断的标记来自Web上部门和政府的变化数据、新闻信息、诸如价格、库存、产品供应水平、生产力和招聘人员活动等操作数据，和各种能够帮助预测分析的指标。3现在，从Web上精准的收集数据并进行数据分析成本是很高昂的。如今Connotate的自动化数据抽取和分析不仅为用户大大减少了成本而且其操作也是非常简易的—即使不是专业的编程人员或者IT架构人员也可以进行部署和操作。详情见下文：支持买卖双方的决策—通过抽取一系列操作数据来加速对整个季度的趋势分析对市场变化的反应更加灵敏—通过实时地监控市场动态为研究调查加大深度—通过锁定需要监控的数据源加速产品上市—通过监控市场异常和机遇利用Web数据支持研究调查，以增加调查的质量和效率。Connotate优越的自动化数据监控和抽取的解决方案能够让用户实时地发现公共资源的价值，大大增加其透明度以更好的支持研究调查和投资决策。过去使用Web爬虫的用户，会发现要花费很大的精力对收集的数据进行处理后，数据才会有意义。与Web爬虫工具不同的是，Connotate能够抽取Web数据并转换为结构化数据格式（CSV、XML、XLS等格式）Connotate使用户不必等待季度报表或者成本昂贵的消费研究调查来进行投资决策。Connotate使用户对数据抽取拥有最大的控制权。无论数据集的保存期限是几天、几周、还是几个月，用户都可以精准地定位需要的数据，并获得实时的洞察。4金融行业应用案例-华尔街个案Connotate使用户对市场部门个体股票的微小动态都了如指掌，获得支持买方购买的可行性洞察。华尔街一家投资机构欲更好地了解个别企业、企业产品销售情况和市场部门的微妙动态，其选择是是实时地收集操作数据，其目的是为了应对瞬息变化的股票市场做出更好的投资决策。随之电子商务的大兴崛起，除了纯粹惯例地发布数据和季度报表，该企业抽取了不同企业、电子商务平台、博客和社交平台网站（Amazon和Crunchbase等）上的Web数据。该企业选择了Connotate实地部署的解决方案，在几周内就设定好预访问的网站，抽取营销活动、价格数据、库存情况和客户偏好选择等的数据。利用这些数据为相应的金融趋势、金融活动和金融观点建立模型。在过去的一年里，该企业在Connotate的帮助下，在股票市场上获得了额外的一百多万美元的收益。Connotate实地部署能够使数据分析更加灵活简易了，更易于调整，更易于管理、查询和定位。Connotate在电子商务上网页内抽取关于营销活动和库存情况的数据，然后只推送与上次抽取的数据相比有变化的数据—提供了清晰明了的定位信息。Connotate将抽取的数据转换和推送结构化数据，如CSV文件；将重点数据推送到分析应用程序中进行趋势分析“Connotate的解决方案为我们提供了产品价格、库存情况、广告话费、转换率、订单情况和其他重要的非结构化数据信息，而这些数据（用其他工具）是很难抽取的但是却是很有分析价值的。”---JasonJones，对冲基金投资组合经理5用户案例：FactSetFactSet在世界各地的成千上百个网站中收集数据，并向其金融行业的用户推送数据，支持他们更好地做出投资决策。FactSet的客户要求数据是精准、实时和完整的。随着Web数据量的不断增加，FactSet也在寻求能够加快数据抽取自动化程度的工具。由于其业务的不断扩大，FactSet分析师更多对更新数据有更大的需求。在使用Connotate之前，FactSet使用的是一种Web监控工具（带有少许的过滤功能）；一般分析师收到的35%的提醒信息是有效的。因此，FactSet希望能够提高其数据抽取的效率并简化工作流。自从选择了Connotate之后，数据提醒的有效率从35%上升到90%。•FactSet选择的是Connotate的实地部署解决方案，他们利用下拉式菜单和便捷式点击页面管理和设置了成千上万个webAgents(Connotate数据抽取的工具)•Connotate使FactSet能够访问到一些没有宽带的偏远地方的数据•Connotate使FactSet在无需增加管理人员的数量的同时增加企业监控数量Connotate抽取的数据比我们之前使用的那套工具精准多了，推送的数据更加可靠、精准和便于使用。--ChrisClifford，FactSet的信息创建经理说道6Conotate功能介绍：Connotate利用机器学习自动生成的高效代码和辅助配置，其数据抽取的工具称为Agent。在Agents的指引下，用户能精准地获得需要的信息—Connotate在过滤了广告和无关信息的同时，将非结构化数据转化成为支持业务流程的可读性数据。Connotate的解决方案相比于网页脚本工具要优越得多，由于网站格式不断变化，修整是一项很重要的工程，Connotate的解决方案具有较强的适用性。各网站都在不断地更新。优化解决方案，不但是为了精准地检测网页内容的变化，而且是为了更有效率地提高推送信息。过滤垃圾信息和删除重复数据可使工作流取得更大成效。7部署选项Connotate能够满足用户的业务之需，并且适应今后的发展和变化。而且，Connotate能够提供灵活实用的解决方案以满足用户具体的业务需求。详情请访问：=18来自Datameer的解决方案大型零售银行为了量化资产风险和遵守监管报告的要求，如多德-弗兰克法案，这家一流的零售银行正在使用Datameer来验证数据的准确度和质量。银行贷款和分支数据以及财富管理数据集成，数据质量的举措是负责确保每一条记录是准确的。这个过程包括对数据超过50个数据的理智和质量检查。这些检查的结果，随着时间的推移的趋势，以确保数据损坏和数据域的公差不改变不利和被报告给投资者和监管机构的风险状况，审慎和符合监管要求。Datameer之前，该银行采用Teradata和Netezza公司和建设数据集市，以分析数据的质量，使用他们的SAS应用。这个过程是耗时和复杂，数据集市的做法没有提供数据的完整性需要确定整体数据质量。金融机构为了提高客户保留和