大数据分析平台总体架构方案

智慧金融：金融集团大数据分析平台总体架构方案议程2345金融集团管理分析类应用建设现状基本分析关注的内容存在的问题基本的现状商城数据仓库累积数据没有充分利用缺乏面向整个金融集团的统一、完整的数据视图；缺乏支撑金融集团日常业务运转的风险评估体系；缺乏金融集团客户360度视图，客户行为分析和预测无法实现；缺乏面向金融业务运营管理的关键绩效指标体系；……商城已建立面向整个零售业务的数据仓库，整合了前台业务运营数据和后台管理数据，建立了面向零售的管理分析应用；金融集团已开展供应链金融、人人贷和保理等多种业务，积累了一定量的业务数据，同时业务人员也从客户管理、风险评级和经营规模预测等方面，提出了大量分析预测需求；……数据平台、数据应用、数据管控……基础数据平台和BI应用建设是未来一段时间的重点！数据平台整体架构；数据平台各层建设的标准；较成熟的金融业数据模型；数据质量治理；元数据管理；数据标准建设数据整合；数据应用建设；数据平台的软硬环境……大数据分析平台建设目标外部非结构化数据0%100%200%300%400%500%600%2004年2005年2006年2007年2008年铁矿石焦煤统一制定目标和分析模型统一划分分析主题统一设计数据模式统一规划分析方法统一部署技术基础统一定义BI应用自定义报表工具行＋列的简单定义方式多种格式报表集团决策层集团职能管控层各级业务操作层BI分析工具供应链金融系统POP系统其他业务系统云数据推送平台已实现了主要零售及金融业务系统数据清洗、整合，为未来金融集团数据平台提供了丰富的数据源。通过数据平台和BI应用建设，金融集团将搭建统一的大数据共享和分析平台，对各类业务进行前瞻性预测及分析，为集团各层次用户提供统一的决策分析支持，提升数据共享与流转能力采购管理系统大数据分析平台建设预期收益2.加强业务协作实现分散在供应链金融、人人贷、保理等各个业务系统中的数据在数据平台中的集中和整合，建立单一的产品、客户等数据的企业级视图，有效促进业务的集成和协作，并为企业级分析、交叉销售提供基础3.促进业务创新金融集团业务人员可以基于明细、可信的数据，进行多维分析和数据挖掘，为金融业务创新（客户服务创新、产品创新等）创造了有利条件4.提升建设效率通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转变，提升相关IT系统的建设和运行效率5.改善数据质量从中长期看，数据仓库对金融集团分散在各个业务系统中的数据整合、清洗，有助于企业整体数据质量的改善，提高的数据的实用性通过数据平台实现数据集中，确保金融集团各级部门均可在保证数据隐私和安全的前提下使用数据，充分发挥数据作为企业重要资产的业务价值1.实现数据共享议程1345大数据分析平台总体架构历史数据查询数据交换平台应用集市数据区商城零售供应链金融人人贷系统基金系统……系统企业内外部半结构化、非结构化数据大数据交换组件数据库数据交换组件数据区数据交换组件数据计算层大数据区沙盘演练数据区数据应用层实时数据区客户主题协议主题产品主题业务沙盘演练数据增值产品零售数据供应链数据增值产品数据区主题数据区……用户访问层客户汇总账户汇总机构汇总……社交媒体移动互联用户评价访问日志处理后大数据待处理大数据流程调度监控告警数据标准数据质量元数据数据安全流程调度平台……数据管控平台流程调度层数据管控层数据产生层数据交换层实时数据查询客户管理财务管理……外部用户贴源数据区……内部管理分析内部用户历史归档数据区IT人员风险管理大数据分析平台总体架构——数据产生层内部业务系统产生的结构化数据商城日常零售业务处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信息、销售流水……金融集团日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、金融产品信息、交易流水……企业内部非结构化数据日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评……企业外部数据企业外部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息……源数据内容在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据商城和金融集团业务系统的数据增量数据识别、获取由云数据推送平台负责，云数据推送平台采用分析、对比源系统日志方式实现对于无法通过上述方式获取增量的源系统数据，则采用某一个时间范围内的全部数据作为增量初始数据加载均采用全量模式源数据增量大数据分析平台总体架构——数据交换层数据交换层设计目标传输组件是根据数据源存储的不同分类而设计的，本质是通过分析数据存储结构和数据存储库的特点来针对性的设计工具，以追求卓越的性能保证数据在平台内高速流转保证数据交换过程中不失真保证数据交换过程中不丢失保证数据交换过程安全可靠数据区数据交换组件数据库数据交换组件大数据交换组件金融集团系统数据服务层外部大数据商城系统Hadoop元数据云数据推送平台数据平台导入临时区数据平台导出临时区NAS存储ETL程序区大数据分析平台总体架构——数据交换层NAS存储Hadoop集群元数据区数据平台ETL数据处理程序区数据平台临时数据区存储数据平台各个Hadoop集群的元数据信息，如：HDFS文件系统元数据集团数据交换平台每日获取运输局推送平台提供的业务系统变化数据，暂存在NAS临时数据区金融数据平台加工计算结果返回给业务系统，暂存在NAS临时数据区数据平台ETL加工处理程序（数据压缩、数据加载、各数据数据处理等）统一存储在NAS集群指定目录，各接口服务器通过文件系统Link建立映射大数据分析平台总体架构——数据交换层大数据交换组件企业内部非结构化、半结构化数据，如：音频、视频、邮件、Office文档、抵押品扫描件等企业外部非结构化、半结构化数据，如：微博、贴吧、论坛、用户点击流、用户移动位置等批量采集：大数据源以SFTP协议批量传输数据文件在线访问：开发Java或C应用，调用大据源API，或以网络平台爬虫方式抓取源系统非结构化、半结构化数据组件以实时和批量两种模式实现下列功能：数据采集数据传输到数据交换平台（接口服务器）NAS指定目录存储数据到数据平台大数据区指定HDFS目录定时抽取用户访问日志，加载到数据平台大数据区HDFS指定目录，MR程序加工处理开发网络爬虫程序，扫描用户微博，抓取用户微博内容，社交圈信息，存入大数据区处理对象实现技术实现功能应用场景大数据分析平台总体架构——数据交换层数据库数据交换组件企业内部业务系统产生的结构化数据，包括两大来源：商城零售业务数据，数据存储在Oracle、SQLServer、MySQL和MongoDB四类数据库金融集团互联网金融业务数据，数据存储在MySQL数据库Perl程序数据采集，调用Perl文件模块相关函数，轮询指定目录，获取数据文件数据核查，Perl执行文件级数据质量检查数据加载，调用HiveLoad数据命令，加载到数据平台临时数据区的HiveTable组件以实时和批量模式实现下列功能：数据采集，轮询NAS集群指定目录，获取数据文件（LZO压缩）数据核查，对数据文件进行质量校验数据加载，加载数据到临时数据区云数据推送平台连接供应链金融系统数据库，分析供应链金融MySQL数据库日志，识别增量数据，存储到金融平台NAS存储的指定目录，金融平台加载数据文件到数据平台临时区Hive表处理对象实现技术实现功能应用场景大数据分析平台总体架构——数据交换层数据区数据交换组件数据平台计算层各数据区贴源数据区主题数据区集市数据区沙盘数据区大数据区归档数据区Sqoop实现集市数据区与数据平台其他Hadoop数据区的数据交换Hadoop命令、Hive外部表、MR程序实现数据平台Hadoop数据区间的数据交换组件以批量方式实现下列数据交换功能：贴源数据区和主题数据区到集市数据区大数据区到主题数据区和集市数据区主题数据区、贴源数据区、集市数据区到沙盘数据区各个数据区数据归档数据集市的数据按照据生命周期规划，统一将过期数据归档到历史数据归档区处理对象实现技术实现功能应用场景大数据分析平台总体架构——流程调度层批量处理流程批量数据处理由流程调度层部署的自定义开发WorkFlow组件调度运行整个流程主要完成如下工作：1.获取业务系统结构化数据，存入临时数据区2.获取企业内外部非结构化数据，并进行结构化处理，存入主题或集市数据区3.按照贴源数据模型整合数据（标准化、数据更新/追加）4.按照主题数据模型整合数据并生成汇总5.数据加工计算后，结果交付到数据集市，支持分析类应用大数据分析平台总体架构——流程调度层实时数据处理流程实时数据处理强调的是实时或准实时获取并处理数据，通常采取消息队列等技术构建“数据流”整个处理流程由流程调度层部署的自定义开发WorkFlow组件调度运行整个流程主要完成如下工作：1.通过数据库数据交换组件获取增量数据，加载到实时数据区2.通过大数据交换组件获取非结构化数据，并利用Storm处理数据，加载到实时数据区3.针对实时数据区数据执行标准化处理和贴源整合大数据分析平台总体架构——流程调度层归档数据处理流程数据归档的对象包括业务系统数据文件、贴源数据区数据、主题数据区数据、大数据区数据和集市数据区数据数据按照生命周期规划存储到归档区Hadoop集群，归档后原数据区删除此数据整个处理流程由流程调度层部署的自定义开发WorkFlow组件调度运行整个流程主要完成如下工作：1.数据文件通过HDFS命令行copyfromlocal进行归档2.贴源、主题和大数据区通过HDFS命令行distcp或自定义开发的MR程序执行归档3.集市数据区通过Sqoop或数据库提供的Hadoop集成技术（如：外部表）执行归档大数据分析平台总体架构——数据存储层业务系统前日增量数据缓存数据，支持后续ELT数据处理数据内容主要用途数据模型保留周期用户访问模式工作负载平台要求贴源数据模型保存最近7天数据贴源数据区和主题数据区批量作业访问无最终用户访问I/O敏感，连续小批量的数据抽取和加载少量量数据使用Hive的Load命令，大量数据使用MR程序与主题区/贴源区/集市区构成一个Hadoop集群（Hive）无单点故障，7×24小时+非工作日有限停机主题数据区、集市数据区和沙盘演练数据区批量作业访问无最终用户访问I/O敏感，日终批量ETL以ELT形式通过HiveSQL执行与主题区/贴源区/集市区构成一个Hadoop集群（Hive）无单点故障，7×24小时+非工作日有限停机贴源数据模型不保存历史业务系统前日快照数据和一段时间的流水数据数据标准化，为后续主题模型、集市和沙盘演练提供数据临时数据区贴源数据区大数据分析平台总体架构——数据存储层（续）企业内外部非结构化、半结构化数据采集并存储数据，进行结构化处理，最终得到结构化数据数据内容主要用途数据模型保留周期用户访问模式工作负载平台要求数据按照HDFS文件存储建议保留1年集市区/沙盘区/增值产品区/主题区/归档区批量作业访问少量高级业务人员进行大数据分析MapReduce分布式计算，半/非结构化数据的结构化处理（包括文本检索、语义分词、图像识别、音频识别等）与主题区/贴源区构成一个Hadoop集群（HDFS）无单点故障，7×24小时+非工作日有限停机集市区/沙盘区/增值产品区/主题区/高时效区批量作业访问业务人员执行历史数据查询MapReduce分布式计算，HDFS命令实现Hadoop集群内归档，Sqoop实现数据库归档，通过Hive提供历史查询独立的Hadoop集群（HDFS+Hive）无单点故障，7×24小时+非工作日有限停机数据按照HDFS文件存储数据文件按照