第十五讲大数据解决方案介绍93

第十五讲-大数据解决方案介绍大数据解决方案数据无处不在任何时间，任何地点，任何事情，任何人?Anytime，anywhere，anything，anyone?休息中，随意刷微博爬山时，记录每一瞬间旅途中，处理公司事件工作时，实时掌握市场动态大数据时代已经来到每分钟都有大量数据产生1min486笔订单（2012年11月）7.3万笔交易数（2012年双11）1.1GB文件下载9.5万条微博发送14万张照片上传70TB处理数据企业大数据势不可挡Web3.0时代，社交媒体网站数据出现井喷式激增，截至2013年3月底，新浪微博注册用户数增长到5.36亿，日均活跃用户数达到4980万，每日新增微博约2亿。企业在大数据时代，面临文化、战略、组织、流程、信息化、公共公关系、人才培养方方面面的挑战，同时也迎来重大的转型机遇和飞跃契机。大数据的特性价值Veracity体量Volume多样性Variety速度Velocity68%31%大数据包括结构化数据和非结构化数据，邮件，Word,图片，音频信息，视频信息。最新研究报告，到2020年，全球数据使用量预计暴增44倍，达到35.2ZB。沙里淘金，海量业务中寻找价值。1秒定律，实时获取所需要的数据，为决策提供依据。企业大数据的挑战业务数据的映射提取大数据价值大数据隐私大数据分析大数据和云计算的关系商业模式驱动应用需求驱动云计算改变了IT,而大数据则改变了业务云计算是大数据的IT基础，大数据须有云计算作为基础架构，才能高效运行通过大数据的业务需求，为云计算的落地找到了实际应用大数据市场分析12011年-2016年中国大数据市场规模2各行业大数据市场规模政府、互联网、电信、金融的大数据市场规模较大，四个行业将占据一半市场份额。由于各个行业都存在大数据应用需求，潜在市场空间非常可观。2011年是中国大数据市场元年，一些大数据产品已经推出，部分行业也有大数据应用案例的产生。2012年-2016年，将迎来大数据市场的飞速发展。2012年中国大数据市场规模达到4.7亿元，2013年大数据市场将迎来增速为138.3%的飞跃，到2016年，整个市场规模逼近百亿。2012/122012/12大数据基础架构要求可预测的低延迟高事务参数灵活的数据结构获取组织分析决策高吞吐量就地准备所有数据源和结构深度分析敏捷开发高度可伸缩性实时流数据运营影响大数据的解决方案体系Oracle解决方案体系IBM大数据解决方案体系SAP大数据解决方案体系大数据解决方案，以数据融合、综合处理为方向大交易数据大交互数据大交易融合大数据处理企业供应链消费者SNS互联网物联网移动终端OLTP实时交易处理OLAP实时分析处理SOCIALMEDIADATAOTHERINTERACTIONDATAMachine/DeviceSensors/meters/RFIDtagsCDR/mobileSD，MM，PP，SD，FICO。。。大数据解决方案基础架构门户泽佳大数据平台快速、可靠大屏幕电脑桌面电子邮件SCMCRMERP数据分析人员办公软件移动终端安全，部署，管理灵活体系MESPDM大数据解决方案整体架构企业内外部协同（供应商+企业内部+客户+银行+税务+政府+社区+…)外部信息（社交+电商+移动+视音频+…)开放式API和协议通用的设计和模型环境通用数据管理环境交易数据管理社交数据管理移动数据管理主数据管理内存数据管理企业数据仓库管理数据存储数据获取数据组织数据分析数据展现无线数据管理信息管理和实时数据迁移联合访问实时大数据平台门户数据分析电子邮件办公软件大屏幕电脑桌面移动终端企业级报告工具Adhoc即时查询例外分析非结构化数据探索预测与挖掘大数据解决方案体系数据多样性模式动态模式HDFS分布式文件系统Hbase分布式列存储系统SybaseESP事件流处理器HdoopMapReduceBigDataConnectorsYounghongBI获取组织分析决策复杂场景处理实时决策ETLEDW大数据应用主要技术—Hadoop据IDC的预测，全球大数据市场2015年将达170亿美元规模，市场发展前景很大。而Hadoop作为新一代的架构和技术，因为有利于并行分布处理“大数据”而备受重视。ApacheHadoop是一个用java语言实现的软件框架，在由大量计算机组成的集群中运行海量数据的分布式计算，它可以让应用程序支持上千个节点和PB级别的数据。Hadoop是项目的总称，主要是由分布式存储（HDFS）、分布式计算（MapReduce）等组成。Hadoop体系架构MapReduceHDFSHBasePigChuKwaHiveZooKeeperPig是一个基于Hadoop的大规模数据分析平台，Pig为复杂的海量数据并行计算提供了一个简易的操作和编程接口。Chukwa是基于Hadoop的集群监控系统，由yahoo贡献。Hive是基于Hadoop的一个工具，提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。ZooKeeper：高效的，可扩展的协调系统,存储和协调关键共享状态。HBase是一个开源的，基于列存储模型的分布式数据库。HDFS是一个分布式文件系统。有着高容错性的特点，并且设计用来部署在低廉的硬件上，适合那些有着超大数据集的应用程序。MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算大数据解决方案特点泽佳大数据解决方案提供高速、低速两种互联解决方案，在节点间能够建立起40Gb的互联通路，彻底消除系统节点间通信的瓶颈。高性能高可扩展性高可靠相比较传统的数据库集群，泽佳大数据解决方案具有良好的可扩展性，随着数据节点的增加，系统整体性能接近线性增加。同时数据节点可以在系统运行中动态添加，对系统不会造成任何影响。因此企业可以根据自身业务需要，动态添加数据节点，当业务量较小时，配置较少的数据节点，随着业务量的逐渐增多，添加相应的数据节点，从而满足自身业务量增长的需求。泽佳大数据解决方案能自动地维护数据的多份复制，并且在任务失败后能自动地重新部署（redeploy）计算任务。同时消除系统单点故障，系统中任意一个部分出现故障，系统将自动进行切换，保证用户应用的无缝连接，具有较高的稳定性和可靠性。大数据行业应用分析应用可能性电信政府（公共事业）交通金融医疗教育能源（电力/石油）纵轴契合度：表示该用户的IT应用特点与大数据特性的契合程度；横轴应用可能性：表示该用户出于主客观因素在短期内投资大数据的可能性；注：该位置为分析师访谈的综合印象，为定性分析，图中位置不代表具体数值HighMidLowLowMidHigh优先关注行业用户应用特点与大数据技术有较高的契合度，在主客观条件上也有较高的应用可能性。值得关注行业用户应有特点与大数据的契合度及应用可能性综合较高适当关注行业用户两个维度暂时都不具备优势，可适当给予关注互联网（电子商务）契合度流通零售制造互联网行业大数据需求分析网络终端设备•网络技术的升级和终端设备的爆发，使今天的用户能够使用多种设备、从不同位置、通过多种手段来接入互联网，并在这一过程中不断创造新内容在线应用和服务•越来越丰富的在线应用和服务，不断激励用户创造和分享信息，尤其是社会化媒体业务，带动图片、视频等非结构化数据飞速增长与各垂直行业的融合•互联网作为一个高渗透力的行业，正在与各垂直行业发生深度的融合，原本隐藏于先下的孤岛信息，源源不断的输入到线上。互联网行业拥抱大数据的关键因素互联网大数据技术的应用，会首先带动社会化媒体、电子商务的快速发展，其他的互联网分支也会紧追其后，整个行业在大数据的推动下将会蓬勃发展。互联网行业对数据实时分析要求较高，例如广告监测、B2C业务，往往要求在数秒内返回上亿行数据的分析，从而达到不影响用户体验和快速准确营销的目的。目前互联网企业面对大数据，会普遍感觉到实时分析能力差、海量数据处理效率低、缺少分析方法、分析软件能力差等问题。互联网行业大数据分析面临的主要问题互联网行业Hadoop应用公司具体应用HADOOP在阿里巴巴用于处理商业数据的排序，并将其应用于阿里巴巴的ISEARCH搜索引擎，垂直商业搜索引擎。节点数：15台机器的构成的服务器集群服务器配置：8核CPU，16G内存，1.4T硬盘容量HADOOP在百度HADOOP主要应用日志分析，同时使用它做一些网页数据库的数据挖掘工作。节点数：10-500个节点。周数据量：3000TBHADOOP在Facebook主要用于存储内部日志的拷贝，作为一个源用于处理数据挖掘和日志统计。主要使用了2个集群：一个由1100台节点组成的集群，包括8800核CPU（即每台机器8核）,和12000TB的原始存储(即每台机器12T硬盘),一个有300台节点组成的集群，包括2400核CPU（即每台机器8核），和3000TB的原始存储(即每台机器12T硬盘),由此基础上开发了基于SQL语法的项目：HIVEHADOOP在TWITTER使用HADOOP用于存储微博数据，日志文件和许多中间数据使用基于HADOOP构件的Cloudera'sCDH2系统，存储压缩后的数据文件（LZO格式）HADOOP在雅虎主要用于支持广告系统及网页搜索机器数：25000，CPU：8核集群机器数：4000个节点(2*4cpuboxesw4*1TBdisk&16GBRAM)金融行业大数据需求分析金融行业大数据发展分析IDC研究显示，数据是重要资产的理念已经在中国金融行业形成共识，数据的真正价值在于能够洞察企业内部规律，数据的洞察力成为金融企业的核心竞争力。在中国金融行业信息化建设中，与信息加工密切相关的大数据管理正逐渐成为与核心业务系统建设、渠道建设和前置建设同等重要的领域。经过多年的发展与积累，目前中国的大型商业银行和保险公司的数据量已经达到100TB以上级别，并且非结构化数据量在迅速增长。金融行业大数据需求背景从未来几年看，金融行业在“十二五”时期面临发展方式转型的挑战，转型主要集中在三大方面：一，建立全面的风险管理体制，向严监管转型；二，从粗放式管理向精细化管理转型；三，从“利润为中心”向“客户为中心”转型。大数据在加强风险管控、精细化管理、服务创新等转型中别具现实意义，是实现向信息化银行转型的重要推动力。金融行业应首先在战略层面对大数据进行规划，积极应对大数据时代的挑战，推进并建立数据驱动型发展方式。摩根大通基于Hadoop的大数据应用已经开始使用Hadoop技术以满足日益增多的用途，包括诈骗检验、IT风险管理和自助服务。150PB在线存储数据、30,000个数据库和35亿个用户登录账号。Hadoop能够存储大量非结构化数据，允许公司收集和存储Web日志、交易数据和社交媒体数据。数据被汇集至一个通用平台，以方便以客户为中心的数据挖掘与数据分析工具的使用。中信银行信用卡中心基于Hadoop的大数据应用大数据挑战发卡量增长迅速：2008年发卡约500万张，2010年增加了一倍。业务数据增长迅速：随着业务的迅猛增长，业务数据规模也线性膨胀。数据存储、系统维护、数据有效利用都面临巨大压力。需求可扩展、高性能的数据仓库解决方案能够实现业务数据的集中和整合；可以支持多样化和复杂化数据分析提升信用卡中心的业务效率；通过从数据仓库提取数据，改进和推动有针对性的营销活动。采用大数据方案后价值体现实时的商业智能可以结合实时、历史数据进行全局分析,风险管理部门现在可以每天评估客户的行为，并决定对客户的信用额度在同一天进行调整；原有内部系统、模型整体性能显著提高秒级营销Greenplum数据仓库解决方案提供了统一的客户视图，更有针对的进行营销。2011年，中信银行信用卡中心通过其数据库营销平台进行了1286个宣传活动，每个营销活动配置平均时间从2周缩短到2-3天。EMCGreen-plum未来和基于Hadoop的PivotalHD相融合电信行业大数据需求分析随着互联网和移动互联网的发展，运营商的网络将会更加繁忙，用于监