应对大数据风暴的必杀技“三位一体”解决方案

大数据时代到来随着信息化技术的不断发展，数字化现在已经深深的渗透进了我们生活中的点点滴滴。生活在Web2.0时代的我们，已经不仅仅是一个信息的被动接受者，同时还是一个信息的创造者。全球每秒钟发送290万封电子邮件;Twitter上每天发布5千万条消息;每天亚马逊上将产生630万笔订单;每个月网民在Facebook上要花费7千亿分钟;一个8Mbps(兆比特每秒)的摄像头一小时能产生3.6GB数据，一个城市若安装几十万个交通和安防摄像头，每月产生的数据量将达几十PB;一个病人的CT影像数据量达几十GB，而全国每年门诊人数以数十亿计，并且他们的信息需要长时间保存。总之，大数据存在于各行各业，一个大数据时代正在到来。由于数据产生成本急速下降，人类产生的数据量正在呈指数级增长，而大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长，数据的结构正在日趋复杂。全球在2010年正式进入ZB时代，根据IDC监测，全球数据量大约每两年翻一番，预计到2020年，全球将总共拥有40ZB的数据量，相较于2009年，数据量将增长近50倍。我们正处于大数据时代的边缘。CIO们遇到的挑战1)新生代客户群的需求推动企业业务面临转型挑战，驱动企业IT基础设施变革适应大数据时代要求。影响企业命脉的，永远都是客户需求。新生代客户手持Post-PC，除了工资以外使用各种投资方式积累财富，每天关注微博，在社交网站中维系人际关系，青睐网购，要求享受自由的、共享的、娱乐的、完美的信息生活。这个过程将产生大量数据，这些ZB级的数据管理和数据分析，将不是传统的IT服务器、磁带、纵向扩展设备能够承载的。2)世界经济形势趋紧，高额的IT预算，究竟应该在哪里投入?据调查，企业目前73%的预算都用在基本业务运转上，剩下的27%才对商业运营有支撑作用。CIO的难处在于IT设施不断的膨胀，仅仅是因为业务的数量涨了，但是没有给企业经营带来真正的增值。值得注意的，未来一到两年，70%的客户都将部署私有云，当大数据遇到云，会同时对私有云架构提出要求和挑战。同时公有云会继续扩张和蔓延，催生新型企业和新型业务。另外值得探讨的是，为了应对“大数据”浪潮，很多企业在具备一定结构化处理能力的基础上，将85%以上非结构化数据依托给了Hadoop，随着对Hadoop的深入探索，有投资人给出这样的感受——使用Hadoop构建分析性查询，会变成类似用锤子来建造房屋的活动，不是不可能，但是会带来不必要的痛苦和可笑的低效成本。主要的痛点在于：Hadoop适合处理流水线任务，但是对于特定的数据模式分析任务性能极低;Hadoop的前期投入低廉，但是后期开发成本和维护成本非常昂贵;Hadoop导致企业信息孤岛;Hadoop的数据容易产生单点故障。华为大数据解决之道：应需而变，融易致远大数据时代，华为推出了“三位一体”的大数据解决方案：N9000存储系统。N9000以“应需而变，融易致远”的理念帮助客户从容应对大数据的挑战。图1：“三位一体”示意图N9000是在一个系统内融合数据存储、数据分析和数据归档，三种功能集于一体。具有以下特点：它能解决信息孤岛，用统一的并行任务调度框架支撑结构化、非结构化海量数据清洗、数据分析;通过对海量数据的生命周期管理，支持历史数据的归档、压缩、下电策略;基于海量非结构化数据的内容感知(元数据管理)，建立海量非结构化数据的搜索引擎，加速热点数据的快速访问;并且其弹性空间能够支持初始低配置，随着客户业务的发展，容量和性能可以随需扩展，并实现性能线性增长，保护客户初始投资，降低TCO。华为凭借性能、大规模横向扩展能力和超大单一文件系统为用户提供结构化与非结构化数据共享资源池、基于数据全生命周期管理的存储与归档解决方案，充分切合广电媒体、高性能计算、地质能源、数据中心存储、互联网运营等多种大数据业务应用的需求，帮助客户轻松应对大数据挑战。