大数据技术概述(内涵与意义)

大数据技术概述一、大数据的时代价值1.大数据内涵大数据(bigdata,megadata)或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据进行分析处理。大数据的5V特点：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值密度)、Veracity（真实性）。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。例如，日本企业通过对电力大数据进行分析，创造出一系列新型服务项目。换句话说，大数据分析促进了新的商业服务模式诞生。东京市内三井不动产公司管理的新建商品住宅小区住户，最近通过手机不断接收到各种各样的服务信息，如餐馆的打折优惠券，旅行社的半价机票等等。不过，即便是居住在同一栋大楼的住户，收到的服务内容却不尽相同，这是怎么回事？原来，这是该公司利用家庭用能源管理系统，经过对客户电力数据分析研究，按照各个家庭的不同生活方式为其发送有针对性的电子服务信息。比如餐馆的优惠券是发送给晚餐时间段用电较少的家庭，因为通过用电数据分析可知对方总在外面用餐；反之，傍晚时分电力消费较多的家庭，肯定是经常在家做饭，因此要向其发送厨房用品打折卡；如果用户在周末的电力消费少，说明他们家经常外出，可以推定为喜欢旅行的家庭；如果家里洗衣机的使用频率很高，可能家庭成员较多，就要为其提供相应的商品服务信息。目前该公司在其管理的东京市内两个小区开始提供基于电力大数据分析的信息服务。本来是为购买该公司房产的用户提供增值服务，却受到电力公司的极大关注，因为它能够创造电力服务之外的高附加值。2.大数据的意义大数据的意义是由人类日益普及的网络行为所伴生的，受到相关部门、企业采集的，蕴含数据生产者真实意图、喜好的，非传统结构和意义的数据。阿里巴巴集团董事局主席马云在淘宝十周年晚会上，将卸任阿里集团CEO的职位，并在晚会上做卸任前的演讲，马云说，大家还没搞清PC时代的时候，移动互联网来了，还没搞清移动互联网的时候，大数据时代来了。大数据正在改变着产品和生产过程、企业和产业，甚至竞争本身的性质。把信息技术看作是辅助或服务性的工具已经成为过时的观念，管理者应该认识到信息技术的广泛影响和深刻含义，以及怎样利用信息技术来创造有力而持久的竞争优势。无疑，信息技术正在改变着我们习以为常的经营之道，一场关系到企业生死存亡的技术革命已经到来。借着大数据时代的热潮，微软公司生产了一款数据驱动的软件，主要是为工程建设节约资源提高效率。在这个过程里可以为世界节约40%的能源。抛开这个软件的前景不看，从微软团队致力于研究开始，可以看他们的目标不仅是为了节约了能源，更加关注智能化运营。通过跟踪取暖器、空调、风扇以及灯光等积累下来的超大量数据，捕捉如何杜绝能源浪费。“给我提供一些数据，我就能做一些改变。如果给我提供所有数据，我就能拯救世界。”微软史密斯这样说。而智能建筑正是他的团队专注的事情。（1）商业价值谷歌搜索、Facebook的帖子和微博消息使得人们的行为和情绪的细节化测量成为可能。挖掘用户的行为习惯和喜好，凌乱纷繁的数据背后找到更符合用户兴趣和习惯的产品和服务，并对产品和服务进行针对性地调整和优化，这就是大数据的价值。大数据也日益显现出对各个行业的推进力。大数据时代来临首先由数据丰富度决定的。社交网络兴起，大量的UGC（互联网术语，全称为UserGeneratedContent，即用户生成内容的意思）内容、音频、文本信息、视频、图片等非结构化数据出现了。另外，物联网的数据量更大，加上移动互联网能更准确、更快地收集用户信息，比如位置、生活信息等数据。从数据量来说，已进入大数据时代，但硬件明显已跟不上数据发展的脚步。以往大数据通常用来形容一个公司创造的大量非结构化和半结构化数据，而提及“大数据”，通常是指解决问题的一种方法，并对其进行分析挖掘，进而从中获得有价值信息，最终衍化出一种新的商业模式。虽然大数据在国内还处于初级阶段，但是商业价值已经显现出来。首先，手中握有数据的公司站在金矿上，基于数据交易即可产生很好的效益；其次，基于数据挖掘会有很多商业模式诞生，定位角度不同，或侧重数据分析。比如帮企业做内部数据挖掘，或侧重优化，帮企业更精准找到用户，降低营销成本，提高企业销售率，增加利润。未来，数据可能成为最大的交易商品。但数据量大并不能算是大数据，大数据的特征是数据量大、数据种类多、非标准化数据的价值最大化。因此，大数据的价值是通过数据共享、交叉复用后获取最大的数据价值。未来大数据将会如基础设施一样，有数据提供方、管理者、监管者，数据的交叉复用将大数据变成一大产业。据统计，大数据所形成的市场规模在51亿美元左右，而到2020年，此数据预计会上涨到530亿美元。（2）存储技术随着大数据应用的爆发性增长，它已经衍生出了自己独特的架构，而且也直接推动了存储、网络以及计算技术的发展。毕竟处理大数据这种特殊的需求是一个新的挑战。硬件的发展最终还是由软件需求推动的，我们很明显的看到大数据分析应用需求正在影响着数据存储基础设施的发展。从另一方面看，这一变化对存储厂商和其他IT基础设施厂商未尝不是一个机会。随着结构化数据和非结构化数据量的持续增长，以及分析数据来源的多样化，此前存储系统的设计已经无法满足大数据应用的需要。存储厂商已经意识到这一点，他们开始修改基于块和文件的存储系统的架构设计以适应这些新的要求。