大数据应用面临的挑战

大数据应用面临的挑战【摘要】大数据是引领未来变革的重要手段之一，并且已经成为许多发达国家用以抢占新一轮竞争制高点的国家战略。随着网路信息技术的日益普及，网络社交受到了人们的大力追捧，而移动宽带技术的发展，促使各种传感器终端在世界各个范围内得到了广泛应用。大数据时代的到来，为管理科学的发展提供了机遇，也带来了挑战。本文介绍大数据缘起，阐释其概念和特征，针对它的应用状况，分析它所带来的冲击与挑战，并给予应对策略。【关键词】大数据时代；管理发展；应对策略。【正文】随着社会的不断变革与进步，信息逐渐呈现大数据化，对人类社会的生产生活邻域产生了较大的冲击，人类实现了数据获取途径的深层次化与多领域化，数据内容更加系统化、完整化与全面化，有利于人类对世界客观发展规律进行探索与研究，对人类社会发展具有重大意义。一、大数据时代的缘起(一)大数据概念的内涵和外延广义的大数据概念，除了大数据技术及其应用之外，还包括大数据工程和大数据科学。大数据工程，是指大数据的规划建设运营管理的系统工程。大数据科学，主要关注大数据网络发展和运营过程中发现和验证大数据的规律及其与自然和社会活动之间的关系。从概念外延上讲，大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域，是适应信息经济时代发展需要而产生的科学技术发展趋势。狭义的大数据概念，主要指大数据技术及其应用，是指从各种各样类型的数据中，快速获得有价值信息的能力，一方面，强调从海量数据、多样数据提取微价值，即具有价值(Value)特征；另一方面，强调数据获取、数据传递、数据处理、数据利用等层面的高速高效，即具有快速处理(Velocity)特征。大数据概念里的“数据”，是指具有可追踪、可分析、可量化特性的数据。大数据概念里的“大”，是指“大数据”所应具有的“大量化”(Volume)、“多样化”(Variety)两个特征。从概念内涵上讲，“大数据”(BigData)，一方面，反映的是规模大到无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合；另一方面，主要是指海量数据的获取、存储、管理、分析、挖掘与运用的全新技术体系。事实上，大数据的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。很显然，挖掘大数据价值、提供大数据服务的能力，是大数据时代的核心竞争力。(二)大数据形成的必然性大数据技术及其应用的驱动原因，在于数据管理理念的不断变革。数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程，其目的在于充分有效地发挥数据的作用。数据管理技术的发展先后经历了四个阶段，即人工管理阶段、文件系统阶段、数据库阶段、面向应用的数据管理阶段。1996年，高德纳(GartnerGroup)提出“商业智能”概念，又称商务智能(BusinessIntelligence，简写为BI)。商业智能技术提供使企业迅速分析数据的技术和方法，包括收集、管理和分析数据，将这些数据转化为有用的信息，然后分发到企业各处。商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业作出明智的业务经营决策的工具。为了将数据转化为知识，需要利用数据仓库、联机分析处理(OLAP)工具和数据挖掘等技术。因此，从技术层面上讲，商业智能不是什么新技术，它只是数据仓库、OLAP和数据挖掘等技术的综合运用。可以认为，商业智能是对商业信息的搜集、管理和分析过程，目的是使企业的各级决策者获得知识或洞察力，促使他们作出对企业更有利的决策。商业智能一般由数据仓库、联机分析处理、数据挖掘、数据备份和恢复等部分组成。商业智能的实现涉及软件、硬件、咨询服务及应用，其基本体系结构包括数据仓库、联机分析处理和数据挖掘三部分。随着现代信息传播技术手段和方式不断丰富，信息获取、信息传递、信息处理、信息再生、信息利用等功能应用日益多样化，智能化信息系统逐渐形成一个信息网络体系，人类社会的生产方式、工作方式、学习方式、交往方式、生活方式、思维方式等发生了极其深刻的变革，互动化、即时性、全媒体等，成为常态性的信息生态环境，传统的数据库组织架构和信息服务模式已经难以适应信息社会现实需要，整个信息技术架构的革命性重构势在必行，大数据成为信息技术发展的必由之。最早提出“大数据时代已经到来”的机构是全球知名咨询公司麦肯锡。2011年，麦肯锡在题为《海量数据，创新、竞争和提高生成率的下一个新领域》的研究报告中指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。黄升民、刘珊：《“大数据”背景下营销体系的解构与重构》，《现代传播》，2012年第11期。大数据是一个不断演变的概念，当前的兴起，是因为从IT技术到数据积累，都已经发生重大变化。仅仅数年时间，大数据就从大型互联网公司高管嘴里的专业术语，演变成决定我们未来数字生活方式的重大技术命题。2012年，联合国发表大数据政务白皮书《大数据促发展：挑战与机遇》；EMC、IBM、Oracle等跨国IT巨头纷纷发布大数据战略及产品；几乎所有世界级的互联网企业，都将业务触角延伸至大数据产业；无论社交平台逐鹿、电商价格大战还是门户网站竞争，都有它的影子；美国政府投资2亿美元启动“大数据研究和发展计划”，更将大数据上升到国家战略层面。2013年，大数据正由技术热词变成一股社会浪潮，将影响社会生活的方方面面。二、大数据管理与发展大数据管理:简易、开放、灵活大数据战略重要，但更重要的是如何执行，也就是大数据管理问题。也可以通过三步走的方式来解决。首先是如何获取、存储和保护数据;其二是数据丰富，即如何清洗、发现不同数据间的数据相关性;其三是数据洞察力，即通过分析、呈现与决策工具获得洞察力，并最终通过付诸行动，产生价值。微软的大数据管理平台，有着对大数据生命周期的全方位考虑，这也是为什么我们将Hadoop等开源架构，整合到微软的大数据平台里，一方面是将Hadoop作为对非关系型数据处理的补充;另一方面是将Hadoop作为一个服务，整合到微软的公有云与私有云平台中。值得强调的是，微软不是简单地将Hadoop迁移到微软的大数据平台上，而是真正的融合，会系统地考虑其可用性、可靠性、安全性、部署的简易性与灵活性，乃至对Hadoop上工具的集成与优化。与此同时，微软也会坚持开源的原则，将在Hadoop上做的一些研发工作回馈给社区，与社区形成良性互动。大数据发展战略:视野，观点，价值大数据的价值已经为电商、快消、广告等多个行业的案例所证明，但挖掘出大数据的价值并不容易。我认为，企业决策者在制定大数据战略时，需要从Vision(视野)、View(观点)、Value(价值)这“新3V”入手。第一点要有企业自己的观点，即收集和处理数据的策略。例如股市，大家很多时候面对同样的数据，但是对数据的处理方式是不一样的，有些人说股市下行时候投入，有些人说股市下行时候要撤出。对同样的数据，甚至同样的软件，决策方式、观点不一样，大数据处理结果就会大大不同，这个应该成为公司决策体系的一个核心。第二是从视野讲，企业CEO一定要把大数据、云计算作为企业核心战略，而不能仅仅把大数据当成是企业IT管理的一个方面。要下决心投入，无论软件方面还是硬件设施。第三是价值，要在确定思路后，把大数据分析，转化为能解决实际问题的执行，从而实现大数据的价值。正如马云最近所举的例子，在淘宝上比基尼卖得最好的省份是哪儿?是内蒙古和新疆，而不是人们通常会认为的海南、广东等沿海地区。大数据能帮助人们发现事物间隐藏的内在关联，但并不意味着能直接带来社会和商业价值。如果你是泳衣、防晒霜的生产商，又会制定怎样的营销策略呢?大数据:平台商、数据商、开发者、数据玩家未来的大数据生态，同样会遵循最朴素的市场规则，不同角色的组织和个人，通过逐渐成熟的交换机制，各取所需平台商提供数据交易、数据分析的场所和基本工具。原始数据商提供自由交易的数据集;开发者提供基于数据集的应用和服务，以及定制化的分析和呈现工具;数据玩家如同股民，在市场中寻找值得投资的数据集或者机构进行投资，获得回报;现在人们炒房、炒股、炒黄金，将来或许人们会炒数据。这样的大数据生态显然是健康、可持续的。对微软、亚马逊、谷歌、VMware这样的平台商而言，专心做好底层云计算基础架构和大数据服务平台;对淘宝、中国移动、政府各部委这样的数据商来说，原本只能自己用的数据，在这个模式下可以产生更多的社会和商业价值;对Salesforce、SAP、用友、金蝶等应用开发商来说，传统的、非常困难的、非常繁琐的数据整合，现在通过这样一个集市，可以首次实现把不同应用系统产生的数据整合起来，发现价值;对数据玩家来说，能够有一个朝阳式的投资平台可供选择，且不那么容易被大机构操纵。当数据公开、数据交易和大数据应用成为自然而然的习惯时，或许我们才可以说，大数据时代真的来临了。三、应用策略应用无疑是大数据的最终价值体现，是大数据技术创新和产业发展的原动力。正如中共中央政治局委员、国务院副总理马凯在前不久指出，数据是重要基础性战略资源，大数据发展正在驱动变革，大数据将在智能制造、智慧交通、智慧城市、智慧医疗等领域持续激发应用创新，不断催生新业态。四、结束在未来社会发展中，大数据必将成为核心竞争资源，人类只有对大数据形成明确的认知，并对大数据管理模式进行有效创新与发展，才能对其进行有效的发掘与分析，促使其真正价值得以全面体现。