大数据产业生态战略研究XXXX

大数据产业生态战略研究（2012年）大数据产业生态战略研究（2012年）赛迪顾问股份有限公司（HK08235）中国电子信息产业发展研究院大数据产业生态战略研究（2012年）目录前言1一、研究目的1二、主要结论1第一章大数据的概念3一、大数据的由来与定义31、大数据的由来32、大数据的定义4二、大数据的关键特征51、海量化52、多样化53、快速化54、价值化5三、大数据带来的机遇61、新一代信息技术融合应用新焦点62、信息产业持续高速增长的新引擎63、行业用户提升竞争能力的新动力6四、大数据面临的挑战71、数据分析与管理人才紧缺72、用户隐私与便利性的冲突73、数据安全的风险更加凸显7第二章大数据行业发展现状与分析8一、大数据对信息技术产业的重要影响81、推动数据存储技术持续发展82、促进数据分析技术加速创新8二、重点IT厂商大数据战略与解决方案评析81、IBM82、Oracle93、EMC104、SAP11专业就是实力精准就是品牌5、淘宝11三、大数据行业发展趋势分析121、IT技术与产品将加速创新122、IT行业将进一步垂直整合12第三章大数据应用发展现状与分析13一、大数据对信息技术应用的重要影响131、促使数据获取与存储设备的更广泛采用132、激发数据分析与挖掘技术的更强烈需求13二、典型领域大数据应用分析131、零售行业132、互联网行业153、电信行业174、金融行业195、交通行业21三、大数据应用发展趋势分析231、数据资产化，信息部门从“成本中心”转向“利润中心”232、决策智能化，企业战略从“业务驱动”转向“数据驱动”23第四章推动我国大数据发展的策略建议24一、对政府241、把握大数据战略机遇，提升中国在世界信息产业的地位242、制定积极的政策法规，创建适度宽松的大数据发展环境243、启动大数据相关立法，从标准和法律层面保障信息安全24二、对IT厂商251、深刻洞察用户需求，提供高可用性的整体解决方案252、专注细分领域创新，提供有行业特色的专家级方案25三、对行业用户251、通过云平台实现数据大集中，形成企业数据资产252、深度分析挖掘大数据的价值，推动企业智能决策26大数据产业生态战略研究（2012年）前言一、研究目的随着近年来企业信息化的日臻成熟、社会化网络的兴起，以及云计算、移动互联网和物联网等新一代信息技术的广泛应用，全球数据的增长速度之快前所未有、数据的类型也变得越来越多。一方面海量的多样化数据对信息的有效存储、快速读取、检索提出了挑战，另一方面其中蕴藏的巨大商业价值也引发了对于数据处理、分析的巨大需求。因此，领先的IT厂商提出了大数据的概念，并积极投资部署这一市场，不断推出新兴技术、产品与服务。为了帮助我国政府机构、IT厂商与行业用户深刻洞察大数据带来的机遇与挑战，准确把握大数据行业与应用发展的趋势，从而制定最优的大数据应对策略以充分利用大数据带来的商业价值，赛迪顾问经过三个月的走访和调研，从大数据的行业发展与应用发展两大方向，对大数据的重要影响、解决方案、典型案例、发展趋势进行了深入的研究与分析，撰写完成《大数据产业生态战略研究》，供政府领导、IT厂商、行业用户参阅，共同探究大数据创新新方向、应用新价值、服务新模式。二、主要结论1、大数据为信息产业发展与信息技术的应用带来重要机遇，大数据是新一代信息技术融合应用的新焦点、是信息产业持续高速增长的新引擎、是行业用户提升竞争能力的新动力。2、大数据使信息产业发展与信息技术的应用面临三大挑战：一是数据分析与管理人才的紧缺，二是用户隐私与服务便利性之间的冲突，三是数据安全风险的进一步凸显。3、大数据对信息技术产业重要影响体现在两方面：一是推动数据存储技术的持续发展，二是促进数据分析技术的加速创新。4、大数据引发了信息技术产业的两大发展趋势：一是IT技术与产品的加速创新，软硬一体化集成设备、内存技术、数据分析服务将有巨大发展；二是IT行业将进一步垂直整合，大型IT厂商对有技术优势的初创公司的收购热潮还将持续。5、大数据对信息技术应用有两方面重要影响：一是促使数据获取与存储设备的更广泛采用，二是激发数据分析与挖掘技术的更强烈需求。6、大数据的应用将形成两大趋势：一是数据资产化，信息部门将从“成本中心”向“利润中心”转变；二是决策智能化，企业战略的制定将从“业务驱动”向“数据驱动”转变。7、政府应当把握大数据战略机遇，提升中国在世界信息产业的地位；制定积极的政策法规，创建适度专业就是实力精准就是品牌宽松的大数据发展环境；启动大数据相关立法，从标准和法律层面保障信息安全。8、IT厂商应当一方面深刻洞察用户需求，提供高可用性的整体性解决方案；另一方面专注细分领域创新，提供有行业特色的专家级解决方案。9、行业用户应当通过云平台实现数据大集中，形成企业数据资产；同时深度分析挖掘大数据的价值，推动企业智能决策。大数据产业生态战略研究（2012年）第一章大数据的概念一、大数据的由来与定义1、大数据的由来大数据不是突然产生的概念，而是IT技术发展到现阶段的必然产物。在大数据这一概念产生之前，IT业已经意识到信息和数据的不断增长态势，并提出了“信息爆炸”、“海量数据”等概念。随着近年来企业信息化的日臻成熟、社会化网络的兴起，以及云计算、移动互联网和物联网等新一代信息技术的广泛应用，全球数据的增长速度之快前所未有。据估算，全球数据正以每年超过50%的速度爆发式增长。“大数据”一词首次被提出是在2011年有关机构发布的研究报告——《大数据：创新、竞争和生产力的下一个新领域》之中，这份报告研究了数据和文档的状态，同时讲解了处理这些数据能够释放出的潜在价值。此后，全球IT巨头纷纷把长期部署的海量数据设备、数据分析、商务智能等硬件、软件与服务以“大数据”这一概念推向战略前沿。实际上，近两年来，IBM、甲骨文、EMC、SAP等国际IT巨头已经花费超过15亿美元用于收购相关数据管理和分析厂商，以实现大数据领域的技术整合。图1大数据的发展历程资料来源：赛迪顾问2012，05专业就是实力精准就是品牌2、大数据的定义对于大数据的概念，至今没有一个业界广泛采纳的明确定义。各大厂商纷纷给出了关于大数据概念的侧面描述。IBM公司认为大数据应当具备三个特质，可以概括为三个V，即海量化（Volume）、多样化（Variety）和快速化（Velocity）。Informatica公司认为大数据由三项主要技术趋势汇聚组成：海量数据交易，海量数据交互和海量数据处理。NetApp公司认为大数据包括A、B、C三个要素：分析（Analytic），带宽（Bandwidth）和内容（Content）。根据大数据概念的内涵，并结合业界对大数据特性的普遍认同，赛迪顾问提出以下概念：大数据是指需要通过快速获取、处理、分析以从中提取价值的海量、多样化的交易数据、交互数据与传感数据。海量和多样化是对大数据的数据量与数据类型的界定。快速是对大数据获取、处理、分析速度的要求。价值是对大数据获取、处理、分析的意义和目的。交易数据、交互数据与传感数据是大数据的来源。其中，交易数据来自于企业ERP系统、各种POS终端、以及网上支付系统等业务系统；交互数据来自于移动通讯记录、以及新浪微博、人人网、网络社区、网络媒体的开放评论等社交媒体；传感数据来自于GPS设备、RFID设备、视频监控设备等。大数据产业生态战略研究（2012年）二、大数据的关键特征从上述对大数据的定义，提取出大数据的四个关键特征，分别是：海量化（Volume）、多样化（Variety）、快速化（Velocity）和价值化（Value）。1、海量化大数据首先是数据量大。全球数据量正以前所未有的速度增长，遍布世界各个角落的传感器、移动设备、在线交易和社交网络每天都要生成上百万兆字节的数据，据估计，全球可统计的数据存储量在2011年约为1.8ZB，2012年将达到2.7ZB，2015年将超过8ZB。数据容量增长的速度大大超过了硬件技术的发展速度，以至于引发了数据存储和处理的危机。2、多样化大数据的数据类型非常多。海量数据的危机并不单纯是数据量的爆炸性增长，它还牵涉到数据类型的不断增加。原来的数据都可以用二维表结构存储在数据库中，如常用的Excel软件所处理的数据，称之为结构化数据。但是现在更多互联网多媒体应用的出现，使诸如图片、声音和视频等非结构化数据占到了很大比重。统计显示，结构化数据增长率大概是32%，而非结构化数据增长则是63%，目前全世界非结构化数据已占数据总量的80%以上。随着非结构化数据的比重越来越大，并显示出其中蕴含着不可小觑的商业价值和经济社会价值，对传统的数据分析处理算法和软件提出了挑战。3、快速化这是我们对大数据处理速度的要求。随着经济全球化趋势形成，生产要素成本不断上升，企业面临的竞争环境越来越严酷。在此情况下，能够及时把握市场动态，迅速对产业、市场、经济、消费者需求等各方面情况做出深入洞察，并能快速制定出合理准确的生产、运营、营销策略，就成为企业提高竞争力的关键。而对大数据的快速处理分析，将为企业实时洞察市场变化、迅速做出响应、把握市场先机提供决策支持。4、价值化价值是大数据的终极意义所在。随着社会信息化程度的不断提高、数据存储量的不断增加、数据来源和数据类型的不断多样化，对于企业而言，数据正成为企业的新型资产，形成竞争力的重要基础。与曾经广为提倡的“品牌价值化”一样，“数据价值化”已经成为企业提高竞争力的下一个关键点。专业就是实力精准就是品牌然而，大数据的价值虽然巨大，价值密度却很低，往往需要对海量的数据进行挖掘分析才能得到真正有用的信息，从而形成用户价值。大数据价值密度低的特性给大数据的分析处理带来挑战。三、大数据带来的机遇1、新一代信息技术融合应用新焦点对大数据的处理和分析正成为未来新一代信息技术融合应用的核心支撑结点。物联网、移动互联网、数字家庭、社会化网络等都是新一代信息技术具体的应用形态，大数据伴随这些应用不断增长，云计算则为这些海量的、多样化的大数据提供存储和运算的支撑平台。以大数据为结点，各项新一代信息技术应用产生的信息将不断汇集，并通过对不同来源数据的统一性、综合性的处理、分析与优化，将结果反馈或交叉反馈到物联网、移动互联网、数字家庭、社会化网络等应用中，又进一步改善使用体验，并创造出巨大的商业价值、经济价值和社会价值。2、信息产业持续高速增长的新引擎大数据因其巨大的商业价值和市场需求正成为推动信息产业持续高速增长的新引擎。随着行业用户对大数据价值的认可程度增加，市场需求将出现井喷，面向大数据市场的新技术、新产品、新服务、新业态会不断涌现，大数据将为信息产业打开一个高增长的新市场。在硬件与集成设备领域，大数据面临的有效存储、快速读写、实时分析等挑战，将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，因为大数据中蕴含的巨大价值，带来对数据快速处理和分析的迫切需求，将引发数据挖掘、商业智能市场的空前繁荣。3、行业用户提升竞争能力的新动力对大数据的利用将成为企业提高核心竞争力、并抢占市场先机的关键。企业的决策正在从“业务驱动”转变“数据驱动”。在未来3到5年，我们将会看到那些真正理解大数据并能利用大数据进行价值挖掘的企业和不懂得大数据价值挖掘企业之间的差距。真正能够利用好大数据、并将其价值转化成生产力的企业必将具备强劲有力的竞争优势，从而成为行业的领导者。在零售行业，对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；在互联网行业，对大数据的分析可以为商家制定更加精准有效的营销策略提供决策支持；在服务行业，对大数据的分析可以帮助企大数据产业生态战略研究（2012年）业为消费者提供更加及时和个性化的服务；甚至在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等不可小觑的重要作用。四、大数据面临的挑战大数据带来战略机遇的同时，也带来了不可忽视的一系列挑战。1、数据分析与管理人才紧缺人才是大数据带来的挑战之一。研究表明，单单在美国，对拥有深厚的海量数