年大数据发展趋势预测及其解读43

2014年大数据发展趋势预测及其解读潘柱廷启明星辰首席战略官CCF大数据专家委副秘书长2013年12月15日2CCF大数据专家委员会2014年度大数据发展趋势预测调研的目标、方法和过程•122位委员学术界66位、产业界28位、政府4位、海外13位、跨界特邀委员11位•思考热点问题•给出2014年大数据发展趋势预测32014年大数据发展趋势十大预测122位CCF专家的群体判断4大数据从“概念”走向“价值”票选第1（93票）一、大数据向更多新领域扩张(67票)1)【几乎所有】(11票)2)【一些突破】(30票)3)【突破有限】(26票)4)本问题不重要(23票)二、更多数据驱动的商业模式（13票）互联网金融等将会成为大数据应用的新的商业模式，特别是基于海量数据的信用体系和风险控制三、资本高度关注（13票）资本高度关注大数据领域，相关的融资、并购、IPO纷纷出现5票选第2（71票）一、大数据处理多样化模式并存融合（34票）Hadoop／MapReduce框架一统天下的模式被打破，实时流计算、分布式内存计算、图计算框架等并存二、大数据存储与管理（23票）大数据的4V放大了以前海量数据的存储与管理的挑战三、内存计算成为提高处理性能主要手段之一（14票）内存价格不断降低，使内存计算将成为解决实时性大数据处理问题的主要手段大数据处理架构的多样化模式并存6票选第3（53票）一、大数据安全(33票)大数据更容易成为网络攻击目标对存储的物理安全性要求会越来越高大数据分析技术更容易被黑客利用大数据引起了更多不易被追踪和防范的犯罪手段二、大数据个人数据保护和隐私问题立法（20票）个人的隐私越来越多地融入各种大数据中大数据拥有者掌控了越来越多人的越来越丰富的信息。有偿的隐私保护服务会被大众接受大数据安全与隐私7票选第4（61票）一、大数据可视化（33票）规模大，难理解，分析过程离不开可视化技术可视化将贯穿大数据分析与结果展示二、实时分析处理集成（14票）查询和分析的实时性对人们能否及时获得决策信息非常重要，内存计算模式或将成为大数据实时处理的重要手段三、大数据分析的革命性方法（14票）大数据可能是新一波技术革命基于大数据的数据挖掘/机器学习可能会改变小数据/小世界里的很多算法和基础理论大数据分析与可视化成为热点8票选第5（71票）一、大数据产业成为国家战略新兴产业(31票)发展大数据产业，利用大数据分析提高国家经济决策和社会服务能力，保障国家安全成为各国的重要战略二、大企业大数据（27票）大企业成为大数据最活跃的群体三、政府大数据(20票)一些拥有大数据的政府部门纷纷利用积累的数据，采用大数据技术进行分析，产生突出效果大数据产业成为战略性产业9票选第6（59）一、数据共享联盟（31票）数据共享联盟将逐渐壮大成为产业的核心一环数据共享将扩展到企业层面二、数据资源化、私有化，进而商品化（28票）数据的私有化和独占问题成为关注的焦点数据产权界定问题日益突出在数据权属确定的情况下，数据商品化成为必然选择数据商品化与数据共享联盟化10票选第7（76票）一、大数据预测和决策支持(31票)通过对海量历史数据分析，帮助捕捉现在和预测未来，进而通过大数据进行决策支持二、精确个性化推荐系统（27票)推荐系统更加了解用户，更精确更个性化；成为最具效果的大数据商业应用三、基于社交网络的广告营销模式会初现端倪（18票）在积累了多年用户和数据基础后，基于社交网络的广告营销模式具备了爆发商业应用的机会基于大数据的推荐与预测流行11票选第８（56票）一、深度学习成为大数据智能分析的核心技术（28票）在大数据时代，依靠高性能计算的支持，深度学习有望成为大数据智能处理的核心技术之一。二、基于海量知识的智能（18票）将要兴起的下一个浪潮-智能机器会依赖于对扑捉到的数据的分析来做判断和决策三、群体智能与众包计算成为支撑技术（10票）用分布式计算来支撑大数据分析的必经之路。在很多大数据的应用场合，基于物理资源分散式会有更多的应用场景深度学习与大数据智能成为支撑12票选第9（47票）一、数据科学兴起（27票)数据科学作为一个与大数据相关的新兴学科出现二、大数据系统评测基准（10票）各种大数据分析系统各有所长，在不同类型分析查询下，表现出不同的性能差异。迫切需要通过基准测试，了解各种大数据分析系统的优缺点三、所有的科学正迅速变成数据科学（10票）大数据使得数学研究前所未有地与应用相结合，并促使数学学科开始发生变革数据科学的兴起13票选第10（61票）一、开源成为主流(23票)(6)开源成为绝对主流(14)开源是主流，但不是绝对二、大数据与云计算、物联网（20票）大数据将与云计算、物联网、移动互联网等热点新兴计算产生交融三、大数据教育(MOOC和教育大数据，18票)大规模教学法研究将在学习行为大数据分析中启航四、大数据个人数据保护和隐私问题立法（20）大数据生态环境逐步完善14十大趋势预测的对比2013年度预测1.数据的资源化2.大数据的隐私问题突出3.大数据与云计算等深度融合4.基于大数据的智能的出现5.大数据分析的革命性方法6.大数据安全7.数据科学兴起8.数据共享联盟9.大数据新职业10.更大的数据2014年度预测1、大数据从“概念”走向“价值”2、大数据架构的多样化模式并存3、大数据安全与隐私4、大数据分析与可视化5、大数据产业成为战略性产业6、数据商品化与数据共享联盟化7、基于大数据的推荐与预测流行8、深度学习与大数据智能成为支撑9、数据科学的兴起10、大数据生态环境逐步完善15十大趋势预测的对比2013年度预测1.数据的资源化2.大数据的隐私问题突出3.大数据与云计算等深度融合4.基于大数据的智能的出现5.大数据分析的革命性方法6.大数据安全7.数据科学兴起8.数据共享联盟9.大数据新职业10.更大的数据2014年度预测①大数据向更多新领域扩张②大数据处理多样化模式并存融合③大数据安全③大数据可视化⑤大数据产业成为国家战略新兴产业⑤数据共享联盟⑤大数据预测和决策支持⑧深度学习成为智能分析的核心技术⑧数据资源化、私有化，进而商品化⑩数据科学兴起⑩精确个性化推荐系统⑩大企业大数据16十大趋势预测的对比2013年度预测1.数据的资源化2.大数据的隐私问题突出3.大数据与云计算等深度融合4.基于大数据的智能的出现5.大数据分析的革命性方法6.大数据安全7.数据科学兴起8.数据共享联盟9.大数据新职业10.更大的数据2014年度预测第13-20(第13)大数据存储与管理(第13)开源成为主流(第15)大数据与云计算、物联网(第15)大数据个人数据保护和隐私问题立法(第15)政府大数据(第18)基于海量知识的智能(第18)基于社交网络的广告营销模式(第18)MOOC和教育大数据(第31)大数据新职业17十大趋势预测的对比2013年度预测1.数据的资源化2.大数据的隐私问题突出3.大数据与云计算等深度融合4.基于大数据的智能的出现5.大数据分析的革命性方法6.大数据安全7.数据科学兴起8.数据共享联盟9.大数据新职业10.更大的数据2014年度预测①大数据向更多新领域扩张②大数据处理多样化模式并存融合③大数据安全③大数据可视化⑤大数据产业成为国家战略新兴产业⑤数据共享联盟⑤大数据预测和决策支持⑧深度学习成为智能分析的核心技术⑧数据资源化、私有化，进而商品化⑩数据科学兴起⑩精确个性化推荐系统⑩大企业大数据18十大趋势预测的对比2013年度预测1.数据的资源化2.大数据的隐私问题突出3.大数据与云计算等深度融合4.基于大数据的智能的出现5.大数据分析的革命性方法6.大数据安全7.数据科学兴起8.数据共享联盟9.大数据新职业10.更大的数据2014年度预测①大数据向更多新领域扩张②大数据处理多样化模式并存融合③大数据安全③大数据可视化⑤大数据产业成为国家战略新兴产业⑤数据共享联盟⑤大数据预测和决策支持⑧深度学习成为智能分析的核心技术⑧数据资源化、私有化，进而商品化⑩数据科学兴起⑩精确个性化推荐系统⑩大企业大数据192014候选项：整体态势和应用方面T.3,2014年与大数据相关的最令人瞩目的应用领域是：互联网、电子商务、金融、健康医疗、生物信息、制药、、城镇化、智慧城市、社会安全和犯罪侦查、网络空间安全和对抗、舆情分析、网络通信、制造业，工业大数据、企业管理大数据、能源、气候/环境模拟、经济统计和模拟、前沿基础科学研究、大数据用于教育…其他应用方面预测T.4大数据预测和决策支持（31）T.5大企业大数据（27）T.6政府大数据（20）T.7大数据加强军队（6）T.8犯罪侦破与预防（13）T.9MOOC和教育大数据（18）T.10精确个性化推荐系统（27）T.11基于社交网络的广告营销模式会初现端倪（18）T.12大数据生态系统（9）T.13分析平民化（10）大数据整体态势•T.1大数据向更多新领域扩张（67）•T.2数据资源化、私有化，进而商品化（28）202014候选项：学术和技术方面T.16数据科学兴起（27）T.17所有的科学正迅速变成数据科学（10）T.18数据质量和数据清洁（14）T.19更复杂异构多样的数据（15）T.20基于海量知识的智能（18）T.21大数据分析的革命性方法（14）T.22大数据处理多样化模式并存融合（34）T.23内存计算成为提高处理性能的主要手段（14）T.24网络传输压力突出（9）T.25众包成为支撑技术（13）T.26数据的语义化和知识化（13）T.27大数据专用软硬件系统（11）T.28大数据可视化（33）T.29实时分析处理集成（14）T.30自组织计算（3）T.31机器学习的范式发生变化（2）T.32语音会获得爆发式应用（4）T.33深度学习成为大数据智能分析的核心技术（28）T.34大数据系统评测基准（10）T.35大数据生命周期管理（7）T.36大数据存储与管理（23）T.37大数据安全（33）212014候选项：产业和业态T.38大数据产业成为国家战略新兴产业（31）T.39大数据个人数据保护和隐私问题立法（20）T.40数据主权是国家主权（6）T.41出现真正的大数据资源中心（4）T.42国家关键数据资源（8）T.43数据共享联盟（31）T.44开源成为主流（23）T.45资本高度关注（13）T.46产业政策（7）T.47数据权属立法启动（8）T.48数据产品丰富（4）T.49数据外包（4）T.50产业垂直整合（2）T.51大数据新职业（12）T.52大数据与云计算、物联网（20）T.53数据价值评估模型（2）T.54更多数据驱动的商业模式（13）T.55大数据供应链（1）T.56大数据标准（7）T.57大数据处理生态系统（7）222014年大数据最受瞩目的应用领域122位CCF专家的群体判断232014候选项：应用方面T.3,2014年与大数据相关的最令人瞩目的应用领域是：a)互联网、电子商务b)金融(股市预测、金融分析等)c)健康医疗(流行病监控和预测等)d)生物信息、制药e)城镇化、智慧城市f)社会安全和犯罪侦查g)网络空间安全和对抗h)舆情分析i)网络通信j)制造业，工业大数据k)企业管理大数据。l)能源(石油、电力等)m)气候/环境模拟n)经济统计和模拟o)前沿基础科学研究(比如：高能物理、生物、天文、海洋、地震等等)p)大数据用于教育其他应用方面预测T.4大数据预测和决策支持T.5大企业大数据T.6政府大数据T.7大数据加强军队T.8犯罪侦破与预防T.9MOOC和教育大数据T.10精确个性化推荐系统T.11基于社交网络的广告营销模式会初现端倪T.12大数据生态系统T.13分析平民化24对比：2013年度预测最令人瞩目的应用•城市管理•电子商务•金融•医疗1411101028252014年度预测最令人瞩目的应用•健康医疗•舆情分析（情报分析）•金融•互联网、电子商务60票34票31票23票80262014年度预测最令人瞩目的应用•健康医疗•舆情分析•金融•互联网、电子商务60票34票31票23票80网络大数据金融大数据健