2016年大数据和云计算现状分析

大数据的探索与实践2016年大数据和云计算现状分析一、信息技术推动中国高速发展二、云计算构建新型信息基础设施三、大数据将变革既有的数据观提纲四、信息时代的高科技犯罪五、云计算大数据相关案例一、信息技术推动中国高速发展信息技术加速中国发展•改革开放三十多年来，中国走过了美国等资本主义国家上百年才走完的发展道路，信息技术在国我的发展功不可没。信息革命开创了以信息资源为关键资源的知识经济。第一个是信息处理和传播方式的巨大进步。第二个是先进的信息处理和传播方式的广泛普及化应用。第三个是由此对社会面貌、社会状态、社会结构和体制的全方位、综合性和全息性的改造。工业社会信息社会（知识社会）农业社会农业革命实现了游牧经济到农业经济的变革，农业生产成为社会经济的主导因素；开创了5000多年以土地、牲畜、简单的劳动工具为主要资源的农业经济。工业革命开创了300年以材料、能源和机器为主要资源的工业经济。工业经济时代的管理重点是生产，制造业是工业经济时代的主体产业，刚性的生产方式关注的是劳动生产率的提升。基于新一轮IT创新变革和知识经济的深入发展，构建城市发展的智慧环境，形成基于海量信息和智能过滤处理的新的生活、产业发展、社会管理等模式，面向未来构建一种更新的城市形态。信息资源日益成为重要生产要素的表现新技术，新机遇：问IT产业谁主沉浮？你方唱罢我登场，问IT产业谁出沉浮？云计算、大数据、移动互联、社交网络、电子商务等不断发展与融合，改变着中国人的生活、工作和学习方式。中国万亿IT市场（2011年-2016年）信息技术：润物细无声信息技术特别是互联网悄然变革了我们的生活方式、工作方式和思维方式•加速了人才的培养和技术成熟的速度•加强了中国社会的沟通和融合•淘宝、京东改变了人们购物的方式•政府网上一站式服务大厅•百度、搜狗等搜索引擎：有问题找百度•12306改变了购票难这一中国人的老大难问题•手机已经与我们的工作、生活密不可分•4.5G、5G移动互联网，可能率先在中国实施•中国在IT技术的某些方面正在赶超欧美强国3.03.84.65.15.56.06.67.21.22.33.03.64.55.26.07.10362008200920102011e2012e2013e2014e2015e2008-2015年中国桌面和移动互联网网民规模中国网民规模（亿人）中国移动互联网用户规模（亿人）互联网用户增速迅猛引子1：中国各种信息系统，面临着更多的用户，我们的系统需要处理更多的数据。需要更强大的基础设施能力，以及数据处理能力。智能终端：一切应用及服务的入口移动互联网在中国万亿级别的IT市场中的比重及复合增长率越来越大，成为IT产业新的金矿；得终端者得天下：小米、中华酷联，一切应用和服务的入口移动互联网改变世界：全天候在线•移动互联网：使每个人随时随地任何终端模式接入互联网，使每个人可以全天候工作、学习、购物等。中国IT产业：更丰富的内容和服务基于大数据各种新型应用将不断出现云计算产品的不断推出将推动“云时代”的到来移动互联网用户应用入口竞争将更加激烈中国IT产业高速发展：天时、地利、人和•带宽高速增长：从2G到3G再到4G，移动互联网带宽有了1000倍的增长。•后台支撑技术的进步：云计算、大数据技术的进步•硬件设备迅速普及：手机、平板等智能移动终端设备的价格不断降低，用户可速增长。•开放式平台：开源硬件及开源软件发展，打造一个开放式的产业链。•新的终端技术的融入：GPS、体感技术、新型传感器设备、可穿戴终端技术不断发展云计算大数据电子商务电子政务移动互联网社交网络中国IT产业：未来发展阵型•应用为导向•大数据为业务引擎•云计算为基础支撑•移动互联网为带动•社交网络为纽带•电子政务为引领•电子商务为增长点二、云计算构建新型信息基础设施什么是云计算：云的业务模式Gartner高级分析师BenPring评价道：“它正在成为一个大众化的词语。”但是，问题是似乎每个人对于云计算的理解各不相同。作为一个对互联网的比喻，“云”是很容易理解的。但是一旦同“计算”联系起来，它的意义就扩展了，而且开始变得模糊起来。有些分析师和公司把云计算仅仅定义为计算的升级版——基本上就是互联网上提供的众多虚拟服务器。另外一些人把云计算定义的更加宽泛，他们认为用户在防火墙保护之外消费的任何事物都处于“云”之中。人云亦云众说纷纭提交请求硬件软件服务存储网络云用户按需付费服务什么是云计算:业务模式1服务可租用：用户所需资源不在客户一端而在网络2服务可计量：服务能力具有分钟级或秒级的计量能力3高性价比：具有较之传统模式5倍以上的性价比优势云计算云计算的定义与特征（12345）通过网络接入弹性可扩展的物理或虚拟资源池，并可以以按需、自服务的方式对资源进行部署和管理的服务模式1个定义1：提供者以租代售，由卖产品变为卖服务，提高资源利用率并降低服务成本2：使用者以租代买，提高投资回报率2个角色3种模式1：SAAS(软件即服务)2：PAAS（平台即服务）3：IAAS（基础设施即服务）1：私有云2：社区云3：公有云4：混合云4种部署1：宽带网络接入2：按需服务3：资源共享4：快速弹性扩展5：服务可度量5个特点什么是云计算：技术特性虚拟化技术硬件虚拟化系统虚拟化应用虚拟化并行运算技术映射（Map)归约（Reduce)云计算的4大支撑技术四大技术是拆分分布技术是合成一机变多机一算变多算一存变多存海量数据管理技术列族存贮主服务器子表服务器海量数据存贮技术元数据节点数据节点一库变多库IAAS云：虚拟机统一调度和管理提高资源效率IAAS云：虚拟机统一调度和管理提高资源效率1212IAAS云：虚拟机统一调度和管理提高资源效率IAAS云：虚拟机统一调度和管理提高资源效率214343云的四大效能：对客户的价值整体高效、资源共效按需分配、均衡统筹互联互通数据统一云最大的优势有效解决资源、信息孤岛问题地税业务逻辑地税系统展现层工商业务逻辑工商系统表现层质监业务逻辑质监系统表现层办公业务逻辑办公系统表现层协同办公逻辑协同办公表现层决策业务逻辑决策系统表现层系统层管理安全数据系统层管理安全数据系统层管理安全数据系统层管理安全数据系统层管理安全数据系统层管理安全数据共享硬件资源：计算、存储、网络统一管理业务、应用、数据统一安全服务统一管理服务标准、规范、法规体系专网专网专网专网专网专网信息基础网络设施全球广泛建立云数据中心世界领先IT公司服务器持有量名称服务器数量备注谷歌（Google）100万台2010年底依能耗推算数据为90万台，总数约占全球的2%，Google2005年建成的一个单体数据中心的服务器数量就高达4.5万台。估算当前全球的服务器数量(30多个数据中心)数量应在100万台。亚马逊45.4万台据中国软件网推测，这些服务器分布于全球7100个机架上，过去6个月每月新增110个机架惠普（HP/EDS）38万台HP收购的EDS运营着180个数据中心微软30万台2008年，微软那时有21.8万台服务器。微软在芝加哥的新服务器农场能容下30万台服务器百度25台据华为称，百度服务器数量每年以10万台以上的速度增长，百度数据中心采用了华为S9300设备。从市场份额和业务量推算从2009年以来，百度服务器应在40万台。腾讯20万台主要分布在深圳、上海、北京、天津、成都。其中腾讯天津数据中心，2009年初开建，投资5亿美元，服务器托管能力超过10万台。2011年开工建设的腾讯深汕云计算数据中心，总用地面积20万平方米，服务器20万台，总投资额20亿元人民币。Facebook6万台全球拥有8亿用户，在俄勒冈州普赖因维尔(Prineville)建造的新数据中心投资达2.1亿美元，数据中心第一期工程已于2011年建设完成，建设面积为30万平方英尺云计算产业市场前景据IDC估计和推算，从2009年底到2015年底，云计算能为全球带来12,103亿美元的新业务收入，为中国带来超过20,483亿人民币（3,012亿美元）的新净业务收入服务的创新孵化作用预测，以广东省为例，至2015年累计可研制孵化3000多个互联网服务，只要其中千分之三的服务能够达到腾讯的规模，就能产生千亿元产值孵化数20112012201320142015当年1002004008001600累计10030070015003100截止到2012年8月，国内众多省市、行业都规划、启动、应用了云计算服务。北京“祥云”计划上海“云海”计划深圳“鲲云”计划重庆“云端”计划宁波“星云”计划、无锡“云谷”计划苏州“彩云”计划哈尔滨“云飞扬”计划惠州“惠云”计划广州“天云”计划内蒙古“蓝天白云”计划……云计算在中国中国的云要自己建去IOE和八大金刚，及去开源IOE:IBMORACLEEMC2八大金刚：思科、IBM、谷歌、高通、英特尔、苹果、甲骨文、微软——美国的“八大金刚”在中国长驱直入，占据政府、海关、邮政、金融、铁路、民航、医疗、军警等关键领域，它们与美国政府、军队保持着紧密的联系，美国情报部门通过它们的设备、软件、网络获取信息，也几乎零门槛。开源云社区：Opensource\Openstack非常活跃，应用也较为广泛；检查每一行代码，每一类库是不可能的任务；开源社区的掌握实际还是欧美产业界，并不完全是理想的骑士们；产品过度用开源，服务得不到保障，另也会被开源绑架；一些半开源真品也同样混淆我们的视听。美国的9家互联网公司在棱镜项目中暴露云平台的规划：总体技术架构云平台的建设依托于云计算技术，是新型的计算资源利用模式。它将计算任务分布在由数台服务器构成的资源池上，使各种应用系统能够根据需要获取计算能力、存储空间和信息服务。设计理念：安全是前提应用是核心管控是关键利旧，扩展性云操作系统：整个云平台的管理者气象应用位置应用GIS应用桌面云应用…桌面云APP资源管理子系统云中间件层应用层资源驱动层Xen驱动KVM驱动VMware驱动虚拟化驱动集合LocalDisk驱动NAS驱动IP-SAN驱动存储驱动集合FC-SAN驱动分布式存储驱动Switch驱动Firewall驱动LB驱动网络与外设驱动集合VPN驱动监控驱动通讯适配层消息队列消息格式转换传输协议支持网络通讯插件生命周期管理消息路由插件服务定义插件管理JavaC/C++Python...异构语言适配其他设备OS硬件安全体系管理体系计算资源管理存储资源管理网络资源管理任务管理子系统任务过程管理任务计划管理监控管理子系统基本监控信息管理定制监控信息管理…策略管理子系统调度策略管理容错策略管理节能策略管理动态迁移策略管理用户管理子系统用户管理授权管理分组管理OS管理集合单机OS管理存储OS管理交换机OS管理防火墙OS管理硬件管理集合服务器兼容管理存储设备兼容管理网络设备兼容管理…负载均衡OS管理应用安全集合应用访问控制应用信息隐藏Web攻击防护URL信息防护网络安全集合网络流量控制网络流量分析网络访问控制虚拟私有云（VPC）OS层服务器单机OS插件管理子系统故障管理子系统接口层自助服务：管理员入口普通用户入口API维护人员入口系统漏洞防护弱口令防破解用户安全认证行为审计系统系统安全集合自助申请与交付组织管理与业务流程审批资源编排云操作系统：资源的全局监控对云平台的配置、优化、管理的策略和经验的积累电子政务云实施：传统电子政务建设面临的问题近年来，我国的电子政务建设迅猛发展，全国绝大部分地区都已经建设了以电子政务基础网络平台、政府门户网站和办公自动化系统等为代表的一系列电子政务项目，国家电子政务总体框架已见雏形。但是，随着电子政务建设的不断推进，许多矛盾和困难也随之不断涌现出来。随着政府信息化的逐步深入，电子政务云平台的发展推动了政务信息的互联互通、信息共享、业务协同，强化了信息资源的整合，规范了采集和发布，加强了社会综合开发利用。建设电子政务公共平台是电子政务发展到深化应用、突出实效阶段的重要举措。电子政务云的定义及目标电子政务云的定义“电子政务云”（E-governmentcloud）是运用云计算技