云计算与大数据处理技术

云计算与大数据处理技术今天，随着IT规模越来越大，数据规模呈几何级数增长，已经超出了传统技术方法所能解决的范畴。为此，人们把目光转向了刚刚兴起的云计算，希望通过云计算来实施海量数据处理解决方案，实现以更小的成本来处理更大规模数据的目标，并成为目前云计算应用所面对的极大挑战。本课程基本思想如下：1，目前，“云计算”已经不是一个刚刚流行的时髦概念了，在一些传统IT方法显得无能为力的场合，云计算正在开始大展拳脚，表现了强大的解决问题的能力，海量数据存储与处理正是属于这种场合。我们如何在云计算分布式环境下正确设计大数据量数据模型？如何在设计中解决资源、效率、安全性、可靠性等一系列极难平衡的问题？如何通过云计算帮助我们解决在传统IT技术中看似解决不了的敏感问题？这些都是我们在云计算架构设计中需要深入研究的键问题。2，理解问题最好的方法是分析成功案例，本课程分别从多个角度分析在面对海量数据处理的困难时，不同的应用体系是如何解决问题并获得成功的。研究这些已有的体系不是目的，而是希望学员能够通过学习这些解决问题的方法和思路，通过归纳整理深入理解，再根据自己所面对的领域特征，形成解决具体实际问题的方案。这也是让云计算在海量数据处理领域真正发挥作用的有效途径。3，云计算是一种服务，在云计算应用架构设计中，就必须考虑作为服务与普通的产品设计有哪些不同？需要考虑的产品的服务特征有哪些？如何搭建面向不同层次、合适的服务平台？在这个过程中，我们需要考虑哪些问题？有哪些成功的案例？有些什么解决方案？4，云计算应用最重要的问题是安全问题。安全不是一个后期需要解决的独立问题，而是在前期就需要投入巨大精力来考虑的产品策略。可以说，安全性与可用性是云计算能否顺利实施与应用的关键点，也是云计算架构设计的关键因素。我们应该如何考虑安全问题？如何解决诸如数据安全、网络安全、主机安全、数据管理以及灾难恢复等一系列问题？如何制定合适的安全性与可用性策略？在实践中有什么经验和教训？5，为了把传统数据中心改造为基于云计算的服务系统，虚拟化是一个重要手段。我们必须深入研究虚拟化技术是如何实现的。虚拟化技术有哪几个层面的问题？如何正确应用虚拟化技术来实现把基础设施向服务转型？各种虚拟化技术有些什么优点？有哪些陷阱？如何规划技术解决方案？如何正确进行云计算体系结构设计？本课程不是一个泛泛的理论性、概念性的介绍课程，而是针对问题讨论解决方案的深入课程。教师对于上述领域有深入的理论研究与实践经验，在课程中将会针对这些问题与学员一起进行研究，在关键点上还会搭建实验环境进行实践研究，以加深对于这些解决方案的理解。通过本课程学习，希望推动国内云计算项目开发上升到一个新水平。云计算与大数据处理技术第一讲云计算的概念与现状1）云计算的概念2）云计算发展现状3）云计算实现机制4）云计算的发展环境5）云计算的优势第二讲从Google云计算体系，理解海量数据处理的方法1）如何构建海量存储文件系统？GFS系统架构GFS容错机制GFS系统管理技术MapReduce产生背景MapReduce编程模型MapReduce实现机制MapReduce案例分析2）如何提供锁服务解决分布式数据一致性问题？Chubby的设计思路Chubby中的Paxos算法Chubby文件系统3）如何建立规模庞大的高性能表结构？BigTable设计目标BigTable系统架构BigTable服务器BigTable性能优化4）如何建立高可用性和高可扩展性的数据系统？Megastore设计目标Megastore数据模型Megastore事务及并发控制Megastore基本架构Dapper监控系统Dapper关键性技术Dapper工具第三讲从Hadoop云计算项目，进一步研究云数据处理方法1）HDFS：高可靠性处理机制及应用Hadoop项目简介HDFS体系结构HDFS关键运行机制HadoopvsGoogleHadoopAPIHadoop环境搭建2）HBASE：庞大、极其稀疏的可扩展性数据模型Hbase简介HBase的运行机制HBase与HDFSHBase的对外接口ZooKeeper的数据模型ZooKeeper的读写机制ZooKeeper的使用方法第四讲从WindowsAzure，理解平台即服务的本质1）微软云计算平台2）微软云操作系统WindowsAzure3）微软云关系数据库SQLAzure4）AzureAppFabric5）AzureMarketplace第五讲从Amazon云计算，讨论如何提供云服务1）Dynamo基础存储架构2）弹性计算云EC23）简单存储服务S34）简单队列服务SQS5）简单数据库服务SimpleDB6）关系数据库服务RDS7）内容推送服务CloudFront第六讲实施云计算的关键点：安全策略1）云计算安全是一个必须前期重视的策略2）云计算的特征与安全挑战3）云计算的安全体系与关键技术4）基础架构云安全框架5）云计算安全平台第七讲当前数据中心如何向云计算环境转变？1）VMware云产品2）云管理平台vCenter3）vCloudServiceDirector4）VMware的网络和存储虚拟化5）主流商业云计算解决方案比较6）主流开源云计算系统比较7）国内代表性云计算平台比较第八讲基础设施即服务（IaaS）关键实现技术1）IaaS技术体系概述2）服务器虚拟化技术CPU虚拟化内存虚拟化I/O虚拟化3）存储虚拟化技术存储系统概述存储设备层的存储虚拟化块聚合层的存储虚拟化文件/记录层的存储虚拟化4）主机网络虚拟化第九讲软件即服务（SaaS）关键实现技术1）SaaS技术概述2）呈现层技术综述3）调度层技术基于DNS的调度基于虚拟IP的调度基于链路聚合的调度基于应用的调度调度策略4）业务层5）数据层6）用户管理和配置管理7）用户体验的设计