分布式与云计算系统第1章

ComputerSchool,NUDT.Spring,20131DistributedandCloudComputing分布式与云计算系统K.Hwang,G.FoxandJ.DongarraComputerSchool,NUDT.Spring,20132DistributedandCloudComputingKaiHwang,GeoffreyFox,JackDongarra,publishedbyMorganKaufmann,Oct.2011(648pages)ComputerSchool,NUDT.Spring,20133随着信息技术的广泛应用和快速发展，云计算作为一种新兴的商业计算模型日益受到人们的广泛关注。本书是国际上第一本完整讲述云计算与分布式系统基本理论及其应用的教材。书中首先简要介绍现代分布式模型，然后介绍了并行、分布式与云计算系统的设计原理、系统体系结构和创新应用，并通过开源应用和商业应用例子，阐述了如何为科研、电子商务、社会网络和超级计算等创建高性能、可扩展的、可靠的系统。本书的目的是介绍从传统多处理器和多计算机集群到Web规模网格、云和未来互联网中泛在使用的P2P网络，包括大型社会网络和快速发展的物联网。ComputerSchool,NUDT.Spring,20134作者简介KaiHwang（黄铠）美国南加州大学电子工程系与计算机系教授，清华大学首席讲席教授，IEEE终身会士。GeoffreyFox美国印第安那大学信息、计算与物理学的杰出教授，信息与计算研究生院副院长。JackDongarra田纳西大学电子工程与计算机科学系的大学杰出教授，橡树岭国家实验室杰出研究员，曼彻斯特大学TurningFellow。ComputerSchool,NUDT.Spring,20135“你是学分布式系统或分布式计算课程的学生吗？如果是，那么这本书是你的最佳选择。作者首先评价了过去30年计算和IT趋势中的变革，并讨论了集群计算系统和大规模并行处理器。接着，针对云计算应用，他们介绍了虚拟机、虚拟机在线迁移、虚拟集群构建、资源配置和虚拟数据中心设计。然后，作者介绍了云体系结构和数据中心设计的设计原理与使能技术，探究了两种主要的分布式服务（REST和Web服务）以及Web服务在网格系统中的扩展。此外，作者还介绍了主要的云编程范式：MapReduce、BigTable、Twister、Dryad、DryadLINQ、Hadoop、Sawal和PigLatin。而且书中还介绍了计算/数据网格中的设计原理、平台体系结构、中间件、资源管理和服务标准。之后，作者描述了非结构化、结构化和混合式覆盖网络。最后，他们检测了IBM、Salesforce、SGI、Manijarsoft、NASA和CERN构建的一些公有云和私有云。”——摘自Amazon读者评论ComputerSchool,NUDT.Spring,20136第一部分系统建模、集群化和虚拟化第1章分布式系统模型和关键技术。介绍过去30年在并行、分布式、云计算领域发生的一些变革。第2章可扩展并行计算集群。主要研究集群计算系统和大规模并行处理器。第3章虚拟机和集群与数据中心虚拟化。介绍了虚拟机、虚拟机在线迁移、虚拟集群构建、资源配置、虚拟配置适应，以及用于云计算应用的虚拟化数据中心的设计。ComputerSchool,NUDT.Spring,20137Chapter1:EnablingTechnologiesandDistributedSystemModels分布式系统模型和关键技术ComputerSchool,NUDT.Spring,20138本章介绍过去30年在变化负载和大数据集的应用驱动下，并行、分布式、云计算领域发生的一些变革。研究了并行计算领域要求高性能和高吞吐量的一些计算系统，如计算机集群、SOA、计算网格、P2P网络、互联网云和物联网。这些系统在硬件体系结构、系统平台、处理算法、通信协议、提供的服务模型等方面均有所不同。也介绍了分布式系统中可扩展性、性能、可用性、安全、节能等方面的基本问题。ComputerSchool,NUDT.Spring,201391.1互联网之上的可扩展计算一个并行的、分布式的计算系统使用大量的计算机解决互联网上的大规模计算问题。分布式计算的缺点是数据敏感和网络中心化。互联网计算的时代平台的变革：1950年代起大型机、小型机、个人计算机、便携式计算机高性能计算：HPC系统强调系统的原生速度性能高吞吐量计算：HTC主要应用于被百万以上用户同时使用的互联网搜索和Web服务讨论的问题包括集群、MPP、P2P网络、网格、云、Web服务、社会网络和物联网。事实上，集群、网格、P2P网络和云之间的区别将会越来越模糊ComputerSchool,NUDT.Spring,201310HPC:High-PerformanceComputingHTC:High-ThroughputComputingP2P:PeertoPeerMPP:MassivelyParallelProcessors图1-1HPC和HTC系统的演化趋势（并行、分布式、云计算，具有集群、MPP、P2P网络、网格、云、Web服务和物联网）ComputerSchool,NUDT.Spring,201311计算范式间的区别：集中式计算:这种计算范式是将所有计算资源集中在一个物理系统之内。所有资源（处理器、内存、存储器）是全部共享的，并且紧耦合在一个集成式的操作系统中。并行计算：在并行计算中，所有处理器或是紧耦合于中心共享内存或是松耦合于分布式内存。分布式计算：一个分布式系统由众多自治的计算机组成，各自拥有其私有内存，通过计算机网络通信。分布式系统中的信息交换通过消息传递的方式完成。ComputerSchool,NUDT.Spring,201312云计算：一个互联网云的资源可以是集中式的也可以是分布式的。云采用分布式计算或并行计算，或两者兼有。云可以在集中的或分布式的大规模数据中心之上，由物理的或虚拟的计算资源构建。普适计算是指在任何地点和时间通过有线或者无线网络使用普遍的设备进行计算。物联网是一个日常生活对象（包括计算机、传感器、人等）网络化的连接。物联网通过互联网云实现任何对象在任何地点和时间的普适计算。互联网计算这一术语几乎涵盖了所有和互联网相关的计算范式。ComputerSchool,NUDT.Spring,201313HPC和HTC系统需要遵从如下设计原则：效率:在HPC系统中开发大规模并行计算时，度量执行模型内资源的利用率。对于HTC系统，效率更依赖于系统的任务吞吐量、数据访问、存储、节能。可信：度量从芯片到系统到应用级别的可靠性和自管理能力。目的是提供有服务质量（QoS）保证的高吞吐量服务，即使是失效的情况下。编程模型适应性：度量在海量数据集和虚拟云资源上各种负载和服务模型下支持数十亿任务请求的能力。应用部署的灵活性：度量分布式系统能够同时很好地运行在HPC（科学和工程）和HTC（商业）应用上的能力。ComputerSchool,NUDT.Spring,201314可扩展性计算趋势和新的范式位级并行（BitLevelParallelism，BLP）指令级并行（InstructionLevelParallelism，ILP）。通过指令流水线、超标量计算、VLIW体系结构、多线程实践了ILP。ILP需要分支预测、动态规划、投机预测、提高运行效率的编译支持。数据级并行（DataLevelParallelism，DLP）的流行源于SIMD和使用向量与数组指令类型的向量机任务级并行（TaskLevelParallelism，TLP）作业级并行（JobLevelParallelism，JLP）ComputerSchool,NUDT.Spring,201315ComputerSchool,NUDT.Spring,201316图1-2现代分布式计算系统中的计算机效用愿景(CourtesyofRajBuyya,UniversityofMelbourne,2011)Copyright©2012,ElsevierInc.Allrightsreserved.ComputerSchool,NUDT.Spring,2013172011Gartner“ITHypeCycle”forEmergingTechnologies20072008200920102011新技术成熟周期ComputerSchool,NUDT.Spring,201318物联网和CPS物联网是指日常生活中对象、工具、设备或计算机间存在网络互连。物联网为互联了所有我们生活中的对象的无线传感器网络。CPS是计算过程和物理世界之间交互的结果。CPS集成了“计算节点”（同构，异构）和“物理”（并发和信息密集的）对象。CPS在物理世界和信息世界之间将“3C”技术（计算、通信、控制）融合到了一个智能闭环反馈系统中。物联网强调物理对象之间的多样化连接，而CPS强调物理世界中虚拟现实应用的开发和研究。ComputerSchool,NUDT.Spring,2013191.2基于网络的系统技术多核CPU和多线程技术ComputerSchool,NUDT.Spring,201320图1-5现代多核CPU芯片的层次cache示意图，其中L1cache是每个核私有的，片上L2cache是共享的，L3cache和DRAM是非片上的ComputerSchool,NUDT.Spring,201321图1-6现代CPU处理器的5种微体系结构，通过多核和多线程技术支持ILP和TLPComputerSchool,NUDT.Spring,201322图1-7数百或数千处理核心的海量并行处理中协同CPU的GPU使用大规模和超大规模GPU计算ComputerSchool,NUDT.Spring,201323图1-816个流式多处理器（SM），每个有32个CUDA核的NVIDIAFermiGPU，只一个SM被展示出来ComputerSchool,NUDT.Spring,201324图1-9GPU性能（中间的曲线，2011年每个核心5Gflops/W）,相比较低的CPU性能（下面的曲线，2011年每个核心08Gflops/W），以及2011年预计未来每个核心60Gflops/W的性能（上面曲线中的EF）ComputerSchool,NUDT.Spring,201325内存、外部存储和广域网图1-10过去33年中内存和磁盘技术的改进。2011年，SeagateBarracudaXT磁盘容量为3TBComputerSchool,NUDT.Spring,201326图1.11三种连接服务器、客户机、存储设备的互连网络，LAN连接客户机和服务器，SAN连接服务器和磁盘阵列，NAS连接客户机和网络环境中大规模存储系统系统区域互连ComputerSchool,NUDT.Spring,201327图1-12三种虚拟机体系结构与传统的物理机的比较虚拟机和虚拟化中间件建立大规模集群、网格和云，我们需要以虚拟的方式访问大量的计算、存储和网络化资源。我们需要集群化这些资源，并希望提供一个单独的系统镜像。ComputerSchool,NUDT.Spring,201328PrimitiveOperationsinVirtualMachines:图1-13分布式计算环境中的虚拟机复用、挂起、供应和迁移ComputerSchool,NUDT.Spring,201329DatacenterandServerCostDistribution图1-14近年来，数据中心的服务器数量增长和成本分析ComputerSchool,NUDT.Spring,201330DataDelugeEnablingNewChallenges(CourtesyofJudyQiu,IndianaUniversity,2011)ComputerSchool,NUDT.Spring,201331ConceptofV