第6章云计算

物联网技术InternetofThings2019/12/18北京物资学院信息学院1第6章云计算2019/12/18北京物资学院信息学院26.1云计算概述6.2云计算的实现6.3云计算的层次6.4云安全及云存储6.5云计算和物联网第6章云计算6.1.1云计算基本概念云计算是网格计算的自然延伸，并且是网格计算、并行计算和分布式计算的结合体。从商业角度说，云计算是上述这些技术概念的商业应用，根据用户需求提供可量化的计算和存储服务。2019/12/18北京物资学院信息学院36.1云计算概述第6章云计算狭义“云”是指提供资源的网络。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。这种特性经常被称为像水电一样使用IT基础设施。广义的“云”可以是IT和软件、互联网相关的服务，也可以是任意其他的服务。“云”也可以是一些可以自我维护和管理的虚拟计算资源，通常为一些大型服务器集群，包括计算机服务器、存储服务器、宽带资源等。云计算将所有的计算资源集中起来，并由软件实现自动管理。2019/12/18北京物资学院信息学院4第6章云计算6.1.2云计算的特点及类别1.云计算有5个关键特点，分别是：（1）按需自服务。用户可以在需要的时候自动地从网络上获取计算能力、存储空间等资源。（2）泛在接入。计算和存储能力的获取适用于多种用户平台，如手机、笔记本、PDA等“瘦”客户端。（3）资源池化。服务提供商将计算和存储能力储蓄在网络上的不同物理位置来服务用户。（4）快速伸缩。服务提供商能够快速地、弹性地、自动地根据用户需求提供计算和存储。（5）业务可度量。服务提供商能够监测和控制提供的计算和存储能力，并提供面向服务提供商和用户的资源使用报告。2019/12/18北京物资学院信息学院5第6章云计算6.1.2云计算的特点及类别2.云计算的类别（1）SaaS（SoftwareasaService，软件即服务）提供面向各种具体应用的服务，该市场直接面向最终的消费者，该市场参与者众多，包括sourceforce、zoho等。（2）PaaS（PlatformasaService，平台即服务）利用一个完整的基础设施平台，包括应用设计、应用开发、应用测试和应用托管，这些都作为一种服务提供给客户，而不是用大量的预置型基础设施支持开发。该市场的参与者目前主要有：Google（Appengine）、Microsoft（Azure）、GigaSpaces等。2019/12/18北京物资学院信息学院6第6章云计算6.1.2云计算的特点及类别2.云计算的类别（3）IaaS（InfrastructureasaService，基础设施即服务）向客户出售服务器、存储、网络设备、带宽等基础设施资源，该市场主要参与者目前有：AmazonAWS、Mosso（Rackspace）、Gogrid、Gridlayer。2019/12/18北京物资学院信息学院7第6章云计算6.1.3云计算产业1.产业现状硬件基础设施市场包括绝大部分传统的硬件制造商，因为他们都已经在某种形式上支持虚拟化和云计算，比如比如Intel、AMD、Cisco等。云计算解决方案是为客户建立共有和私有云提供软件和方案，该市场在2008年末才开始形成，云计算解决方案主要以虚拟化管理软件为基础，该市场参与者多为以前虚拟化管理软件的参与者。主要有：IBM、微软、思杰（Citrix）、3Tera、Redhat等。此外，云计算产业市场还包括上文提到的提供软件、平台和基础设施的服务供应商。2019/12/18北京物资学院信息学院8第6章云计算6.1.3云计算产业2.典型应用（1）AWS亚马逊的云名为亚马逊网络服务（AmazonWebServices，下称AWS），目前主要由4块核心服务组成：简单存储服务（SimpleStorageService，S3）；弹性计算云（ElasticComputeCloud，EC2）；简单排列服务（SimpleQueuingService）以及尚处于测试阶段的SimpleDB。2019/12/18北京物资学院信息学院9第6章云计算（2）Force.com软件即服务厂商的先驱，该公司正在建造自己的网络应用软件平台Force.com，这一平台可作为其他企业自身软件服务的基础。Force.com包括关系数据库、用户界面选项、企业逻辑以及一个名为Apex的集成开发环境。程序员可以在平台的Sandbox上对他们利用Apex开发出的应用软件进行测试，然后在Salesforce的AppExchange目录上提交完成后的代码。2019/12/18北京物资学院信息学院10第6章云计算（3）GAE谷歌推出了谷歌应用软件引擎（GoogleAppEngine，下称GAE），这种服务让开发人员可以编译基于Python的应用程序，并可免费使用谷歌的基础设施来进行托管（最高存储空间达500MB）。2019/12/18北京物资学院信息学院11第6章云计算（4）微软公司产品微软宣布开发最新一代的操作系统WindowsAzure。利用云计算不仅可取代个人计算机既有的操作系统，也给软件开发工程师另一个选择，直接上线利用微软的数据中心建置与执行程序。微软首批软件即服务产品包括DynamicsCRMOnline、ExchangeOnline、OfficeCommunicationsOnline以及SharePointOnline。2019/12/18北京物资学院信息学院12第6章云计算（5）“蓝云”计算平台IBM在2007年11月15日推出了蓝云计算平台，为客户带来即买即用的云计算平台。它包括一系列的云计算产品，使得计算不仅仅局限在本地机器或远程服务器农场（即服务器集群），通过架构一个分布式、可全球访问的资源结构，使得数据中心在类似于互联网的环境下运行计算。2008年2月，IBM在无锡建立第一个云计算中心，“蓝云”终落地生根、推向市场。作为第一个商业化的云计算中心，该中心为用户提供接入一个虚拟计算环境的能力，最终用户以租用的方式使用中心提供的软件开发和测试环境。2019/12/18北京物资学院信息学院13第6章云计算6.2云计算的实现6.2.1云计算工作原理云计算的基本原理是，通过使计算分布在大量的分布式计算机上面，而非本地计算机或远程服务器中，企业数据中心的运行将更与互联网相似，这使得企业能够将资源切换到需要的应用上，根据需要访问计算机和存储系统。2019/12/18北京物资学院信息学院14第6章云计算6.2.1云计算工作原理用户可以通过云用户端提供的交互接口从服务中选择所需的服务，其请求通过管理系统调度相应的资源，通过部署工具分发请求、配置Web应用。（1）服务目录是用户可以访问的服务清单列表。（2）管理系统和部署工具提供管理和服务，负责管理用户的授权、认证和登录，管理可用的计算资源和服务，以及接受用户发送的请求并转发到相应的程序，动态地部署、配置和回收资源。2019/12/18北京物资学院信息学院15第6章云计算（3）监控统计模块负责监控和计算云系统资源的使用情况，以便做出迅速反应，完成节点同步配置、负载均衡配置和资源监控，确保资源能顺利分配给合适的用户。（4）计算/存储资源是虚拟的或物理的服务器，用于响应用户的处理请求，包括大运算量计算处理、Web应用服务等。2019/12/18北京物资学院信息学院16第6章云计算6.2.2云计算体系结构云计算的体系架构可分为核心服务、服务管理、用户访问接口3层。（图见下页）核心服务层将硬件基础设施、软件运行环境、应用程序抽象成服务，这些服务具有可靠性强、可用性高、规模可伸缩等特点，满足多样化的应用需求。服务管理层为核心服务提供支持，进一步确保核心服务的可靠性、可用性与安全性。用户访问接口层实现端到云的访问。2019/12/18北京物资学院信息学院172019/12/18北京物资学院信息学院18用户访问接口应用服务1应用服务n软件即服务（SaaS）…平台即服务（PaaS）数据处理模型海量数据存储基础设施即服务（IaaS）虚拟化服务网络资源计算节点数据中心物理设备核心服务服务质量保证安全管理…服务管理第6章云计算6.2.2云计算体系结构1.核心服务层云计算核心服务通常可以分为3个子层：基础设施即服务层、平台即服务层、软件即服务层。2019/12/18北京物资学院信息学院19第6章云计算IaaS提供硬件基础设施部署服务，为用户按需提供实体或虚拟的计算、存储和网络等资源。在使用IaaS层服务的过程中，用户需要向IaaS层服务提供商提供基础设施的配置信息，运行于基础设施的程序代码以及相关的用户数据。PaaS是云计算应用程序运行环境，提供应用程序部署与管理服务。SaaS是基于云计算基础平台所开发的应用程序。2019/12/18北京物资学院信息学院20第6章云计算2.服务管理层服务管理层对核心服务层的可用性、可靠性和安全性提供保障。服务管理包括服务质量(QoS,qualityofservice)保证和安全管理等。3．用户访问接口层用户访问接口实现了云计算服务的泛在访问，其请求通过管理系统调度相应的资源，通常包括命令行、Web服务、Web门户等形式。2019/12/18北京物资学院信息学院21第6章云计算6.2.3云计算关键技术云计算的目标是以低成本的方式提供高可靠、高可用、规模可伸缩的个性化服务。为了达到这个目标，云计算系统运用了许多技术，其中以编程模型、海量数据管理技术、海量数据存储技术、虚拟化技术、云计算平台管理技术最为关键。2019/12/18北京物资学院信息学院22第6章云计算1．编程模型云计算采用MapReduce编程模式，将任务自动分成多个子任务，通过Map和Reduce两部实现任务在大规模计算节点中的调度与分配。MapReduce模式的思想是将要执行的问题分解成Map（映射）和Reduce（化简）的方式，先通过Map程序将数据切割成不相关的区块，分配（调度）给大量计算机处理，达到分布式运算的效果，再通过Reduce程序将结果汇总输出。2019/12/18北京物资学院信息学院23第6章云计算MapReduce执行过程2019/12/18北京物资学院信息学院24远程读取写到GFS写到本地磁盘读取文件块0文件块1文件块2输出文件0输出文件1Map任务Map任务Map任务Reduce任务Reduce任务输入文件Map阶段中间结果Reduce阶段输出文件第6章云计算2019/12/18北京物资学院信息学院252.海量数据分布式存储技术云计算环境中的海量数据存储既要考虑存储系统的I/O性能，又要保证文件系统的可靠性与可用性。云计算的数据存储系统主要有GoogleGFS(GoogleFileSystem)和Hadoop开发团队的开源系统HDFS(HadopDistributedFileSystem)。第6章云计算2019/12/18北京物资学院信息学院26在GFS中，一个大文件被划分成若干固定大小(如64MB)的数据块，并分布在计算节点的本地硬盘，为了保证数据可靠性，每一个数据块都保存有多个副本，所有文件和数据块副本的元数据由元数据管理节点管理。存储服务器状态指令（文件块访问句柄、访问范围）（文件块访问句柄、访问范围）（文件名、文件块索引）应用程序GFS客户端GFS管理节点文件元数据管理GFS存储服务器Linux文件系统GFS存储服务器Linux文件系统…数据信息控制信息第6章云计算2019/12/18北京物资学院信息学院273.海量数据管理技术云系统的数据管理往往采用列存储的数据管理模式，保证海量数据存储和分析性能。云计算的数据管理技术最著名的是Googe的BigTable数据管理技术，同时，Hadop开发团队开发了类似BigTable的开源数据管理模块HBase。在数据管理方面，Bigtable将一整张数据表拆分成许多存储于GFS的子表，并由分布式锁服务Chubby负责数据一致性管理。在数据模型方面，Bigtable以行名、列名、时间戳建立索引，表中的数据项由无结