浪潮媒体云平台技术方案-云计算部分-3

浪潮媒体云平台技术方案一、背景与需求1.1广电行业的进化需求1.1.1双向互动与三网融合1.1.2视频内容高清化1.1.3服务形态全媒体化1.1.4服务属性的变迁1.2云计算的背景1.2.1云计算起源过去几十年，计算模式经历了大型机时代的终端-主机模式（T-S模式），个人PC时代的客户机-服务器模式（C-S模式），发展到互联网时代的浏览器-服务器模式（B-S模式）。在过去的二十年里，互联网将全世界的企业与个人连接了起来，实现了资源共享，这深刻地影响着企业的业务形态及个人的日常生活。随着Web2.0等新技术的应用，用户对互联网内容的贡献空前增加，软件更多地以服务的形式通过互联网被发布和访问，而这些网络服务也越来越需要有强大计算能力和海量的存储来满足日益增长的业务需求。互联网使得人们对软件的认识和使用模式发生了潜移默化的改变。计算模式的变革必将会带来一系列的挑战。如何获取强大的计算资源和海量的存储空间？如何在互联网这个无所不包的平台上更经济地运营服务？如何才能使互联网服务更加敏捷、更随需应变？如何让企业和个人用户更加方便、清晰地理解与运用层出不穷的服务？“云计算”正是顺应这个时代大潮而诞生的信息技术理念。当前，云计算被称为当今最热门的信息技术，无论是IT巨头还是新兴科技公司，无不把云计算作为企业发展战略中的重要部分。云计算理念，直接起源于2007年AmazonEC2产品和Google的分布式计算项目，这两个项目中直接使用了云计算这一概念。从技术角度，在网络计算体系下，计算机集群(ComputerCluster)可以解决服务器单机性能不够强的问题；而网格(Grid)计算则解决了集群计算不支持异构设备、资源无法动态伸缩的不足。云计算则能有效解决网格计算无法同时支持异构多业务体系、无法实现资源动态流转的不足。可以说，云计算是网络计算的更高级阶段。从社会分工角度，社会分工细化，有利于形成生产上的规模化，使生产效率显著提高。社会分工细化，还可以提高专业化，有利于技术创新。云计算，从基础设施层面，使系统供应商更专注于软硬件资源的供应。从应用层面，使业务用户可以更加专注于自己的业务，而无需考虑基础资源的维护。所以，云计算也是社会分工细化的必然。简而言之，云计算并不是突兀出现的，云计算是在现有IT技术和业务应用基础上的升华，也是社会分工的必然。1.2.2云计算的基本含义、基本特征云计算的概念提出来以后，不同的人和组织出于各自的理解，对云计算表达了不同的看法，至今没有形成形成统一的认识。云计算是一种基于网络的支持异构设施和资源流转的服务供给模型，它提供给客户可自定义的服务，实现资源的按需分配、按量计费。云计算导致资源规模化，促进分工的专业化，使得资源供应商和用户都更加关注于自己的业务，有利于降低单位资源成本，促进网络业务创新。云计算主要包含两个层次的含义：一是资源层次：能够实现对各类异构软硬件基础资源的兼容，如电网支持水电厂、火电厂、风电厂、核电厂等异构电厂并网；还能够实现资源的动态流转，如西电东送，西气东输、南水北调等。支持异构资源和实现资源的动态流转，可以更好的利用资源，降低基础资源供应商的成本。二是应用层次：在云计算环境下，用户无需自建基础系统，可以更加专注于自己的业务。用户可按需获取网络上的资源，并按使用量付费。如同打开电灯用电，打开水龙头用水一样，而无需考虑是电从哪里来，水是哪家水厂的。云计算的基础特征：图云计算的基本特征1)云计算必然是基于网络的。网络是云计算的基础，云计算必然是基于网络的。网络是云计算的必要不充分条件，如集群计算虽然也是基于网络的计算模式，但还不能称之为云计算。2)支持异构的基础资源。基础资源，包括基础硬件资源和基础软件资源。云计算可以构建在不同的基础平台之上，即可以有效兼容各种不同种类的硬件和软件基础资源。硬件基础资源，主要包括网络环境下的三大类设备，即：计算（服务器）、存储（存储设备）和网络（交换机、路由器等设备）；软件基础资源，则包括单机操作系统、中间件、数据库等。从横向维度考虑，支持异构资源，意味着在同一时期内，可以采购不同厂商的软硬件。对云计算平台的构建者而言，这种形式更为灵活；而从纵向维度考虑，意味着云计算平台既可以兼容当下采购的新设备，也可以兼容以前的老设备，既可以兼容当前的新软件系统，也可以兼容以前遗留的老软件系统。支持异构的基础资源这一特性，在有效利用老资源的同时，也保证了新老资源的平滑过渡。3)支持资源动态伸缩和流转。支持资源动态伸缩，实现基础资源的网络冗余，意味着添加、删除、修改云计算环境的任一资源节点，亦或任一资源节点异常宕机，都不会导致云环境中的各类业务的中断，也不会导致用户数据的丢失。这里的资源节点可以是计算节点、存储节点和网络节点。而资源动态流转，则意味着在云计算平台下实现资源调度机制，资源可以流转到需要的地方。如在系统业务整体升高情况下，可以启动闲置资源，纳入系统中，提高整个云平台的承载能力。而在整个系统业务负载低的情况下，则可以将业务集中起来，而将其他闲置的资源转入节能模式，从而在提高部分资源利用率的情况下，达到其他资源绿色、低碳的应用效果。4)支持异构多业务体系。在云计算平台上，可以同时运行多个不同类型的业务。异构，表示该业务不是同一的，不是已有的或事先定义好的，而应该是用户可以自己创建并定义的服务。这也是云计算与网格计算的一个重要差异。5)支持海量信息处理。云计算，在底层，需要面对各类众多的基础软硬件资源；在上层，需要能够同时支持各类众多的异构的业务；而具体到某一业务，往往也需要面对大量的用户。由此，云计算必然需要面对海量信息交互，需要有高效、稳定的海量数据通信/存储系统作支撑。6)按需分配，按量计费。按需分配，是云计算平台支持资源动态流转的外部特征表现。云计算平台通过虚拟分拆技术，可以实现计算资源的同构化和可度量化，可以提供小到一台计算机，多到千台计算机的计算能力。按量计费起源于效用计算，在云计算平台实现按需分配后，按量计费也成为云计算平台向外提供服务时的有效收费形式。1.2.3行业云介绍按照业界一般分法，云计算可分为公有云、私有云和混合云三类。按照数据获取路径和数据是否具有私密性，公有云可以继续细分为公众云和行业云，前者是数据来源和服务对象都是公开的公众，例如Google，而后者数据具有私密性，但是服务对象却是公开的，如环境卫星资源数据中心、政务系统、经济/人口统计数据服务等。所谓“行业云”，是由行业内或某个区域内起主导作用或者掌握关键资源的组织建立和维护，以公开或者半公开的方式，向行业内部或相关组织和个人提供有偿或无偿服务。比如数字化医疗，病人所有的健康信息都存在一张卡中，只要刷一下，以往的病历、体检记录、在不同医院的检查结果都可以呈现在医生的电脑中，从而帮助医生做出更全面的诊断。又比如食品卫生监控，如果在食品生产、加工、运输、销售过程中各个环节的数据都公开、透明，食品安全就可以得到很大的保障。此外，像交通、远程教育、工商、税务、质监等行业，其公众服务都可以通过云计算来实现。建设行业云最关键的问题是如何将数据活化，将数据转化为服务。虽然各个行业过去十几年里也建设了很多信息化系统，但这些系统都是封闭的，行业云的功能就在于实现从数据到服务的转化，比如，在环境监控中，通过卫星遥感收集到的水、森林、土地等相在的海量数据，经过分析处理，可以得出土地利用率、自然灾害预警等信息，进而提供给政府部门决策使用。1.2.4智能、可靠、安全、绿色的云计算云计算支持资源的动态伸缩，添加、删除、修改云计算环境的任一计算、存储、网络节点，或者任何一个资源节点异常宕机，都不会导致云环境中的各类业务的中断，也不会导致用户数据的丢失。云计算是业务持续运行、数据不丢失的可靠保证。云计算通过虚拟化技术提供计算资源给终端用户，将应用造成的对系统硬件的损坏降低到最低；存储通过使用分布式文件系统，通过设置副本方式，确保数据安全；网络通过链路冗余及相应的容错机制，确保业务持续运行。云计算的支持资源动态流转的特征，使得业务运营初期，即减少采购机器数量，从而降低采购成本。业务运营过程中，业务负载低时，根据设置的节能策略，关闭剩余的资源，从而达到有效降低云数据中心功耗的目的。整个资源池内资源的监控、管理、调度、节能高度的自动化。资源状态信息，资源的异常告警短信、邮件，自动的资源流转，机器在的开启与关闭均通过策略设置实现，过程中无需管理员人工参与。1.3广电行业引入云计算的好处1.3.1用先进的技术服务广电的整体进步1.3.2规模化服务降低升级成本1.3.3在弱终端上实现更强大的功能1.3.4提供整体可靠性的服务保障二、云计算概述2.1、云计算的三层架构云计算层次架构示意图云计算层次架构如上图所示。其中云基础设施即服务(IaaS)、云平台即服务(PaaS)、云软件即服务(SaaS)是云计算的三种服务模式。硬件设备位于云计算架构的底层，是云计算平台的基础。由于数据中心常会同时采购不同厂家的多种设备，且新老设备共存，所以该领域的显著特点就是会存在大量异构的设备资源。云基础设施即服务(IaaS，CloudInfrastructureasaService)云基础设施即服务，系统供应商可以向用户提供同颗粒度的可度量的计算、存储、网络和单机操作系统等基础资源，用户可以在之上部署或运行各种软件，包括客户操作系统和应用业务。云平台即服务(PaaS，CloudPlatformasaService)云平台即服务是指云计算平台供应商将业务软件的开发环境、运行环境作为一种服务，通过互联网提交给用户。云平台即服务，需要构建在云基础设施之上。用户可以在云平台供应商提供的开发环境下创建自己业务应用，而且可以直接在云平台的运行环境中上运营自己的业务。云软件即服务(SaaS，CloudSoftwareasaService)软件即服务，是指运营商通过互联网，向用户提供软件服务的一种软件应用模式。传统的SaaS与云SaaS，在客户体验上基本类似，如新浪邮箱和Gmail邮箱，客户感受是类似的。传统的SaaS直接构建在硬件设备之上，不能实现后台资源的多租户共享，也无法实现资源的动态流转，实际并不属于云计算的范畴。云SaaS，要求这些软件业务运行在云平台服务层或构建在云基础设施层之上。云SaaS的优势，体现在后台资源的动态伸缩和流转上，资源可扩展性更强，这一重大优势是传统SaaS所不具备的。2.2、云计算的关键技术3.3.1云数据中心资源管理云数据中心资源管理，主要负责大规模基础软件、硬件资源的监控和管理，为云操作系统的资源调度等高级应用提供了决策信息，是云计算操作系统的资源调度的基础。以整体的视角整合计算、存储、网络三类资源，即将计算资源（包括物理计算资源和虚拟计算资源）、存储资源、网络资源以整体池化的形式对外展示。用户看到的资源，不再是具体的单机资源，而是面向数据中心的整合的资源，即数据中心整体的计算核数，整体的存储空间和整体的网络带宽等。资源整合后，对外提供资源获取统一接口，系统使用由资源池提供的统一接口获取基础资源信息数据。实现基于群组的层级管理。管理可按照地域，行政级别等类别进行区分，垂直管理。3.3.2虚拟化技术3.3.2.1虚拟化应用形态虚拟化的本质在于从逻辑角度而不是物理角度来对资源进行分配和使用，即从单一的逻辑角度来看待不同的物理资源。虚拟化技术有三种主要应用形态，即虚拟分拆、虚拟整合和虚拟迁移。虚拟化技术—虚拟分拆虚拟分拆是最常见的虚拟化技术，其可将一台物理机分拆为多台虚拟机，从而提高物理资源的利用率，如VMware的VSphere、XEN和微软的Hyper-V等。虚拟整合则是将众多性能一般的计算机整合为一台性能出众的计算机，常见的有高性能计算系统等。虚拟迁移，可以使用户像使用本地资源一样使用异地物理资源，如远程桌面、网络共享目录等。虚拟化技术—虚拟整合虚拟整合将多台物理服务器整合成一台大的逻辑服务器，使用户可以像使用同一台服务器的资源一样支配这些物理上独立的服务器，从而达到整合资源，提高总体性能的目的。虚拟化技术—虚拟