第二届全国高校云计算应用创新大赛宣讲

第二届全国高校云计算应用创新大赛宣讲[e-mail]东南大学2015年11月云的世界等你来赢！云计算（CloudComputing）越来越受到人们的关注，短短的几年时间产生巨大的影响力为什么云计算促使云计算产生的因素-低硬件利用率提高了硬件和劳动力成本-日益复杂的中间件安装时间长，配置复杂，操作系统要求。环境切换，人工参与大大增加问题的产生概率-资源负荷高点和低点差距日益加大。云计算案例（1）IBM公司计划将分散在各个研究院的资源系统(如服务器、存储)整合，为公司内部所使用IBM公司构建了IBMResearchComputeCloud(RC2)该系统为科研人员提供了共享计算和存储资源的平台RC2是公司内部的私有云平台美国国家档案馆公布1993-2001年希拉里作为第一夫人期间的白宫日程档案低质量的PDF需要被转换成可检索的文件格式华盛顿邮报现有的计算能力转换1页要30min，丧失新闻时效性AmazonEC2同时使用200个虚拟服务器案例，每个服务器的单页平均处理时间都缩短为一分钟，并在9小时内将所有的档案转换完毕，以最快的速度将这些第一手资料呈现给读者只需支付144.62美元云计算案例（2）《纽约时报》打算将其自1851年以来的1100万份报道转变成可搜索的数字化文档用传统转换技术方法，这项工作可能要数月才能完成租用亚马逊的云计算服务，使用基于云计算的开源软件Hadoop，耗时仅一天云计算案例（3）Giftag是与好友分享购物清单的Web2.0应用以插件形式安装在浏览器上一经推出便广泛流行，服务器不堪重负迁移到GoogleAppEngine平台通过GAE可伸缩的计算性能来响应用户请求实现初创应用向稳定、持续增长的服务过渡云计算案例（4）哈根达斯需要一个CRM解决方案让分布在世界各地的员工进行沟通协作可根据不同的需求进行灵活配置通过SalesforceCRM在不到6个月上线无需构建自己的计算中心云计算案例（5）云计算机遇与挑战云计算带来的产业变革–新的商业模式：计算资源的采购，获取，交付的变革；–新的创新平台：突破硬件限制，可充分利用网络能力。云计算技术将使得中小企业的成本大大降低。“云”让每个普通人都能以极低的成本接触到顶尖的IT技术。–新的软件标准–新的合作流程：不受地理限制的合作平台；云计算带来的IT革命–资源的合理利用，提高运算效率；–快速的资源交付，提高软件开发测试速度；–标准的传输和协议，服务提供和访问标准化；–易于复制，快速扩展容量。云计算支撑办公用户在家完成文档编辑用户在公司可以继续编辑数据加密数据备份云服务器云存储将用户的数据存储在云端，让用户何时何地都可以访问云储存的高可用性让用户的数据更加安全云存储按照用户使用的容量进行收费，按需使用，节约成本电子商务云端存储基于云的文档处理云服务器云端代码托管分析您的厨房数据云端虚拟主机云计算正在改变我们生活的方方面面云计算的定义“云计算是一种商业计算模式和信息服务模式，它能够将动态伸缩的虚拟化资源通过互联网以服务的方式提供给用户。”——维基百科“云计算包括互联网上各种服务形式的应用以及数据中心提供这些服务的软硬件设施。”——伯克利云计算白皮书“云计算是一种共享的网络交付信息服务的模式，云服务的使用者看到的只有服务本身，而不用关心相关基础设施的具体实现。”——IBM云计算机遇与挑战云计算带来的产业变革–新的商业模式：计算资源的采购，获取，交付的变革–新的创新平台：突破硬件限制，可充分利用网络能力。云计算技术将使得中小企业的成本大大降低。“云”让每个普通人都能以极低的成本接触到顶尖的IT技术–新的软件标准–新的合作流程：不受地理限制的合作平台云计算带来的IT革命–资源的合理利用，提高运算效率–快速的资源交付，提高软件开发测试速度–标准的传输和协议，服务提供和访问标准化–易于复制，快速扩展容量IaaSPaaSSaaSIaaS：以基础设施形式提供服务（如虚拟机）PaaS：以平台形式提供服务（如Web托管，大数据处理平台）SaaS：以软件形式提供服务（如云网盘，在线Office）云计算的典型使用场景与层次划分云的发展-IaaS,PaaS,SaaSNetworkingStorageServersVirtualizationO/SMiddlewareRuntimeDataApplications传统环境NetworkingStorageServersVirtualizationO/SMiddlewareRuntimeDataApplicationsPlatformasaServiceNetworkingStorageServersVirtualizationO/SMiddlewareRuntimeDataApplicationsSoftwareasaServiceNetworkingStorageServersVirtualizationMiddlewareRuntimeDataApplicationsInfrastructureasaServiceO/SIaaS:CutITexpenseandcomplexitythroughacloudenableddatacenterPaaS:AcceleratetimetomarketwithcloudplatformservicesSaaS:GainimmediateaccesswithbusinesssolutionsoncloudInnovatebusinessmodelsbybecomingacloudserviceprovider云的发展-IaaS,PaaS,SaaS云到底在哪里?云计算的主要特征（外部）数据在云端：不怕丢失,不必备份,可以任意点的恢复软件在云端：不必下载自动升级无所不在的计算：在任何时间，任意地点，任何设备登录后就可以进行计算服务无限强大的计算：具有无限空间的，无限速度TheCloudistypicallyalargedata-centerAndverydifferentfromaPC云计算的主要特征（应用）IT能力以服务的方式交付资源池自动化管理与快速交付弹性扩展按使用量计费使用者自助服务开放的访问接口qPaaSqSaaSVirtualizationNetworkResourceqIaaSDataProcessingModelMassiveDataStorageApplication1ApplicationnHardwareDeviceinDataCenterUserAccess……ComputingNode虚拟化技术大数据存储与管理技术大数据处理技术云计算的主要技术IaaS相关技术什么是虚拟化？•虚拟化就是把物理资源转变为逻辑上可以管理的资源，以打破物理结构之间的壁垒•所有的资源都透明地运行在各种各样的物理平台上，资源的管理都将按逻辑方式进行，完全实现资源的自动化分配CPU网络服务器存储应用桌面操作系统为什么需要虚拟化技术？虚拟化前:每台主机一个操作系统软件硬件紧密耦合应用程序之间相互干扰系统的资源利用率低硬件成本高且不够灵活虚拟化后:打破了操作系统和硬件的紧耦合通过虚拟机提供资源，实现故障隔离各虚拟机之间软件相互独立虚拟机独立于硬件,能在任何硬件上运行虚拟化与云计算虚拟化技术可用于资源管理，提升资源利用率，降低能耗，是云计算的关键技术。虚拟化技术使得不同用户的应用运行在同一个服务器资源上，却可以保证不同用户数据的隔离。虚拟化技术使得虚拟机能够在底层服务器发生故障，自动迁移到其他状态良好的服务器上，甚至整个数据中心发生灾难，都能够实现快速恢复。虚拟化技术使得用户的系统配置需求能够快速获得满足，不同配置的VM（资源+OS+App）能够自动部署到资源池上。云计算IaaS是通过互联网请求和配置VM的（例如需要能够运行WindowsServer2003和OracleDB，要求500G硬盘，CPU为3GHZ），如果不采用虚拟化，需要人工去寻找特定的服务器（x86）以及相应的配置，并且进行安装部署虚拟化技术使得用户的VM能够实现动态弹性变更，而不需要预先预测容量需求云计算IaaS服务的一大特色正是用户可以在互联网弹性变更资源需求X虚拟化在云计算中的开源实现——OpenStack•OpenStack是由Rackspace和NASA共同开发的云计算平台，帮助服务商和企业内部实现类似于AmazonEC2和S3的云基础架构服务(IaaS)OpenStack能做什么将海量计算资源以虚拟机形式提供给用户管理云服务，查看运行和计费情况创建和存储用户应用的自定义镜像，并通过这些镜像启动、监控和终止实例管理云计算资源，能够配置和操作网络、存储等基础架构PaaS相关技术云环境下大数据处理——Hadoop数据文件（由数据块构成）数据并行作业（由子任务构成）数据分析应用计算节点云计算工作流（由作业构成）PigLatinJavaSQLXMLSCOPEIaaS编程接口数据并行作业执行引擎分布式文件系统PaaSMR编程模式及Hadoop的实现方式什么是MapReduce？MapReduce是Google公司提出的一种面向大规模海量数据处理的高性能并行计算平台和软件编程框架，是目前最为成功和最易于使用的大规模海量数据并行处理技术，广泛应用于搜索引擎（文档倒排索引，网页链接图分析与页面排序等）、Web日志分析、文档分析处理、机器学习、机器翻译等各种大规模数据并行计算应用领域。MR编程模式及Hadoop的实现方式MapReduce计算流程Inputsplitshuffleoutput1.读入数据:key/value对的记录格式数据2.Map:从每个记录里extractsomething–map(in_key,in_value)-list(out_key,intermediate_value)处理inputkey/valuepair输出中间结果key/valuepairs3.Shuffle:混排交换数据–把相同key的中间结果汇集到相同节点上4.Reduce:aggregate,summarize,filter,etc.–reduce(out_key,list(intermediate_value))-list(out_value)归并某一个key的所有values，进行计算输出合并的计算结果(usuallyjustone)5.输出结果MR编程模式及Hadoop的实现方式GoogleMapReduce并行处理的基本过程CitefromDeanandGhemawat(OSDI2004)1.有一个待处理的大数据，被划分为大小相同的数据块(如64MB),及与此相应的用户作业程序2.系统中有一个负责调度的主节点(Master),以及数据Map和Reduce工作节点(Worker)MR编程模式及Hadoop的实现方式GoogleMapReduce并行处理的基本过程CitefromDeanandGhemawat(OSDI2004)3.用户作业程序提交给主节点4.主节点为作业程序寻找和配备可用的Map节点，并将程序传送给map节点5.主节点也为作业程序寻找和配备可用的Reduce节点，并将程序传送给Reduce节点MR编程模式及Hadoop的实现方式GoogleMapReduce并行处理的基本过程CitefromDeanandGhemawat(OSDI2004)6.主节点启动每个Map节点执行程序，每个map节点尽可能读取本地或本机架的数据进行计算7.每个Map节点处理读取的数据块,并做一些数据整理工作(combining,sorting等)并将中间结果存放在本地；同时通知主节点计算任务完成并告知中间结果数据存储位置MR编程模式及Hadoop的实现方式GoogleMapReduce并行处理的基本过程CitefromDeanandGhemawat(OSDI2004)8.主节点等所有Map节点计算完成后，开始启动Reduce节点运行；Reduce节点从主