云计算和大数据讲座ppt(详细)

云计算和大数据讲座纲要数据中心与云计算架构基础1重点关注的云计算系统平台2国内行业云计算推广与应用3云计算技术与大数据时代4一、数据中心与云计算架构基础泛在互联的时代1移动电话PCsTVsPDAsGPS导航汽车电子设备智能家电iPhoneDCs传感器。。。我们已经进入一个无处不网、无时不网的时代！一、数据中心与云计算架构基础云计算技术来由21.云计算是能够提供动态资源池、虚拟化和高可用性的下一代计算平台，借用了量子物理中的“电子云”（ElectronCloud），强调说明信息处理的弥漫性、无所不在的分布性和社会性特征。2.云计算技术可将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务，一般具备以下3个典型特征：（1）硬件基础设施架构在大规模的廉价服务器集群之上；（2）应用程序与底层服务协作开发，最大限度地利用资源；（3）通过多个廉价服务器之间的冗余，使用软件获得高可用性。一、数据中心与云计算架构基础存储服务计算服务软件服务信息处理信息资源利用一、数据中心与云计算架构基础一、数据中心与云计算架构基础数据中心31.维基百科给出的定义是“数据中心是一整套复杂的设施。它不仅仅包括计算机系统和其它与之配套的设备(例如通信和存储系统),还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置”。2.谷歌的《TheDatacenterasaComputer》一书中,将数据中心解释为“多功能的建筑物,能容纳多个服务器以及通信设备。这些设备被放置在一起是因为它们具有相同的对环境的要求以及物理安全上的需求,并且这样放置便于维护”,而“并不仅仅是一些服务器的集合”一、数据中心与云计算架构基础数据中心4数据中心外部Google的节能措施微软的节能措施一、数据中心与云计算架构基础数据中心4数据中心内部Google在芬兰Hamina数据中心Google爱荷华州的ConcilBluffs数据中心微软的节能措施一、数据中心与云计算架构基础数据中心3规模经济性项目中型数据中心成本特大型数据中心成本比率网络$95每Mb/秒/月$13每Mb/秒/月7.1存储$2.20每GB/月$0.40每GB/月5.7管理每个管理员约管理140个服务器每个管理员管理1000个服务器以上7.1更低的硬件成本更低廉的电价更低的管理费用更高的利用率从10-15%到80%一、数据中心与云计算架构基础云计算技术特点5虚拟化分布式并行计算海量存储桌面应用云计算关键技术安全资源调度超大规模虚拟化云计算特点高可扩展性按需服务高可靠性极其廉价一、数据中心与云计算架构基础虚拟化机制6Wikipedia，维基百科的虚拟化定义虚拟化是表示计算机资源的抽象方法，通过虚拟化可以用与访问抽象前资源一致的方法访问抽象后的资源。这种资源的抽象方法并不受实现、地理位置或底层资源的物理配置的限制。IBM的虚拟化定义虚拟化是资源的逻辑表示，它不受物理限制的约束。虚拟化的三层含义虚拟化的对象是各种各样的资源；经过虚拟化后的逻辑资源对用户隐藏了不必要的细节；用户可以在虚拟环境中实现其在真实环境中的功能。虚拟化技术一、数据中心与云计算架构基础虚拟化机制6虚拟化技术虚拟化包括：1.网络虚拟化2.存储虚拟化3.桌面虚拟化4.服务器虚拟化5.应用虚拟化6.其它一、数据中心与云计算架构基础虚拟化机制6系统虚拟化系统虚拟化：使用虚拟化软件在一台物理机上虚拟出一台或多台虚拟机（VirtualMachine,VM）。虚拟运行环境需要为在其上运行的虚拟机提供一套虚拟的硬件环境，包括虚拟的服务器、内存、设备与I/O及网络接口等。一、数据中心与云计算架构基础虚拟化机制6系统虚拟化VmwareWorkstation一、数据中心与云计算架构基础虚拟化机制6服务器虚拟化服务器虚拟化：将系统虚拟化应用于服务器上，将服务器进行整合，根据需求虚拟出若干个服务器。一、数据中心与云计算架构基础虚拟化机制6桌面虚拟化桌面虚拟化：将用户的桌面环境与使用的终端设备解耦合。优势：通过实施桌面虚拟化，可将原有的终端数据资源甚至操作系统都转移到后台数据中心的服务器，而前台终端可以转化为以显示为主、计算为辅的轻量级客户端。一、数据中心与云计算架构基础虚拟化机制6桌面虚拟化将基础设施作为服务IaaS(InfrastructureasaService)将平台作为服务PaaS(PlatformasaService)将软件作为服务SaaS(SoftwareasaService)如：GoogleAppEngineMicrosoftWindowsAzure如：SalesforceonlineCRM如：AmazonEC2/S3专用通用一、数据中心与云计算架构基础云计算类别7一、数据中心与云计算架构基础云计算类别7讲座纲要数据中心与云计算架构基础1重点关注的云计算系统平台2国内行业云计算推广与应用3云计算技术与大数据时代4二、重点关注的云计算系统平台Google云计算190%计算任务都能够通过“云计算”技术完成桌面软件正在向Web软件转型云计算是开放标准，业界不会有公司垄断中小企业、大学、消费者会相对迅速地转向基于Web的“云计算”技术新的赢利模式低廉的云计算给Google带来更多的流量，进而带来更多的广告收入承认“云计算”不会在一夜之间普及大公司通常会慢慢地改变自己的习惯其它问题，例如“飞机问题”，以及在不能上网时用户如何工作。Google观点GoogleCEO埃立克.施米特二、重点关注的云计算系统平台Google云计算1在计算机上安装的传统软件是微软的根本比尔·盖茨(BillGates)接受媒体采访时曾提出：“我们致力于推动PC成为一切的中心”微软将自身的战略称为“软件加服务”微软将Google的乐观称作是一厢情愿。利用Web软件收发电子邮件、处理文档和电子表格、进行协作很方便吗？高速宽带连接会象Google断言的那样普及和可靠吗？企业、大学、消费者会让Google保存他们的资料吗？Microsoft观点MicrosoftCEO史蒂夫.鲍尔默孰优孰劣，等待市场检验！二、重点关注的云计算系统平台Google云计算1“浏览器＝操作系统”二、重点关注的云计算系统平台Google云计算1应用分类二、重点关注的云计算系统平台Google云计算1应用分类Google在线文档二、重点关注的云计算系统平台Google云计算1应用分类Google地图二、重点关注的云计算系统平台Google云计算1应用分类Google邮件42二、重点关注的云计算系统平台Google云计算1应用分类Google日历二、重点关注的云计算系统平台Google云计算1应用分类GoogleWave,Google+信息分享、协作、发布平台Google云计算1应用分类隶属于PaaS的Google云计算属于部署在云端的应用执行环境支持Python和Java两种语言通过SDK提供Google的各种服务，如图形、MAIL和数据存储等可使用Google的基础服务，如BigTable和GFS等用户仅需提供应用代码，无需服务器维护应用程序可根据访问量和数据存储需要的增长轻松进行扩展用户可快速、廉价地部署自己开发的应用（如创新的网站、游戏等）请求应用服务器应用服务器应用服务器应用管理节点静态文件前端前端前端二、重点关注的云计算系统平台二、重点关注的云计算系统平台Google云计算1需求分析Google拥有海量数据，需要存储管理和快速处理对爬虫获取的网页进行倒排索引计算网站的PageRank分析搜索趋势(GoogleTrends)计算网页的访问量……二、重点关注的云计算系统平台Google云计算1关键技术Google云计算平台关键技术文件存储，GoogleDistributedFileSystem，GFS并行数据处理MapReduce分布式锁Chubby结构化数据表BigTableGoogle云计算应用MapReduceBigTableGFSChubbySimple,andgoodenough!二、重点关注的云计算系统平台亚马逊云计算AWS2一个简单的想法IaaS：将硬件设备等基础资源封装成服务供用户使用主要思想：虚拟优势：动态申请，资源无限起源二、重点关注的云计算系统平台亚马逊云计算AWS2简单存储服务(simplestorageservice,简称S3)简单队列服务(simplequeueservice,简称SQS)弹性计算云EC2系统关键功能二、重点关注的云计算系统平台亚马逊云计算AWS2应用示范AWS的应用案例——SmugMug为什么选择AWSSmugMug是一家在线照片存储共享网站，拥有数亿照片资源和几十万付费用户。业务量的急剧增长导致该新兴公司无法承受巨额的基础设施开销，SmugMug选择了Amazon的EC2服务和S3服务。应用AWS后，仅需50人即可完成如此大的业务量。二、重点关注的云计算系统平台亚马逊云计算AWS2应用示范AWS的应用案例——《纽约时报》•使用亚马逊云计算服务在不到24个小时的时间里处理了1100万篇文章•累计花费240美元•如果用自己的服务器，需要数月和多得多的费用二、重点关注的云计算系统平台亚马逊云计算AWS2应用示范AWS的应用案例——《纽约时报》二、重点关注的云计算系统平台亚马逊云计算AWS2资费情况AmazonSimpleStorageService$.15perGBpermonthstorage•Object-BasedStorage•1B–5GB/object•Fast,Reliable,Scalable•Redundant,Dispersed•99.99%AvailabilityGoal•PrivateorPublic•Per-objectURLs&ACLs•BitTorrentSupport$.10-$.18perGBdatatransfer$.01for1000to10000requests二、重点关注的云计算系统平台亚马逊云计算AWS2资费情况AmazonElasticComputeCloud•VirtualComputeCloud•ElasticCapacity•1.7GHzx86•1.7GBRAM•160GBDisk•250MB/SecondNetwork•NetworkSecurityModelTimeorTraffic-basedScaling,Loadtesting,SimulationandAnalysis,Rendering,SoftwareasaServicePlatform,Hosting$.10-$.18perGBdatatransfer$.10perserverhour二、重点关注的云计算系统平台其它云计算平台3OracleRealApplicationCluster二、重点关注的云计算系统平台其它云计算平台3微软云计算二、重点关注的云计算系统平台其它云计算平台3IBM云计算二、重点关注的云计算系统平台其它云计算平台3HP云计算二、重点关注的云计算系统平台其它云计算平台3VmwarevCenter动态迁移：VMware（storage）vMotion容错：VMwareFaultTolerance高可用性：VMwareHighAvailability备份：VMCB（VMwareConsolidatedBackup）安全：vSafe，vShield资源优化：DRS（DistributedResourceScheduler）二、重点关注的云计算系统平台其它云计算平台3EMCAtmos二、重点关注的云计算系统平台其它云计算平台3Cisco统一计算系统二、重点关注的云计算系统平台开源云计算平台4Hadoop：Google云计算的开源实现OpenStack：云平台管理的项目，美国国家航空航天局和Rackspace合作研发的Eucalyptus：Amazon云计算的开源实现Cas