云计算实际案例

云计算实际案例云计算案例•案例一：AmazonWebService•案例二：Google•案例三：Yahoo!•案例四：IBM•案例五：eBay•案例六：Baidu•案例七：微软AmazonWebService•AWS核心服务–基础设施层服务•计算服务•存储服务•数据库服务•消息传送服务–平台层服务•电子商务•支付•物流AmazonWebServiceAWS基础架构AWS-计算服务•AmazonElasticComputingCloud(EC2)–通过虚拟化技术向用户提供计算资源–用户可以根据自己的需求动态地申请或停止资源的使用•AmazonElasticMapReduce–通过在AmazonEC2和AmazonS3上构建Hadoop框架而实现AWS-存储服务•AmazonSimpleStorageService（S3）–由对象和存储桶组成–存储容量可以动态扩展–按需付费–在AWS云上的其他服务也可以直接访问S3上的数据(REST或SOAP接口)–适合存储较大、一次写入、多次读取的数据–缺点•数据操作存在网络延迟•不支持文件重命名、部分更新操作AWS-存储服务•AmazonSimpleStorageService(S3)–数据安全性•采用账户认证：利用存取密钥对请求签名•访问控制列表：利用访问控制列表设定数据的访问权限•查询字符串认证：利用字符串认证限制HTTP或浏览器对数据的访问–数据可靠性•采用冗余备份的存储机制•备份数据一致性保证AWS-数据库服务•AmazonSimpleDB–支持结构化数据存储和查询操作的轻量级数据库服务–基于S3和EC2–存储模型•域(Domain):数据的容器,数据按域划分•项(Item):若干属性组成的数据集合•属性(Attribute)：一个或多个文本值所组成的数据集合AWS-数据库服务•AmazonSimpleDB–访问方式：REST,SOAP访问–缺点•数据操作延迟•数据模型不同于关系型数据库•无法保证更新操作顺序AWS-数据库服务•AmazonRelationalDatabaseService(RDS)–用户通过RDS可以使用MySQL所具有的功能–还支持Oracle11g的功能–收费：0.16美元/小时AWS-消息传送服务•AmazonSimpleQueueService(SQS)–提供分布式组件之间传递和存储消息服务–核心组件•消息–可存储到队列中的文本数据–可通过公共访问接口操作消息•队列–消息的容器–消息传递–访问控制–支持并发AWS-消息传送服务•AmazonSimpleQueueService(SQS)–基于分布式架构•消息可保存在不同的机器中•不严格保证消息的顺序•同一个消息可能被处理多次•取消息时无法保证得到所有消息•消息传递有延迟AWS-消息传送服务AWS-消息传送服务•AmazonSimpleNotificationService(SNS)–在云中建立、操作和发送通知的Web服务•AmazonSimpleEmailService(SES)–提供高扩展的大量事务性邮件发送服务AmazonEC2•AmazonEC2–AmazonMachineImage(AMI)•基本的部署单位•包含所有软件和配置的虚拟环境–EC2虚拟机实例•同一AMI创建的实例具有相同的配置•不存储系统状态信息–AMI运行环境•大规模虚拟机运行环境•物理机资源池和虚拟机运行平台•提供访问控制、存储、网络、防火墙服务AmazonEC2•AmazonEC2–使用步骤•打包AMI虚拟机镜像文件•上传AMI到S3•通过服务接口启动虚拟机实例–优势•可伸缩性•节省成本•使用灵活•安全可靠•容错AmazonWebService•AWS客户广泛，其中包括著名的互联网公司和创业型公司•2010年，AWS部门的收入已达5亿美元，已经成为Amazon收入的重要组成部分Google•云计算技术•云计算产品Google•GoogleAppEngine(GAE)Web运行平台•Gmail、GoogleDocs等云端应用•分布式文件系统GFS•分布式计算框架MapReduceGoogle•GAE平台–GAEWeb服务基础设施•提供可伸缩的服务接口,资源使用和管理–分布式存储服务DataStore•基于对象的结构化存储以及数据管理–应用程序运行时环境•提供可自动伸缩的运行环境–应用开发套件•开发和测试Web应用,部署应用–管理控制台•查看资源使用情况、数据库更新、版本管理、应用状态和日志GoogleGAE系统结构分布式存储服务DataStore•GAE的分布式存储服务DataStore–基于Bigtable•管理海量结构化数据的分布式存储系统•提供简单的数据模式动态地控制数据部署•通过维护稀疏的多维排序映射表来检索数据–支持结构化数据查询和更新–支持事务处理–可伸缩性–通过JAVA或Python数据库标准接口访问分布式存储服务DataStore•DataStore高级特性–两种事务操作类型•对实体的一组操作组成事务•对一组实体的操作组成事务–GQL•类SQL查询语言•配置文件定义数据索引–乐观的并发控制应用程序运行时环境•GAE的应用程序运行时环境–可伸缩的Web程序运行平台–支持JAVA和Python•JAVA:提供GoogleWebToolkit开发框架–多版本管理–可使用Google应用服务应用开发套件•应用开发套件–开发、测试、部署、管理–提供GAEEclipse插件–提供安全沙盒•模拟API•检查是否存在禁用模块•检查是否有系统资源的非法访问云端应用程序•GoogleGmail：Web邮件服务–支持即时消息、视频，移动访问–垃圾邮件过滤、防病毒•GoogleDocs：基于Web的文档处理程序–支持在线编辑和多人协作–保存用户修订–强大的文档检索•GoogleCloudConnect–可以直接链接本地Microsoftoffice和云端的GoogleDocs–文档在本地保存的同时也保存在云中–并通过链接向别人分享自己的文档Google云计算技术•GFS–针对数据密集型应用的分布式文件系统–运行在廉价硬件环境上并拥有较高的容错性•MapReduce–利用输入键/值–对集输出新的键/值对集–将并行计算细节隐藏–用户只需实现map函数和reduce函数即可Yahoo！•Yahoo!云计算平台上主要有三大利器–Hadoop–Sherpa–MObStorHadoop•Yahoo!将Hadoop应用于自己的各项业务和产品中–数据分析、内容优化、反垃圾邮件系统、广告的优化选择、大数据处理、用户兴趣预测、搜索排名、广告定位等•如：实时服务系统从数据库中读取用户到兴趣的映射，Hadoop集群则基于最新数据重新排列内容并更新页面。Sherpa•Sherpa–Yahoo!的分布式数据存储和服务平台–主要针对的是结构化的记录型数据。–Sherpa平台上最关键的是PNUTS•PNUTS–大规模并行处理的分布式数据库系统–放弃了传统关系型数据库强一致性的要求–由StorageUnits、Router、TabletController和MessageBroker四部分组成MObStore•MObStor–主要用来存储非结构化的二进制大文件–对数据提供可靠、安全存储的同时还能向用户提供快速的响应–体系结构分为三层，分别为•对象存储层（ObjectStoreLayer）•本地对象管理层（LocalObjectManagementLayer）•全局对象储存层（GlobalObjectManagementLayer）IBM•云计算产品•云计算解决方案云计算产品•IBM在虚拟化和云计算方面拥有众多产品，包括基础设施层、平台层和应用层•IBMEnsembles–将计算、存储、网络等物理资源虚拟成基础设施资源池，隐藏了内部实现细节向上层提供资源访问和管理的接口•IBMTSAM–提供应用服务的管理平台，应用服务生命周期的管理，包括服务的设计、部署和运行管理整个阶段，实现了硬件到操作系统、中间件的整体管理自动化•IBMSmartCloud–用于数据中心的云服务软件，在向公司用户提供云存储的同时也提供数据分析、销售管理、测试工具等服务•IBMWebSphereCloudBurstAppliance–用于创建、部署、管理私有WebSphere云环境的产品IBM•IBMEnsembles–一组采用虚拟化技术实现的资源池，将计算、存储、网络等物理资源虚拟成基础设施资源池，隐藏了内部实现细节向上层提供资源访问和管理的接口–服务器Ensemble:计算资源池–网络Ensemble：网络资源池–存储Ensemble:存储资源池–Ensemble管理器：Ensemble系统管理–Ensemble服务接口：统一的操作接口IBMEnsemblesIBMEnsemble架构IBM•IBMTSAM–管理功能•服务的设计阶段•服务的部署阶段•服务运行时的管理阶段–用户角色•服务设计者•服务运营者•服务管理者IBMTSAMIBMEnsemble架构IBMTSAM•IBMTSAM设计阶段：通过服务定义设计服务–操作系统服务：针对IBMZ系列主机,描述服务管理的全套流程管理–自助虚拟服务器部署：针对Systemx和Systemp服务器，提供对虚拟服务器和相关软件的全套流程管理–解决方案服务：提供针对不同中间件、应用和解决方案的管理流程定义IBMTSAM•ITMTSAM部署阶段–发布服务定义到服务定义目录–服务管理者选择服务类型，提交部署请求–TSAM完成自动化部署,产生服务部署实例•ITMTSAM运行时管理阶段–服务管理者负责日常管理操作–TSAM提供管理计划实现管理操作自动化–生命周期结束，TSAM回收服务占用的资源IBMLotusLive•IBMLotusLive–会议服务•LotusLiveMettings:在线会议服务•LotusLiveEvents：在线事件管理和网络会议服务–办公协作服务•LotusLiveEngage:整合的社交网络模式的协作服务•LotusLiveConnections:集成的社交网络协作服务–电子邮件服务•LotusLiveNotes:富客户端电子邮件系统•LotusLiveiNotes:Web电子邮件系统云计算解决方案•“蓝色洞察力”决策分析云系统–处理全球小型交易等业务•LotusLIve–使得公司内员工及合作伙伴协作高效化•桌面的集中虚拟化•提高了控制管理的安全性及维护的方便性云计算解决方案•存储云–实现虚拟化储存，将数据储存在一起，有效地节约了空间•数据中心整合–里面的应用程序也随之部署在云计算上，实现资源整合•生产研发–如在芯片设计时需要昂贵的软件和巨大的计算存储资源，采用设计制造云后既减少了设计成本提高资源利用，同时也保证了知识产权的安全。IBM•IBM使用云计算整合自身的全球资源提供优质服务•基于对云计算的认识，IBM提供公有云、私有云和混合云多个选项，减少用户对隐私、安全的顾虑来吸引用户eBay•基于开源云计算框架Hadoop建立了自己的集群—Athena•开源云平台项目—TurmericAthena•核心层–包括Hadoop运行时环境、通用工具和HDFS•MapReduce层–为开发和执行任务提供API和控件•数据获取层–数据获取层的主要框架是HBase、Pig和Hive•工具、加载库层–主要的加载库有：统计库R、机器学习库Mahout、数学相关库Hama、解析网络日志库Mobius•监视和警告层–Ganglia是分布式集群的监视系统，Nagios则用来警告关键事件如服务器不可达、硬盘已满等。Turmeric•面向服务构架的综合平台，用户可以在上面开发、部署、管理和监控服务•核心运行库–基于流水线架构，主要用来运行服务和客户端•开发工具–提供Eclipse插件来帮助创建服务和客户端•监控器–该监控器包含多个组件：收集客户端和服务端信息的运行收集组件、数据配置组件、监控节点信息的服务监控组件以及方便用户查看的控制台组件Turmeric•