中国移动罗志国中国移动大云的研发和实践

2011年最受瞩目的IT业界盛会——第三届中国云计算大会于2011年5月18-20日在北京国家会议中心隆重举行。本次大会由中国电子学会主办，中国电子学会云计算专家委员会、中国云计算技术与产业联盟承办，CSDN网站、《程序员》杂志和电子工业出版社协办。此次大会规模空前、群英荟萃、主题丰富、突出实战并汇集全球视角。在20日上午举行的“云计算平台与应用实践”分论坛上，中国移动通信研究院业务支撑所云计算研究室经理罗志国带来了《中国移动大云的研发和实践》主题演讲。罗志国在演讲中从三个方面介绍了中国移动在运营方面云计算发展的策略和实践：1.云计算对云计算的需求和现在云计算时代面临的一些挑战；2.运营商级云计算发展趋势；3.中国移动“大云”研发实践。从全球云计算服务的规模来看，增长的规模是很大的，公有云也会向混合云方面慢慢发展，这是一个演变趋势。最后通过实践经验总结出五条运营商级云计算发展趋势：1.基于服务器的虚拟化技术；2.软硬件架构；3.存储；4.数据中心；5.云服务能力。以下是演讲实录：我给大家介绍一下作为中国移动在运营商方面云计算发展的策略和实践。我主要分三个方面来介绍：1.云计算对云计算的需求和现在云计算时代面临的一些挑战。2.运营商级云计算发展趋势。3.中国移动“大云”研发实践。我们现在是一个互联网时代，互联网时代意味着信息和带宽的爆炸式增长时代，互联网Web2.0已经使大众成为一个信息创造的主体，所以我们的信息已经是怎么也看不完了，我们希望用云来筛选，找到我们真正需要的东西。移动互联网时代，已经把信息生产从PC拓展到手机。大家都在用微博，大家一方面可以通过手机看微博，也可以通过手机浏览器的方式看微博，也可以通过发彩信发微博，在移动互联网时代，信息的发布和访问是更加便利。互联网已经从人和人之间的连接，变成物与物之间的连接，物联网使得信息生产的人已经拓展到物了。从以上数据来看，数据爆炸是非常明显的趋势。互联网的发展离不开云计算，互联网的业务发展处理量非常大，而且一般互联网的运营商提供服务，都是采用后向收费的模式。后向收费的模式一方面需要我们的业务能够尽可能大的吸引用户，另一方面也需要有一个比较低成本的IT技术，在竞争中间才可以有生存的空间。如果能够把整个IT系统做到成本很低的话，我的收益率就可以更高一些。而云计算也是高处理的性能、低成本、高扩展的优势，也是被互联网公司广泛采用。最开始Google取得这样一个竞争地位，就是海量数据处理能力用到了一个很低廉的X86的解决方案，能够有效的实现海量的信息存储和检索。实际上我们也看到互联网门户的网站是把已知的信息编辑起来，实际上是一个已知的状态。搜索是通过一些已知的信息，把未知的信息找到。我们要通过互联网实现个性化的服务，把握个人使用的一些行为收集起来，同时需要把我们这些信息从海量信息里面挖掘出来，这块实际上是需要消耗很大的计算存储的资源。云计算也是发展的一个趋势，从全球云计算服务的规模来看，增长的规模也是很大的。以美国为例，它的数据中心用电占社会总用电量逐年增长，云计算数据中心将来会成为能耗中心。我们为了解决这样一些矛盾，云计算也要实现绿色节能相关的问题。云计算也是有这样的一些好处，通过集中化的管理来取代分散的建设，以及专业维护替代低等级的运维，以及资源虚拟化来降低这种设备的数量等等。整个云计算的特点和商用的要求，也会对现在的IT产业链产生冲击，也会产生更加大型化、专业化、集中化的云计算服务。在云计算发展的时代，对于通讯基础设施服务商来说，也是有很大的挑战。其实我们首先来看，我们现在产业格局已经跟以前不太一样了，我们设备商也在提供云计算的服务，软件服务商更是直接以SaaS的形式对外提供服务了。电信运营商也不断拓展自己的业务，自己做一些云计算的研发，有一些跟厂商一起提供相关的服务。互联网服务商甚至走在更前面，像亚马逊、Google，已经有非常成功的云计算服务的案例了。国内现在也在不断的发展，包括IT、互联网公司发展的都非常快。这几天来看，中国云计算产业也是越来越完善了。其实运营商也是可以利用云计算打造未来通信基础设施，这里面有两层含义。第一层，对运营商来说也是对用户的保障，因为政府、国有企业在公信力方面有很大的优势。第二层，整个云计算也是我们自己的要求，首先我们要降低IDC成本，其次，我们提高IDC服务层次，另外打造互联网的优势。下面是运营商级云计算发展趋势，我总结了五个。第一个，基于服务器虚拟化技术，构建云计算资源池，提升已有各类应用基础设施利用率，降低能耗和维护管理成本。第二个，关于软硬件架构的，它的趋势就是规范化云计算的软件系统架构，从传统的小型机加数据库的架构向低成本、高标准化程度的X86服务器云架构演进。第三个，关于存储的，基于X86集群的分布式云存储系统，逐步替代原有的盘阵系统，实现低成本，高效率的海量数据存储和数据处理。第四个，数据中心，优化数据中心，实现企业IT系统高效率低成本的运营。第五个，云服务能力，从IaaS层面入手，进一步提供基础资源服务能力，整合计算存储网络资源来发展IDC的公共云服务，进一步像PaaS和SaaS服务发展。下面我对这五个方面进一步阐述。第一个，我们可以看到虚拟化方面本身的技术也是不断发展，也是经历了三代发展。一代是资源共享，虚拟化1.0，主要是实现资源共享，集中部署。二代是高可用性，虚拟化2.0，主要是负载均衡，容错，灾备做得更好。三代是动态分配，虚拟化3.0，主要是基于策略，自动控制，动态迁移，使得成本可控，目的是把计算资源、存储资源、网络资源有机整合在一起，形成一个云计算资源池，通过资源共享和统一管理、动态调度等等能力，能够对外提供一个整体的资源池服务和管理。上面除了应用以外，资源池对上还有一些标准的接口，比如说我们可以实现一些弹性的API，能够使得系统自动根据业务的情况实现系统的扩展或者减小。X86服务集群架构构建云平台。X86服务器替代小型机应该是一种发展趋势，同时也是具备这种可行性和必要性的。另外我这里给大家共享几个数据，来自Garter的数据，2010年3月份统计了一下全球服务器的市场，X86出货量相比之前增长了14.9%，营收增长52.9%，小型机出货量相对于降低10%，营收降低9.5%，这从出货量可以X86的优势。我们从性能、标准化、可扩展性、可靠性、能耗等等，X86替代小型机也是具有可能性的。性能，我们通过一些测试，发现X86服务器跟中低端小型机来比，性能已经是相当了。扩展性，X86拓展性方面可以水平增加机器，按时扩展系统的能力。一般的小型机对于扩容带来一定的难度。比如说一套系统容量进一步增加，可能需要再买一台更大的小型机替代配置低一点的小型机，我的服务可能会中断，而且数据还要迁移，这个是非常复杂的。标准化，X86是非常标准和通用的架构，小型机因为每个厂商都有自己自有的方案是比较封闭，导致小型机的成本一直降不下来。能耗，小型机为了考虑单机的可靠性，冗余比较多。X86冗余性很低，而且还可以实现一些定制，现在微软和Google，都有一些非常高度定制化的服务器，像Google都没有机箱了，很多东西都不需要了，进一步降低能耗。可靠性，X86可以通过集群提高可靠性。存储方面，我们也认为由封闭存储向低成本、易扩展、开放的分布式云存储发展。盘阵也是非常复杂，导致成本比较高，可靠性比较差。分布式存储就是一套软件加上底层服务器来构成的，标准化程度相对高一些，也可以提供一些文件的接口，表的接口，国际组织都有一套标准的定义，自己整套系统欧是一个可靠的系统，它可以用一些硬盘来恩支持，成本比较低，可扩展性也比较好。优化数据中心，实现节能高效。建设大规模、低成本、仓储式、节能型数据中心，实现企业IT系统高效率低成本运营。中国移动数据中心普遍的问题就是规模比较小，利用率比较小，能耗比较高。相比之下，Google的数据中心能效比，效率比传统数据中心高一倍，它的能耗大概只有一半那么多。我们一个中长期的目标希望能够提高超过2倍的机房利用率，同时单位业务要减少三分之一的能耗，这也是我们的一个目标。我们在IDC里面，可能也有很多的空间，但是我们出租的时候每个机柜上面可能装不了太多的机器，主要是能耗的要求在这儿。如果我们进一步提高能耗利用，单机能耗能够提高的更好，单位密度放的机器就更多了，可以降低整个IDC的成本。我们的目标就是希望进一步实现提高部署的速度，实现模块化的扩展，以及高密度、高能效的能力，还要提高专业化和产品化的能力。IDC公众云服务，云计算IaaS资源层技术和商务模式相对成熟，可首先发展IaaS云服务能力。构建IDC云计算平台，提供IDC云计算服务，未来也会向PaaS和SaaS演进。最后总结了一下运营商计算机发展策略。公有云向混合云方面发展私有云演进从烟囱式应用系统，向资源共享、私有云、混合云方面发展。私有云，改变烟囱式的系统建设部署方式，构建标准化、集中化、动态自动化的云计算资源池。公有云，构建IDC云计算平台，为中小企业、互联网初创公司，个人提供弹性服务，整合运营商网络、用户能力资源、构建能力开放平台。推动云服务模式，实现随时随地、任何终端自由访问。混合云，大型企业需要私有云提供持续、稳定的安全的服务，又需要公有云满足不确定性需求，IDC云计算也会往混合云的发展。中国移动“大云”研发计划中国移动启动“大云”研发计划，打造公司云计算核心竞争力，“大云”计划是中国移动通信研究院为打造中国移动云计算基础设施而实施的关键技术研究及原型系统开发计划。目标是为满足中国移动ID支撑系统高性能、低成本的需求，也为满足我公司提供互联网业务和服务的需要。“大云”分三个产品线，数据管理和分析、计算存储资源池、满足实时交易和实时批处理的产品线。我们在数据管理和分析上面做了一个数据仓库管理系统，在并行数据挖掘和ETL处理也做了很多工作，同时我们前期开发了一些搜索引擎的原型。计算存储池有两个用途，一是在内部使用，二是对外提供弹性云服务。浅绿色是比较成熟的，今年我们将会在内部推一个1.0版本，我们会在内部试用，逐步成熟只有逐步推广应用。现在我们在做的就是实时交易方面，包括SQL数据库，还有关键型数据库怎么在X86上扩展，也要做一些研发工作。我们有一个总的云平台系统管理，我们希望整个“大云”平台能够承载各种应用。关于产品的发展规划“大云”应用试点方面包括内部的支撑系统，业务平台，还有公众服务都有尝试。支撑系统就是BI系统数据抽取、加载还有数据挖掘，还有海量数据备份，另外我们现在也在做包括网管系统的信令监测。业务平台，我们跟相关的厂家把“大云”的模块做日志存储分析，无线城市虚拟化应用。公众服务，包括电子政务虚拟化应用，商业化应用研发实验。我们通过试点不断的常识，希望把“大云”做得更加成熟，整个过程中我们继承商和设备商、软件开发商都跟我们紧密合作，他们把大量的模块放在他们的应用系统里面。中国移动跟新华社成立了一个合作公司，就是做盘古搜索，互联网的搜索，我们前期也开展了很多工作，它的底层是用了通用的云计算的软件平台，现在整个盘古搜索也是构建这个“大云”上面，目标是实现高效、低成本，还有业务快速上线和大容量、高性能的处理，同时实现水平的扩展和动态调动的能力。最后讲一下“大云”开发者，刚才我介绍了“大云”的集成商和软件开发商都在围绕“大云”开展工作，也建立了一个“大云”开发者社区，可以让一些个人开发者或者一些公司的开发者在上面体验“大云”，同时进行一些云计算的交流和技术的推广工作。在这方面，我们也把“大云”相关的技术资料和开放的API，甚至包括培训材料都在上面，希望大家访问。我要介绍的就这些，谢谢大家。更多精彩内容，请关注第三届中国云计算大会官网及官方微博。云计算大会官网：ciecloud.org011CSDN云计算频道微博：weibocsdncloud云计算大会官方微博：t.sinaciecloudfkjdjfg免费电话