云计算技术在业务支撑系统中的应用

云计算技术在业务支撑系统中的应用中国移动通信研究院2010年5月2010年5月目录业务支撑系统面临的挑战云计算技术发展及特点概述云计算技术在业务支撑系统中的实践云计算技术在业务支撑系统中的实践云计算技术的成熟尚待时日内部资料注意保密挑战1：业务量增长带来的海量数据处理要求用户数（单位：亿）月话单数（单位：亿）3.694.575.223456147618282088150020002500以月均每用户平均400张计费话单考虑0122007年2008年2009年050010002007年2008年2009年‡后台系统数据处理量巨大（以中国移动经分系统为例）‡数据存储量6PB+(截至2008年底)2007年2008年2009年2007年2008年2009年‡数据存储量：6PB+(截至2008年底)‡数据处理需求‡固定应用：KPI指标的统计与查询(几千次/天)、OLAP(几百次/天)、报表(几百次/天)、即席查询(几十次/天)即席查询(几十次/天)‡非固定应用：处理临时的数据处理和查询请求‡物联网加剧了数据存储和处理的需求‡目前只有25%电脑接入互联网，到2015年预计有10亿台目前只有电脑接入互联网，到年预计有亿台‡现在终端设备有80%都是电脑或手机，到2015年，将会有汽车、电视、家电等设备具有联网能力，全球达到100亿台各种设备。业务量和数据量将进一步爆炸式增长内部资料注意保密挑战2：实时性的要求进一步提高传统的业务支撑系统¾是易于传统的离线的计费系统逐步演进而来的¾系统架构不能很好的适应于实时系统的要求¾针对更大业务量的全网性的移动互联网业务，在性能上很难以满足要求¾针对更大业务量的全网性的移动互联网业务，在性能上很难以满足要求开通使用计费天-分钟级别实时使用小时-天级别¾全网统一运营¾追求良好的用户体验更多移动互联网业务的特征¾追求良好的用户体验¾对系统响应的速度要求较高9用户对终端/页面响应速度的容忍时延在3-4秒，超过此时延，则用户感觉不舒服开通使用计费内部资料注意保密分钟-秒级别实时使用秒-分钟级别挑战3：支撑精细化运营要求处理海量数据持续跟踪移动互联网类业务进行业务质量提升业务优化以业务数据分析和评测为手段移动互联网类业务优化z持续跟踪移动互联网类业务，进行业务质量提升。业务优化以业务数据分析和评测为手段，发现业务在产品、功能、营销策略等方面存在的问题，并提出解决方案，从而增强业务的实用性和便利性，提升业务质量和客户体验。z根据业务运营管理及提供个性化客服的需求对系统中客户统一视图的数据进行分拣与组合客户画像及行为分析z根据业务运营管理及提供个性化客服的需求，对系统中客户统视图的数据进行分拣与组合，并结合来自于各业务平台的业务明细数据及用户使用业务的行为记录，形成完整的客户画像信息，根据客户偏好提供客服以及业务推荐等。z其它如详单查询及实时套餐推荐、终端分析、渠道分析等等精细化运营分析需求其它分析其它如详单查询及实时套餐推荐终端分析渠道分析等等精细化运营分析需求各类分析均需各类分析均需要海量的计算能力与存储能力内部资料注意保密目录业务支撑系统面临的挑战云计算技术发展及特点概述云计算技术在业务支撑系统中的实践云计算技术在业务支撑系统中的实践云计算技术的成熟尚待时日内部资料注意保密什么是云计算？云计算（CloudComputing）：种利用大规模低成本运算单元通过IP网络连云计算（CloudComputing）：一种利用大规模低成本运算单元通过IP网络连接，以提供各种计算和存储服务的IT系统系统具备高度的扩展性和弹性，可以以即插即用的方式方便、快速地增加能够将分布于于多个物理地点的资源进行整由具备一定规模的多个节点组成的IT系统，系统规模几乎可以无限扩大的方式方便、快速地增加和减少资源的资源进行整合，提供统一的资源共享，并能在各物理地点间实现负载均衡1.大规模提供一种或多种形式的计算或存储能力资源池，如物理服务器，虚拟服务器（虚拟机）事务和文实现负载均衡2.平滑扩展器（虚拟机），事务和文件处理能力或任务进程（如并行计算），以及存储能力等实现资源的自动分配管理，包括资源即时监控5.跨地域3.资源共享4动态分储能力等资源池可通过抽象化方式提供，并能够同时为多种应用提供服务括资源即时监控和自动调度等，并能够提供使用量监控和管理4.动态分配内部资料注意保密云计算产业预期：2009年达到最高预期，此后将务实发展2~5年内逐步成熟后将务实发展，2~5年内逐步成熟云计算/20092008更多最终用户接受了云计算的理念、使用云服务‐Salesforce 2009年达到150万订户，环比增50%‐Amazon EC2 2009新增IDC 2周内虚拟机数量达12,000，同比加速19倍更多运营商提供云计算服务，各种云服务规模不断扩大AT&TVerizon分别提供按需使用的租赁服务云计算处于最高期望点-Gartner09新技术预测‐AT&T, Verizon分别提供按需使用的租赁服务‐世纪互联推出按需租赁的云计算服务CloudEx，超过300台服务器‐上海电信联合EMC推出“e云”在线备份服务省公司和总部各部门开始考虑进行各种试点工作‐省公司和总部各部门开始考虑进行各种试点工作IT厂商进一步推出云计算产品，更多产品基于标准X86硬件‐Oracle、Netezza、GreenPlum等多数数据仓库厂商均推出基于PC服务器的产品的产品‐NSN推出基于标准X86服务器的增值业务软件产品，Cisco推出虚拟交换机产品‐Dell、Intel、天云科技均推出高密度的服务器产品仅美国主要云计算服务商托管存储：70PB+数据leDell、Intel、天云科技均推出高密度的服务器产品仅美国主要云计算服务商托管的大中型网站数月增长率达9%各行业组织和工业联盟纷纷进入云计算领域‐CSA, CCIF, OCC 等组织纷纷成立，面向云标准化工作传统的联标准化组织等始进计存储：70PB数据操作：1千万/秒IO：30GB+数据/秒管理节点1M10MBigTabrMapRed任务：9499/天各国政府在国家战略高度积极推进国家云计划‐传统的工业联盟和标准化组织DMTF、SNIA、ISO、IETF等开始进入云计算领域内部资料注意保密管理节点：1M~10M管理数据：1000PBIDC：100~1000个Spanner任务天输入：1490TB/天输出：157TB/天集群：488节点‐美国联邦cloud storefront, NIST 云计算定义，以及NASANebula项目‐英国G‐Cloud项目，日本Kasumigaseki Cloud，韩国Pilot Project… 云计算技术架构：分层次的云计算系统栈，为应用提供整体解决方案为应用提供整体解决方案管理功能应用用户服务运营管理应用层管理功能资源管理交互型应用（浏览等）存储型应用数据分析型应用应用用户服务资源申请云平台框架部署管理配置管理应用请求分发框架/任务分发媒体应用并行计算框架/任务分解…服务开停安全配置云平台能力组件平台层性能管理WebServerAppServerERP工具报表工具任务分发/任务分解使用计费监控管理故障管理WebServer数据库AppServerERP工具报表工具Cache消息队列ESBDFS数据挖掘监控与调度资源监控虚拟资源资源层计费管理虚拟服务器虚拟存储虚拟网络…资源监控资源调度物理资源资源层安全管理服务器存储设备网络设备…自动配置自动部署内部资料注意保密自动部署云计算相关技术成熟度：虽然系统栈中组件成熟度各不相同但是多数将在2~5年成熟成熟度各不相同，但是多数将在2~5年成熟内部资料注意保密云计算的关键技术为了高效地利用云计算的资源，使用户能更轻松的享受云计算带来的服务，云计算的编程模型必须保证后台复杂的并行执行和任务调度向用户和编程人员透明。并行编程模式为保证高可用、高可靠和经济型，云计算采用分布式存储的方式来存储数据，采用冗余存储的方式来保证存储数据的可靠性，以高可靠软件来弥补硬件的不可靠，从而提海量分布式在多节点并发执行环境，分布式资源管理系统是保证系统状态正确性的关键技术。系供廉价可靠的系统。存储技术分布式在多节点并发执行环境，分布式资源管理系统是保证系统状态正确性的关键技术。系统状态需要在多节点之间同步，关键节点出现故障时需要迁移服务，分布式资源管理技术通过锁机制协调多任务对于资源的使用，从而保证数据操作的一致性。分布式资源管理技术云计算资源规模庞大，一个系统的服务器数量可能会高达10万台并跨越几个坐落于不同物理地点的数据中心，同时还运行成百上千种应用。云计算系统管理技术是云计算的“神经网络”，通过这些技术能够使大量的服务器协同工作，方便地进行业务部署和开通快速发现和恢复系统故障通过自动化智能化的手段实现大规模系统的可云计算平台管理技术和开通，快速发现和恢复系统故障，通过自动化、智能化的手段实现大规模系统的可运营、可管理。管理技术内部资料注意保密云计算会给业务支撑系统带来什么改变高性能并行编程模式低成本海量分布式存储技术存储技术可扩展分布式资源管理技术高可靠性云计算高可靠性云计算平台管理技术内部资料注意保密目录业务支撑系统面临的挑战云计算技术发展及特点概述云计算技术在业务支撑系统中的实践云计算技术在业务支撑系统中的实践云计算技术的成熟尚待时日内部资料注意保密2010年5月21日，中国移动正式发布“大云”10版本云1.0版本2010年5月21日下年月下午13:30-15:00，中国移动在北京新云国移动在北京新云南皇冠假日酒店二层隆重举办“大层隆重举办大云”发布会，发布“大云”10系统“大云”1.0系统内部资料注意保密“大云”系统架构云计算应用层•中国移动内部的新型IT支撑系统网管系统mSpacesIDC。。。业务支撑系统管理信息系统中国移动内部的新型IT支撑系统•IDC,mSpaces,email等互联网应用云计算能力层数据挖掘工具库BC-PDM搜索引擎核BC-SE云存储中间件BC-NAS•数据挖掘工具库：挖掘应用的算法工具•云存储中间件：提供海量对象存储能力•搜索引擎核：提供基本的搜索引擎能力系统管并行程序设计和开发环境MapReduce搜索引擎核：提供基本的搜索引擎能力云计算平台层•MapReduce：MapReduce并行程序框架管理CloudM分布式并发控GlobalLo平台安全管CloudSecu结构化海量数据管理HugeTableMapReduce：MapReduce并行程序框架•HugeTable：结构化数据存储•HyperDFS：海量数据的分布式文件系统•BCOStore海量对象存储系统Master海量数据分布式文件系统HyperDFS控制ck管理urity对象存储系统BC-OStore•BC-OStore：海量对象存储系统•CloudMaster:云计算平台系统管理虚拟化资源层弹性计算服务BC-EC开源Linux操作系统、基于Xen、KVM的虚拟机•BC-EC：弹性计算服务•构建在海量同质化的PC与不可靠硬盘上•使用开源XenKVM提供计算资源的虚拟化内部资料注意保密•使用开源Xen、KVM提供计算资源的虚拟化•运行于开源的Linux系统之上建设1024节点规模的大规模实验室实验室建设实验室建设•2008年9月完成了大规模运算实验室一期工程的建设，配置了256台PC服务器，初步建立了大规模运算平台研发和试验环境规模运算平台研发和试验环境•2009年12月完成了大规模实验室二期扩容工程建设实验室部署实验室环境实验室部署实验室环境•节点：1036个服务器；5208个CPU核，10T内存；2.8P硬盘•交换机：9个万兆/千兆兼容以太网交换机，树形结构互联•软件：CentosLinux5.3，kernel2.6.18,gcc软件，,g4.1.2,jdk1.6,hadoop-0.20等•部署的应用：数据挖掘，弹性计算平台BC-EC，结构化海量数据管理平台HugeTable，搜内部资料注意保密EC，结构化海量数据管理平台HugeTable，搜索引擎，云