广东广电数据中心解决方案交流

基于云计算的IDC演进及建设思路密级：公开杭州华三通信技术有限公司目录运营商下一代数据中心发展趋势及挑战H3C运营商数据中心解决方案H3C新一代数据中心产品及应用全业务运营时代，软实力是关键全业务运营时代，内容与服务构成的软实力将成为电信企业的核心竞争力，而其支撑的基础就是各种各样的数据中心！手机电子书机顶盒电脑照相机数据中心运营商数据中心业务规划游戏运营视频分发社区网络在线交易移动互联网三网融合WEB2.0交互与搜索开放平台/应用、广告泛载网企业级私有云个人级公共云物联网资源托管BSSOSSMSSMSS1BSS2OSS2BSS3DCNBSS3OSS1分散集中全业务互联网云计算云计算公众服务数据中心IT支撑中心BSSOSSMSSBSSOSSMSS交换计算存储国内运营类数据中心现状数据中心运营商客户主要业务说明传统固网运营商中国电信中国联通大型企业大型互联网门户/网络游戏民营IDC运营商个人宽带/无线数据部门机房出租、带宽批发机架、带宽出租安全服务运营代维代建/主机托管依托带宽优势和机房综合条件处于优势地位，租赁类业务低价值化，积极拓展新业务，开始面向移动互联网业务建设IDC，技术体系需随业界整体发展前进移动运营商中国移动自身无线数据部门移动互联网数据运营企业中小型互联网企业自身彩铃/飞信/梦网等业务第三方移动数据业务：游戏，电子阅读，电子商务机架、带宽出租数据中心建设以支撑无线数据业务为方向，兼顾覆盖新发展个人宽带的互联网访问，积极投资数据中心建设。争取大型门户/游戏类网站民营IDC运营商超过4千家中小企业多数中小型互联网企业个人用户机架、带宽出租网站代建代维/主机、应用托管虚拟主机，虚拟存储（云计算）企业邮局，网站加速、VPN等增值类业务两级分化，新业务新技术、业务低质低价并存向IDC内企业级应用深入，增加用户粘性市场份额30%，50%小于500台服务器，发展规模受运营商制约互联网企业自身小型互联网企业内部综合业务系统承载机架、带宽出租业务系统复杂，新颖，建设理念较先进，技术要求高广电运营商自身个人宽带中小型互联网企业IPTV内容点播机架、带宽出租抓住NGB发展机遇，部分省份大力投资数据中心运营。以广电双向业务为牵引，逐步进入游戏类互联网领域超算中心企业，科研院所计算，虚拟计算发展初期，以计算应用为主，技术门槛要求较高企业托管机房选择标准硬件设施要求–机房内是否有省干或城域网节点设备–出口总带宽100G以上并且可扩展（大型互联网公司一般要求100G-200G出口带宽），具备支持40G、100G接口的能力，互联网出口线路是否有冗余备份，是否有多运营商出口备份？数据中心核心节点及出口设备是否有冗余备份？–要求具备提供高密度万兆接口的接入能力，便于未来虚拟机的规模部署–地面、墙、天花板必须密封、喷漆以减少灰尘，地面应具备防静电功能。整体以浅色装修以提高机房亮度。–按照TIA942数据中心可靠等级划分，能做到哪一个级别容灾？T1-T4–各托管分区的隔离控制，安全监控无死角，有远程监控–外部供电是否双回路？是主备还是热备？内部UPS是否N+1冗余或2N冗余？机房内部每机架的平均功率不小于4KW，最大功率15KW-30KW每机架（高密度刀片部署要求）–通风制冷是否符合机房标准：如下送风，上出风，冷热风道严格隔离–地板的承重标准不低于800Kg/平米–机房的布线方式是上走线还是架空走线–消防满足防火要求软件服务设施–严格机房门禁权限管理制度，电梯门禁，每列机柜门禁，隔离栅门禁等–集控室电视墙能随意切换、实时播放任意分区监控视频–网管能够实时监控数据中心骨干网状态，及每个托管分区网络及服务器等设备状态，提供远程告警功能–能否提供代维服务？响应时间7*24小时？数据中心分级(TIA-942)TierI基本TierII冗余单元TierIII可并行维护TierIV容错可用性99.671%99.749%99.982%99.995%每年IT服务中断时间28.8小时22.0小时1.6小时0.4小时建筑类型租用租用自建自建线路冗余NN+11主＋1备双主面积功率(w/ft)20~3040~50100+150+多运营商线路否否是是主干线缆冗余否否是是水平配线冗余否否否可选供电线路1路1路1主＋1备2路热备UPS冗余NN+1冗余N+1冗余2N冗余……注：数据中心的定级取决于整个系统中最低等级的部件可定制服务列表客户主要需求定制服务/推荐业务政府机房托管、带宽租用、局域网安全防火墙、防病毒、防攻击、内容过滤、流量清洗、P2P限流、负载均衡、流量监控、漏洞扫描和补丁修补、EAD教育服务器托管、教育网互联防火墙、防病毒、应用加速、内容过滤、漏洞扫描和补丁修补企业服务器托管、存储、局域网安全防火墙、防病毒、应用加速、安全访问SSL、负载均衡、流量监控、漏洞扫描和补丁修补中小企业服务器租赁/虚拟主机、Mail防火墙、防病毒、漏洞扫描和补丁修补网游带宽租用、机柜租用防火墙、应用加速、防攻击、漏洞扫描和补丁修补可定制服务主要手段服务器租用设备独享磁盘空间服务器资源分配－虚拟主机带宽专线、共享带宽、虚拟专用带宽防火墙Firewall(SecPath，SecBlade)防病毒ASM、IPS、ASE防攻击（DDoS）IPS、ASE应用加速TCP/SSL加速(ASE)加密访问SSL资源性能检查网管iMC内容检查ASE、IPS流量清洗IPS、Firewall(SecPath，SecBlade)运维报表XLog异常告警网管iMC,SecCenter漏洞扫描和补丁修补网管iMC、EAD联动P2P限流汇聚交换机、IPS、ASEKVMoverIP各类型客户的多种需求可灵活组合各种需求都有成熟的技术实现近年数据中心主要的发展趋势上档次：绝大部分省份将只建设4-5星级以上数据中心，不再建设低级别的数据中心。上规模：新建数据中心基本都是万台级别•百度：新建数据中心基本要求•淘宝：过去数据中心规模主要以6000-8000台服务器规模为主，现在基本要求1.5万台服务器以上。•移动重点南方地，北方基地，七大下载中心：音乐、视频、小说、支付……•电信重点建设八大下载中心：游戏、支付、视频、存储……满足云计算发展需求虚拟化高密度10G接入，100G骨干网络与安全融合各大运营商已经开始认识到数据中心是未来网络的战略资源，他产生的附加价值远远超过其产生的直接收入，特别是在云计算时代。所以各大运营商都开始重视新一代数据中心的建设。数据中心的发展趋势——典型案例中国西部信息中心位于成都高新区，占地面积90亩，一期项目建设面积为107000平方米，总投资6.1亿元。其是中国西部最大、最先进的数据灾备中心、信息安全中心、电话呼叫中心基地，成都也将实现由西部通信枢纽向西部最重要的通信交换和信息处理核心枢纽的升级换代，并建成立足西部、辐射全国、面向全球的灾备服务基地，为政府和各行业提供关键信息系统数据和应用层面的备份和灾难恢复等服务。系统总体架构佛山、东莞、珠海、江门等边缘节点广东、深圳骨干节点IPTVIDC骨干网用户骨干层接入层接入层IPTVIPTVIPTV内容流接入层边缘层建议广东广电从广电全国IDC资源战略布局的高度来进行定位：•比如在广州、深圳建成广电的南方基地，或全国移动视频下载基地等•同时在佛山、东莞、珠海、江门等业务量较大的地方建设市级数据中心IDCIDC运营商下一代数据中心网络需求运营商从传统通信管道供应商转型到能够提供丰富、多样、便捷和广泛的综合信息供应商，数据中心将成为运营商最核心的业务运营平台。带宽出租/代维增值业务SaaSPaaSIaaS运营商数据中心高密度/高性能功能区域化网络设计复杂流量模型处理网络虚拟化和异构网络定制化多业务提供能力资源托管全业务互联网云计算服务分布式DC部署和整合可运营的IaaS类服务智能运营管理平台可溯源安全防御体系智能安全渗透性网络三网合一流量：宽带接入网提速；城域网、骨干网升级带来流量猛增无线终端：3G,WLAN终端提升用户在网率，访问频率和平均在线时间WEB2.0:社交、游戏、视频发布等交互类应用，丰富海量内容搜索：重构数据中心内部数据流量模型和外部流量路径定制：面向移动互联网的集成定制类数据业务成为高利润市场能耗：低能耗设备，新型制冷技术与优化散热设计资源整合：借助虚拟化技术提升计算，存储，网络效率统一网络：FCoE，虚拟化技术，100G，极低延时和去抖动安全运营：端到端安全：网络攻击，内容监管，行为审计定制化可运营：多业务，高性能，易部署业务特点关键技术运营商下一代数据中心发展的思考监管缺失：出租类业务面临运营商对客户托管内容失控，无法监管；有高价值，差异化安全运营服务需求，但无规模化业务模式和简易的运营实现手段性能升级：发达省市IDC带宽超100G，现有设备/接口无法优化性能应用发展：移动互联网战略帮助运营商数据中心向应用级深入，大力发展基于移动终端各类应用外，并尝试云计算等新业务类型，但整体建设还落后于国内一流互联网企业发展瓶颈游戏新闻过去：线状流量模型多套系统纵向流量80%，横向流量20%流量方向简单突发性小现在与将来：网状流量模型统一的云计算平台横向流量80%，纵向流量20%流量高度不定向突发性大新闻视频数据IM数据数据OSSOSSOAIMEmailMSSMSSOSSBSS人人(240us左右)网络究竟在多长时间传送这些数据量？30KB*250=7.5MB=60Mb注：交换机无阻塞转发时延微妙级1ms的情况：吞吐速率=60Mb/0.001s=60Gbps10ms的情况：吞吐速率=60Mb/0.01s=6Gbps50ms的情况：吞吐速率=60Mb/0.05s=1.2Gbps100ms的情况：吞吐速率=60Mb/0.1s=0.6Gbps总结成一个问题：搜索模型的核心是网络流量突发性业务，或称burst10GE用户接口服务器检索服务器群300台GE所有检索服务器在瞬间向用户接口服务器返回检索结果，并发性强业务群业务群业务群业务群业务群业务群业务群业务群业务群业务群业务群业务群业务群业务群业务群业务群业务群•不定向的突发流量成为新业务数据中心的典型特征，而未来云计算的应用将使该特征更加显著。•网络流量从微观角度观察，其形态非常复杂，对实时性、可靠性敏感的网络，对设备缓存能力的需求十分迫切！云计算网络调度的难点—核心链路压力大业务群Serverfarm业务群业务群业务群业务群业务群业务群业务群业务群业务群业务群业务群业务群业务群业务群业务群业务群业务群•核心流量压力大–分散的服务器流量上核心–服务器规模大，流量大–灵活调度，流量不规律–核心链路流量压力大•云计算无阻塞网络结构–增加核心的容量–尽量减小收敛比，提高核心链路的容量–4核心IRF•调度机制优化–就近调度GE接入GE接入过程对于网络设计本无特殊要求，但迁移的范围要求网络二层连通网络对VM的资源和控制参数管理界面不清迁移控制网络控制节点分散VM之间交换通过内部vswitch服务器由主机人员管理主机人员无法精细