【打造高效能的CDN系统】.易统

打造高效能的CDN系统打造高效能的CDN系统任卿(易统)任卿(易统)淘宝核心系统研发部1议程议程一、淘宝CDN系统介绍CDN系统效能优化二、CDN系统效能优化三、低功耗服务器定制四、小结什么是CDN什么是CDN内容发•CDN(ContentDeliveryNetwork)内容分发网络，简单的说就是在不同地点缓存内容网络简单的说就是在不同地点缓存内容，然后通过负载均衡等技术将用户请求定向到最合适的缓存服务器上获取内容提向到最合适的缓存服务器上获取内容，提高用户访问网站的响应速度。通过C服务提高网站的访问性能及稳定•通过CDN服务提高网站的访问性能及稳定性，保障网站服务品质。淘宝CDN的一些数字系统的规模•CDN系统的规模–500T容量的原图+500T容量的缩略图约700亿左右的缓存图片数平均图片大小约20KB–约700亿左右的缓存图片数，平均图片大小约20KB–18KB以内的对象数量占总数量的80%CDN部署的规模•CDN部署的规模–近100个节点，部署在网民相对密集的主要中心城市每个节点目前处理能力在10G左右–每个节点目前处理能力在10G左右–CDN部署的总处理能力800G左右目前承载淘宝流量高峰时近流量–目前承载淘宝流量高峰时近400G流量CDN系统总览CDN系统总览淘宝系统体系结构淘宝CDN系统体系结构GlblLdBliGlobalLoadBalancingL1ChCacheCacheCacheCacheL1-CacheCacheClusterCacheClusterCacheClusterCacheCluster~30TL2-CacheCacheClusterCacheClusterCacheCluster~100TApplicationImageServerClusterImageServerCluster~200ServersStorageTFSClusterTFSCluster2000TUsed/3000TDeployed63000TDeployed软件负载均衡节点部署架构软件负载均衡节点部署架构CDN节点逻辑架构Haproxy七层负载SquidCDN缓存节点逻辑用户响应缓存服务器七层负载均衡q缓存服务LVS四层负载Haproxy七层负载Squid四层负载均衡七层负载均衡q缓存服务用户请求HaproxySquidpy七层负载均衡Squid缓存服务议程议程一、淘宝CDN系统介绍CDN系统效能优化二、CDN系统效能优化三、低功耗服务器定制四、小结CDN系统效能优化CDN系统效能优化负衡优•负载均衡优化•网络层优化网络层优化•存储优化Haproxy软件优化Haproxy软件优化优提高效率消除短•hash优化，提高效率、消除短板–servers=128nodes=128stdvar=3.010755e+06stdvar/avg=0.08973–servers=128nodes=256stdvar=1.974319e+06stdvar/avg=0.05884•精确的调度和数据清理–基于一致性哈希调度请求–基于调度历史做精确清理，避免全量清理操作基于调度历史做精确清理，避免全量清理操作•支持Cache功能将最热的内容缓存在中–将最热的内容缓存在haproxy中–改善性能，应对访问的热点基于一致性哈希的调度算法基于致性哈希的调度算法Haproxy长链接支持Haproxy长链接支持链接的作•长链接的作用•对客户端的keepalive，提高用户响应速度•对服务端的keepalive，提高服务器处理能力•TCP拥塞控制TCP拥塞控制Haproxy长链接效果Haproxy长链接效果•挖掘淘宝访问的业务特点，平衡系统开销和加速效果•提升用户体验，响应时间最多提升50%+动态内容加速动态内容加速能被缓存的态内容做加•针对不能被缓存的动态内容做加速•基于TCP协议原理，优化网络通讯基于TCP协议原理，优化网络通讯•内核协议栈调优•充分利用CDN节点和中心站点之间的”高速公路”公路动态内容加速效果动态内容加速效果•性能提升15%左右性能提升15%左右•目前已经有两个应用上线测试CDN节点存储优化CDN节点存储优化充缓存内容特点•充分了解缓存内容特点•充分了解存储介质特点充分了解存储介质特点•资源合理组合配置•优化缓存处理逻辑CDN缓存对象的特性12000%100.00%120.00%累计个数比例累计容量比例6000%80.00%40.00%60.00%000%20.00%018KB的对象数量占总数量的80%而存储量只有不到0.00%0369121518212427303336394245485154576063666972757881848790939699102105108111114117120123126•0~18KB的对象数量占总数量的80%，而存储量只有不到40%•80%被访问到的对象其存储占用只有不到20%•80%被访问到的对象，其存储占用只有不到20%•访问的局部性，决定分层次的对象存储IO存储介质内存Sata固态硬盘Sata机械硬盘内存Sata固态硬盘Sata机械硬盘IO能力6.4Gbps10000iops160iops存储容量4~16GB80~160GB500~1000GB单价（每G的成10202单价（每G的成本）150202存储系统优化思路存储系统优化思路充利性•充分利用访问局部性•通过控制将热点内容存储在内存和SSD，通过控制将热点内容存储在内存和SSD，降低对Sata机械盘的访问服务器IO的瓶颈在St机械盘•服务器IO的瓶颈在Sata机械盘•增加Sata机械硬盘提高存储能力，降低存增加Sata机械硬盘提高存储能力，降低存储成本存储系统优化实践存储系统优化实践•改进Squid的COSS文件•根据对象大小和访问特点切分，分级存储根据对象大小和访问特点切分，分级存储•支持热点迁移的TCOSS文件系统•用sendfile来发送缓存在硬盘上的对象•Squid内存优化一台Squid服务器若有一•Squid内存优化，台Squid服务器若有千万对象，大约节省400M内存，更多的内存可以用作SidMCh存可以用作SquidMemoryCache存储系统优化效果存储系统优化效果缓存字命中率•缓存字节命中率：97%以上•缓存请求命中率：97%以上缓存请求命中率：97%以上•缓存响应时间：10ms以内•单台服务器缓存对象数：6000万以上议程议程一、淘宝CDN系统介绍CDN系统效能优化二、CDN系统效能优化三、低功耗服务器定制四、小结CDN缓存服务特点•请求-响应的服务模型–请求的处理•基本上是通过hash(URL)对响应内容进行查询•逻辑简单，消耗CPU较少响应的处理–响应的处理•命中--》磁盘--》内存缓冲--》网卡--》网络--》用户•不命中》网卡》网络》网卡》内存缓冲》网卡》网络•不命中--》网卡--》网络--》网卡--》内存缓冲--》网卡--》网络--》用户•I/O密集型服务I/O密集型服务–CPU处理少–绝大部分是IO操作–绝大部分是IO操作–容量越大，命中率越高，目标：98%为什么考虑低功耗服务器•不断增大的CPU与IO之间的差距–对于IO密集型服务，硬盘、网卡是瓶颈降低CPU的峰值功率比动态调整功率使用更能减低系统能耗芯片的泄露电流随频率变化很小对于IO密集型服务，硬盘、网卡是瓶颈–在消耗30%CPU时，硬盘IO已满功耗的增加快于处理速度的增长片的泄露电流随频率变化很小性能强的CPU，外围组件（如网卡、总线等）能力都较强，因此耗电也相对高CPU功耗的增加快于处理速度的增长耗电也相对高传统CPU峰值功耗高限制了IDC服务器的密度IDC中每个机柜都有额定的功率IDC中每个机柜都有额定的功率虽然空间上可以放置几十台服务器，但是由于传统服务器的功耗高使得整个机架只能放置几台高，使得整个机架只能放置几台服务器，造成空间浪费在成本和功耗不增加的情况下，将原有单台高性能服务器承载的流量分摊有单台高性能服务器承载的流量分摊到多台低功耗服务器上，降低单台服务器故障带来的影响更高密度的存储能力更高密度的存储能力来源：FAWN-AFastArrayofWimpyNodes低功耗定制原则•低功耗–单位服务器满载功耗控制在20~30Watts•高密度–单位空间放置尽可能多的服务器和存储单位空间放置尽可能多的服务器和存储•兼容性通用的硬件方案–通用的硬件方案•高性价比单位服务能力的成本及功耗为衡量标准–单位服务能力的成本及功耗为衡量标准–成本包括：投入成本和运营成本可运维性•可运维性ATOM低功耗服务器1.2U的机箱，集成8个单独的服务器硬件系统，每两个服务器系统集成在一个板卡上；每个系统集成在个板卡上；每个服务器间只共享电源2.每个服务器系统配置：•DualCoreIntel®Atom™D525(18GHD525(1.8GHz13W)processor+Intel®ICH9RChipset•4GBNon-ECCDDR3（背面）4GBNonECCDDR31333MHzSO-DIMMs(pernode)support•3x2.5”Hot-swapSATAHDD(RAID01)HDD(RAID0,1)•2GEwithIntel82574L3.可热插拔硬盘与主板分离，共提供24个盘位支持一个板卡集成两个服务器系统提供个盘位支持4.内置BMC支持IPMI5.720W冗余高效金牌电源，支持PMbus（正面，24个可插拔硬盘）方案对比：存储IO配置对比Atom低功耗Xeon偏低功耗Xeon服务器CPUAtomD525IntelL3406IntelE5620•服务器CPUAtomD525-1*2cores-1.80Ghz-1MBcacheIntelL3406-1*2cores-2.26Ghz-4MBcacheIntelE5620-1*4Cores-2.66GHz-12MBcache内存2*2GB4*4GB3*4GB内存SSD1*80GB1*160GB2*160GBSASNANA6*600GBSata2*500GBrpm7200HyBrid3*500GBrpm7200ENNA机械硬盘容量（G)单盘IOPSSeagateSATA混合盘500120机械硬盘SeagateSATA混合盘500120SAS硬盘600180SATA企业盘500130节点存储与IO节点存储与IO单机SSD数单机SATA数单机SAS数Cache服务器数目机械盘总IOPS节点SSD总容量（G）节点硬盘总容量（G）节点总容量（G）Xeon偏低功耗1322858035203300036520Xeon偏低功耗1322858035203300036520Atom低功耗12641536051206400069120Xeon服务器26101080032003600039200服务器功耗估算对比单位功耗（瓦）数量功耗小计(瓦）ATOMD52513113西数混合盘2.224.4Atom低功耗SSD212网卡1.911.9内存224合计25IntelL340630130Xeon低功耗西数企业盘RPM72003.239.6SSD212网卡1.911.9内存4416合计60Xeon服务器IntelE562080180SAS9654SSD224Xeon服务器网卡1.911.9内存10440合计180节点服务能力、功耗预估机械盘总IOPS机械盘最大利用率内存和SSD命中率机械盘COSS命单位请求消耗机械盘估算QPS平均访问对象大小（KB）节点服务能力IOPS利用率命中率COSS命中率耗机械盘IOPS数QPS象大小（KB）能力（Gps）Atom低功耗1536080%~92%5.5%2.141044011815.5Xeon偏低功耗858080%~91%5.0%2.1464150189.5Xeon服务器1080080%~90.8%5.2%2.14776421811.5缓存服务器功耗cahe数量LVS服务器功耗LVS数量交换机功耗交换机数量总功耗（瓦）Atom低功耗256415028022