51CTO下载-淘宝核心库硬件优化

1淘宝核心库硬件优化天羽09:441Agenda•硬件选型•数据库分布式改造项目•IO调优•主机申请09:442硬件方案•性能关注点•SAS/SSD/IOdrive•IO监控09:443硬件方案-性能点09:444•I/Othroughput,latency•Memorycapacityandthroughput•CPUspeedandnumberofcores•Network(1Gbpsvs.10Gbps,eventhandling)•Software(parallelism,locking,mutexes)一直以来，数据库的瓶颈是IO。未来瓶颈在mysql和cpu硬件方案-响应时间用户库改造•用户库-最早分布式改造的核心库•Tair命中率99%•容灾，流控•Mysql运维能力一致性，复制延时波动(raid,binlog)，ddl锁表09:446一次性去IOE商品库改造数据量xx亿+读写压力与分布下一步方案？Ssd?Flashcache?09:447PC*16P590*2Flashcache介绍8•数据热点，xx亿商品，x亿在售•去除商品下架逻辑，数据增长不可控。•高qps，低tpsFlashcache介绍元数据开销:24bytein-memory(300G/4k,1.8G),16byteon-flash开机attach、维护unload、预热、白名单9………1set=512blocks业务压测-DB数据•%user45%%iowait8.20•BPhit99.3%flashcachehit98.2%•/proc/flashcache_setutil79441(2MB)个util99%10配置cpu2*4cE5620Mem72GBP56GDiskFIO320GData166G12sas结果压力：QPS26000TPS1630Sasiopsread120write900SSD特点1、特点：延时75/95us重启时间短，功耗低2、技术：•Raid5onDie,ECC•并行读写•带电容和内存，保证写延时和完整•FlashTranslationLayer•garbagecollection•wearleveling113、IntelSSD:300G寿命30T6块25nmMLC300G-240GRAID516k随机读25000，随机写3000-4000SSD性能09:4412300Gto240G09:4413硬件方案-IODrive14FusionIO320GMLC官方数据4PB1W次测试数据逻辑写134G/天，物理写809G/天，(4000*1024/8098)/356=14年pcieVSsasCPU—北桥—南桥—SAS/RAID控制器—背板—磁盘15ioDriveVSssd16交易库改造•CPU:2*6c•Mem:xxG•DISK09:4417IO优化-OS18内存numa=offFSmount参数noatime,nodiratime,barrier=0IO调度器schedulerdeadline(noop,cfq,as)nr_requests512增大队列长度default128read_ahead_kb16减少预读default128IO优化-Mysql•innodb_flush_method=O_DIRECT•innodb_use_native_aio•binlog、redolog、doublewrite放SAS•innodb_thread_concurrency•innodb_io_capacity•innodb_change_buffering=none•adaptive_flushing•innodb_read_io_threads•innodb_write_io_threads•innodb_buffer_pool_restore_at_startup09:4419IO优化-RAID卡•Cachecade•FastPath•CutThrough09:4420IO优化-最小化热点数据•使用紧凑长度的数据类型(SMALLINT来替代VARCHAR/BIGINT,TIMESTAMP来替代DATETIME等等)•不要创建无用的索引•删除或移动不必要的数据，保证热点表尽量小09:4421IO工具•FIO/Orion压测•Ioprofile观察业务strace+lsof•Iostat09:4422不要相信util,util就是（r/s+w/s）*svctm/1000如果你的IOPS是1000，svctm是1ms的话，那util就是100。传统机型•15000rpm12*riad10SAS盘•RAID卡512M带电池，WB•CFQ-Deadline•IO响应时间6ms•IOPS150/disk09:4424SSD机型•2*SAS600Graid1+9*300Gssdraid5+1hotspare•HBA卡，不需cache--cut-through/fastpath•Deadline•IO响应时间75/95us•重点评估写iops09:4425FlashCache机型•2*SAS600Graid1+10*600GSASraid10+1pcie-ssd•RAID卡512M带电池，WB•Deadline•读热点或写集中，写波动09:4426Why硬件•SQL优化，业务优化，主备利用•回顾存储方案和前端缓存，抓住瓶颈点•开发效率与成本09:442709:4428ThankYou