阿里数据库架构变迁与展望-刘昆

阿里数据库架构变迁与展望个人介绍•李圣陶•花名刘昆，09年加入淘宝•阿里技术保障数据库专家•微博：@tao陶先生•邮箱:[e-mail]阿里数据库体系的四个时代2003--20042005--20102011--20152016--单机房单个应用单机MySQL同城多机房垂直拆分商业IOE异地双活单元化AliSQL异地多活云化自研OceanBase淘宝初创辉煌时代无冕之王新机遇新挑战淘宝初创淘宝初创MySQLMaster……ApacheMod_php4PearDBAuctionApacheMod_php4PearDBMemberApacheMod_php4PearDBSearchApacheMod_php4PearDBMySQLSlaveMySQLSlave复制复制读写读读问题:单机MySQL数据库迅速达到瓶颈解法:MySQL迁移到Oracle，并逐步升级硬件，到小型机，高端存储，最终形成IOE架构效果:支撑了淘宝2004到2009发展高峰淘宝初创辉煌时代--IOE问题:扩展性、可用性垂直扩展走到了极限集中式，稳定性的挑战掌控力闭源的Oracle封闭的小机/存储辉煌时代--IOE第一次推动中国数据库产业变革获得无限掌控力数据库限流--第一次自己的命运自己掌握热点更新优化--定制优化热点商品减库存业务场景线程池特性优化--定制优化高连接数并发场景专场7数据库调优，阿里巴巴章颖强无限可能，尽在掌握回首往事–从IOE架构走向AliSQL分布式架构无冕之王--AliSQL…….上百组12年历程回顾200320042005200620072008200920102011201220132014淘宝网创建引入Oracle应用Java化改造引入小型机第一次双十一淘宝全网完成去IOE开始尝试MySQL垂直拆分完成水平拆分完成去IOE启动商品库完成去IOE支付宝完成去IE支付宝交易完成OB改造硬件不断升级全网架构资源限制,一个城市已经不能满足需求容灾，单地域机房风险新挑战新机遇OceanBase单元化AliSQL分表数量庞大集群拆分接近极限业务开发复杂度路由，关联，聚合，订正新挑战新机遇--单元化cdn2。。。数据同步中心单元1按用户分流cdn1服务层cdnN缓存层数据层单元2服务层缓存层数据层接入层中心服务层缓存层数据层单元N服务层缓存层数据层接入层接入层接入层中心备份同步调用异步消息单元化对应用挑战的及解法延迟同步调用的影响同一机房0.2ms同一城市1~5ms跨城市5ms~100ms几百次调用吞吐量下降数据复制延迟问题单元内封闭新挑战新机遇--单元化对数据库的挑战及解法中心及各个单元间数据拆分原则数据质量保障数据多点写入风险数据复制一致性，正确性保障专场13阿里巴巴钱在晨数据买家维度拆分单元间DRC数据复制新挑战新机遇--单元化单元化效益稳定性变更范围故障恢复时间伸缩能力摆脱机房限制伸缩规模再次增强新挑战新机遇--单元化横跨三年的项目2013-052013-08项目启动同城两单元异地双活2014-082014-11双11洗礼探索攻坚收尾2015-08多地域，更远距离新挑战新机遇--单元化全网架构资源限制,一个城市已经不能满足需求容灾，单地域机房风险新挑战新机遇OceanBase单元化AliSQL分表数量庞大集群拆分接近极限业务开发复杂度路由，关联，聚合，订正数据存储：多机磁盘修改增量：单机内存Data基线数据(固态盘)修改增量(内存)Query增删改新挑战新机遇--OceanBaseUpdateServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServer修改增量应用接口基线数据SQLSQLSQLSQLSQLSQLSQLSQLRootServer配置管理新挑战新机遇--OceanBase基于Paxos的高可用方案以不可靠部件提供可靠服小于半数的分区容忍性较高的可用性(最大35s不可用)强一致性角色异常描述时间/影响RootServer宕机/程序异常退出35S/不可用UpdateServer宕机/程序异常退出25S左右/不可用MergeServer宕机/程序异常退出1分钟/少量读超时ChunkServer宕机/程序异常退出1分钟/少量读超时主集群不可用如出现机房断网情况35s/不可用新挑战新机遇--OceanBase2014.2(v0.5)2010.6启动20102011201220132014201520162017V0.1支持淘宝收藏夹V0.3支持广告报表V0.4支持SQLV0.5支持支付宝交易V1.0全新架构发布V1.0支持淘宝交易V1.x全面覆盖新挑战新机遇--OceanBase总结，欢迎你的加入携手共创未来