高可用数据库分布式应用实践-陈吉平-DTCC2010-IT168文库

©2003-2010Taobao.comAllRightsReserved.淘宝网版权所有陈吉平淘宝网首席DBA，研究员OracleACEDirector《构建oracle高可用环境》一书作者2010年3月高可用数据库分布式应用实践©2003-2010Taobao.comAllRightsReserved.淘宝网版权所有内容介绍•传统数据库模式的瓶颈与挑战•PCServer与分布式技术•分布式的扩展，多机房技术•总结©2003-2010Taobao.comAllRightsReserved.淘宝网版权所有高端主机+高端存储解决方案•优点–稳定，可靠，硬件本身的健壮性与冗余性–起步速度快，对使用方技术要求相对低•缺点–成本投入很大–扩展性不强，随业务量增加，容易出现瓶颈（天花板问题）–出现故障的时候，影响面很大传统数据库的解决方案©2003-2010Taobao.comAllRightsReserved.淘宝网版权所有传统数据库的解决方案•集中的数据库–小型机+高端存储–Oracle数据库–Scaleup扩展方式•宝贵的数据库资源•单点，不方便扩展Oracle数据库太多的应用机器有限的链接池集中的数据库，简单快速集中的数据库©2003-2010Taobao.comAllRightsReserved.淘宝网版权所有好的构架应当是什么？•低成本–廉价服务器（PCServer）–本地存储–定制化•弹性，可扩展，最好是动态可扩展–分布式技术，甚至支持远程分布–动态平衡（如一致性Hash）•高可靠，高可用性–容错，健壮性–冗余，永不失败什么是更好的？©2003-2010Taobao.comAllRightsReserved.淘宝网版权所有内容介绍•传统数据库模式的瓶颈与挑战•PCServer与分布式技术•分布式的扩展，多机房技术•总结©2003-2010Taobao.comAllRightsReserved.淘宝网版权所有•PCServer的快速发展–多核技术的发展，处理速度越来越快–大众化，熟悉的人很多–开放，开源技术的支持，如Linux，Jboss，Mysql等•存在的风险–硬件本身可靠性不佳，要靠应用的冗余性来保证整体的高可用–对应用与构架的技术要求相对比较高PCServer，通用服务器PCServer的快速发展©2003-2010Taobao.comAllRightsReserved.淘宝网版权所有服务器型号cpu个数cpu主频cpu型号内存事务处理数单核CPU事务处理数IBMP55041.65Gpower529473.5IBMP5908power565682IBMP590162.1Gpower5120075intelnehalem样机22.8GX556012G1107138IBMP55043.5Gpower632G421105IBMP570144.4Gpower654G1735.49124hprx8640121.6GItanium2910064G120650各种主机测试结果©2003-2010Taobao.comAllRightsReserved.淘宝网版权所有分布式方案1-读写分离•水平扩展构架体系–Scaleout的解决方案–缓解主库的压力–独特的消息中间件同步方式（Notify）•主库可以是小型机，读库是PCServer–读库可扩展–坏掉任何一个读库，不影响整体业务–容许了PCServer本身的不稳定性读库降低整体成本，但不影响整体稳定1/N1/N1/N1/N1/NApplicationTDDL…ReadWrite&ReadReplicationdata主数据库©2003-2010Taobao.comAllRightsReserved.淘宝网版权所有分布式方案2-共享存储•采用PCServer+集中存储–降低主机成本，解决主机瓶颈问题–存储可扩展，解决主机难扩展的问题•实现高可用的思路–主机用来确保数据库的可扩展问题，实现水平分布式–存储本身通过SAN网络实现可扩展，以及SAN环境下的冗余–有点类似RAC，但是主要是结合应用，实现高可用折中的水平拆分解决方案ApplicationTDDL1/N1/N1/N1/N…存储存储存储存储…SAN存储网络1/N存储©2003-2010Taobao.comAllRightsReserved.淘宝网版权所有分布式方案3-完全拆分•全部采用PCServer–成本最低–扩展方便，但是单点可靠性并不强–Sharednothing•可靠性需要应用的保证–构架支持，坏掉任何一个主库，不影响业务，或者只影响当前库的业务–如果多主结构，可以避免单个主机故障采用PCServer彻底细分Write&ReadMSMSMSMSMS…ApplicationTDDLTDDLRead©2003-2010Taobao.comAllRightsReserved.淘宝网版权所有分布式构架关键技术-TDDL©2003-2010Taobao.comAllRightsReserved.淘宝网版权所有内容介绍•传统数据库模式的瓶颈与挑战•PCServer与分布式技术•分布式的扩展，多机房技术•总结©2003-2010Taobao.comAllRightsReserved.淘宝网版权所有多活中心分布式多机房技术©2003-2010Taobao.comAllRightsReserved.淘宝网版权所有多机房技术1-本地双机房•DataGuard+RedoMirror•双Active，应用运行在两个机房©2003-2010Taobao.comAllRightsReserved.淘宝网版权所有多机房技术2-多机房分布式多数据中心的支持•容灾建设，数据保护-典型的两地三中心技术•机房的读写分离技术-主/读站点机房（Ebay）•机房的水平分布技术-多Active©2003-2010Taobao.comAllRightsReserved.淘宝网版权所有多机房案例-多活三机房©2003-2010Taobao.comAllRightsReserved.淘宝网版权所有分布式的前沿关注•高性能CPU与SSD不能阻挡分布式的步伐–分就是合，合也是分•云计算开始进入实用化阶段（未来会出现基础服务提供商）–SimpleDB与Bigtable–AmazonEC2支持MySQL企业版•分布式数据库的继续发展（如NoSql的出现）–关系型数据库的终结?–理论支撑：最终一致性、BASE、CAP©2003-2010Taobao.comAllRightsReserved.淘宝网版权所有总结•高可靠与高成本的冲突，硬件解决方案还是应用构架解决方案•好的数据库构架，离不开好的应用的构架•任何一个好的构架，都有其生命周期•分布式技术没有最好，只有最合适•选择自己最合适的分布式技术，不要盲从©2003-2010Taobao.comAllRightsReserved.淘宝网版权所有谢谢！Q&A