分布式数据库技术架构的演变与发展方向.

分布式数据库技术架构演变与发展方向CSDN数据库核心技术与应用实战峰会目录/ContentsPartone分布式数据库技术架构分类ParttwoPartthreePartfour企业为何需要分布式数据库企业典型业务场景分布式数据库的技术架构演变Partfive分布式数据库技术架构的未来方向Partsix数据库行业十三五预测分布式数据库技术架构分类分布式数据库技术架构分类OralceRACMySQLClusterVerticaGreenPlumHBaseMongoDB分布式数据库技术架构分类MySQLProxyTDDLAtlasD-RDSOceanBaseHotDBFabricCDBCobar2005年---2015年企业为何需要分布式数据库企业为何需要分布式数据库易扩展海量用户海量数据高可靠高性能高并发业务要求企业为何需要分布式数据库私有云数据创造价值分布式开源产品硬件平民化自主研发自动化企业为何需要分布式数据库企业典型业务场景企业典型业务场景目标说明指标分解海量数据系统运行一年之后数据总量：120T每年数据增量：小于等于20%，也即第一年数据最大增量：24T单应用数据20T以上单表有20亿条记录(大省的在1亿+条记录)系统正常运行后，不做任何数据存储调整或二次拆分的情况下，支撑业务数据持续增长年限：3年高可用数据库可用性达到99.99%，即每年仅允许有累计53分钟的不可用时间；定期维护（包括部署）除外要求可在线数据备份，时间少于11小时（22：00～08：00）失败切换时间小于10s故障恢复时间小于30分钟数据复制延迟时间（本地：1s，异地：1分钟）本地同步时，数据丢失量小于1笔交易高性能要求支撑5+个应用的全国访问支持的并发量大于2万数据库交易量大于10万/s响应时间1s最大响应时间10sQPS大于30万可扩展当数据量或系统负载超过我们3年规划之后，大部分业务系统可通过增加物理服务器节点的方式，达到支持业务的持续发展或性能线性提高要求性能可扩展要求容量可扩展数据迁移时可通过规划和技术手段，能做到不影响数据库提供数据服务的质量增加物理服务器节点，对应用模块透明，不需要修改任何代码要求可在线扩展，扩展时间/对业务的影响时间（如性能下降时间）小于10小时扩展的线性度应该大于70%多中心要求两地三中心数据容灾及数据服务要求在线，且数据中心的每个节点都可以提供服务数据同步延迟最长时间小于1分钟数据服务切换最大时间小于3分钟业务服务切换最大时间小于10分钟数据丢失量小于100笔交易不同机房的业务数据库组之间，能做到数据异步互相复制；同一份数据，同一时刻只有一个数据中心应用模块能对其进行修改，但是全网的数据中心都可同时对其进行只读操作电信行业某集团总部去IOE项目目标说明指标分解高并发2013年单量：平时N00万，高峰NE00万2013年操作平台TPS须大于270002014年单量：平时M000万，高峰M000万2014年操作平台TPS须大于400002015年单量：平时DF00万，高峰D000万2015年操作平台TPS须大于60000网点数量：12000+PDA终端：10W+子系统PC终端：4个+/网点接入平台集群应用服务数量：YX0个+数据库连接数2100/实例（操作平台占130个）2014年峰值单量M000W，全国12000个网点。操作平台N00W单量，优化前：数据写入：INSERTKL亿次/天数据删除：DELETEKX亿次/天操作平台N00W单量，优化后：数据写入：INSERTX亿次/天数据删除：DELETEY亿次/天高可用数据库可用性达到99.99%数据服务或应用服务的任意一个节点宕机，不影响业务系统服务应用展开服务达到99.99%数据库中间件达到99.99%应用对列服务达到99.99%故障切换时间小于10秒业务系统整体每年仅允许有累计53分钟的不可用时间，定期维护（包括部署）除外故障恢复时间小于5分钟数据库的数据复制延迟时间小于1秒伸缩性应用服务任意增减支持对操作平台中的展开应用服务节点和数据库实例进行动态扩展；对数据库与应用服务解耦后，调整数据节点或应用节点，互相不影响业务系统的正常服务。数据库节点任意增减负载均衡应用服务支持集群化部署应用集群中的节点可任意增减数据服务支持集群化部署数据服务集群中的数据库节点可任意增减快递物流行业去IOE项目企业典型业务场景8对X86服务器组成的MySQL数据库存储层HotDBHotDBExpress_appExpress_appExpress_appxxx_app_1xxx_app_2mmm_app_1mmm_app_2nnn_app_1nnn_app_2快递物流行业去IOE项目某某速递的运单数据公共服务的业务数据指标，如下：平均每天1000万以上运单数据产生；平均每天8000万次以上INSERT操作；平均每天1.2亿次以上SELECT操作；平均每天1000万以上UPDATE操作；数据保存生命周期年，每月产生业务数据GB以上，总数据容量TB以上；125002企业典型业务场景分布式数据库的技术架构演变分布式数据库的技术架构演变xxx_db1a10.10.1.123db1a-db1bxxx_db1b10.10.1.124Db1a-db1bW/RApplicationServerHeartBeat/Keepalive/DNS等SSSS分布式数据库的技术架构演变MySQL_Server_1MySQL_Server_2MySQL_ClientJavaMySQL_Cluster_NDB_Management_ServerNDBManagementClientndb_mgm负载均衡设备MySQL_Cluster_SQL_NodeMySQL_Cluster_Data_Nodendbd_1ndbd_2ndbd_3ndbd_4节点宕机，集群内配对节点接管SQL节点宕机，负载均衡设备控制不向其发送数据操作请求MySQL_Server_1增加处理节点ndbd_5ndbd_6增加数据节点分布式数据库的技术架构演变OracleDiamond配置中心IbatisSpingJDBCTemplatetddlmatrixds(TDataSource)tddlgroupdstddlatomds(withjbossds)JDBCDriverHibernate业务逻辑OracleMySQLMySQLIbatisSpingJDBCTemplatetddlmatrixds(TDataSource)tddlgroupdstddlatomds(withjbossds)JDBCDriverHibernate业务逻辑分布式数据库的技术架构演变ClientClientClientClientClient数据库中间件在线双主在线双主在线双主SMSMSM分布式数据库技术架构的未来方向分布式数据库技术架构的未来方向应用连接池数据库连接池MySQLProtocol通信层（NIO/AIO/BIO）事务协调组件数据同步组件数据迁移组件资源管理组件HA检测组件SQL优化组件SQL路由组件SQL解析组件MySQLProtocol通信层（NIO/AIO）ApplicationApplication集群管理组件Manager会话管理心跳管理内存管理线程管理………..监控&管理存储层MySQLMySQLMySQLMySQLMySQLMySQLMySQLMySQLGROUPBY聚合组件结果集合并组件ORDERBY排序组件SQL执行组件现在分布式数据库技术架构的未来方向企业生产在线交易系统，即OLTP业务场景经过企业级验证，成熟稳定主流开源数据库产品MySQL海量数据存储海量用户访问业务场景数据分片垂直拆分水平拆分智能分片算法应用透明单一的数据访问服务屏蔽数据拆分的复杂逻辑应用服务透明服务质量高可用高并发高性能业务需求节点管理实例管理数据库管理统一访问管理设备管理备份管理日志管理系统管理业务流程租户管理策略管理自动化管理监控管理性能管理告警管理安全管理统一访问入口数据库标准协议多租户隔离一键开通服务能力透明化服务消费可度量数据服务透明服务可扩展服务需求分布式数据库技术架构的未来方向二地三中心多活HotDB_server_1aHotDB_server_1bHotDB_Cluster_内蒙HotDB_server_1aHotDB_server_1bHotDB_Cluster_廊坊HotDB_server_1aHotDB_server_1bHotDB_Cluster_北京内蒙-北京ReplicateData北京-内蒙ReplicateData廊坊-内蒙ReplicateData内蒙-廊坊ReplicateData北京-廊坊ReplicateData廊坊-北京ReplicateDatadb1adb1bDatabase_Server_Cluster内蒙db2adb2bdbnadbnbdb1adb1bDatabase_Server_Cluster廊坊db2adb2bdbnadbnbdb1adb1bDatabase_Server_Cluster北京db2adb2bdbnadbnb分布式数据库技术架构的未来方向数据库行业十三五预测数据库行业十三五预测国产数据库进入死亡期分布式数据库技术像虚拟化一样普及自主研发与开源数据库融合独霸天下实力派中型和大型企业数据库私有云化分析型数据库NotonlySQL中小企业数据库公有云化未来现在公司名称：上海热璞网络科技有限公司公司地址：上海市闵行区先锋街25号宝纳大厦9楼C座公司电话：[phone]公司网址：咨询合作：金官丁联系电话：[phone]邮箱地址：[e-mail]研发工程师分布式数据库产品研发方向，JVM内存管理、熟悉多线程、NIO、Socket编程。2.MySQLDBA（多名中高级别+1名学徒）学徒要求本科学历，计算机科学与技术专业，数据库理论基础扎实、标准SQL92/99语法熟练、谦虚好学、刻苦心细。感谢聆听