2.5 NoSQL

2.5NoSQLNoSQL简介NoSQL兴起的原因NoSQL与关系数据库的比较NoSQL的四大类型NoSQL的三大基石从NoSQL到NewSQL数据库NoSQL简介•非关系型数据库称为NoSQL,一般理解为“NotonlySQL”(不仅仅是SQL)，而不是“NotSQL”(不是SQL)，其实质是对关系型SQL数据系统的补充。•NoSQL摒弃了传统关系型DBMS(数据库管理系统)的设计思想，转而采用不同解决方案，譬如：无固定数据模式和水平扩展，来满足扩展性方面的需求。•NoSQL数据库具有以下几个特点：灵活的可扩展性；灵活的数据模型；与云计算紧密融合。最初表示“反SQL”运动用新型的非关系数据库取代关系数据库NotonlySQL现在表示关系和非关系型数据库各有优缺点彼此都无法互相取代概念演变NoSQL兴起的原因关系数据库已经无法满足Web2.0的需求：①无法满足海量数据的管理需求；②无法满足数据高并发的需求；③无法满足高可扩展性和高可用性的需求。关系数据库引以为傲的关键特性：完善的事务机制和高效的查询机制，但到了Web2.0时代却成了“鸡肋”，因为：①Web2.0网站系统通常不要求严格的数据库事务；②Web2.0并不要求严格的读写实时性；③Web2.0通常不包含大量复杂的SQL查询。NoSQL与关系数据库的比较比较标准RDBMSNoSQL备注数据库原理完全支持部分支持RDBMS：关系代数理论NoSQL：无统一的理论数据规模大超大RDBMS：难实现横向扩展，纵向扩展的空间也比较有限，性能会随着数据规模的增大而降低。NoSQL：支持横向扩展和更大规模的数据数据库模式固定灵活RDBMS：需要定义数据库模式，严格遵守数据定义和相关约束条件NoSQL：不存在数据库模式，可以自由灵活定义并存储各种不同类型的数据查询效率快高效的简单查询、不具备高度结构化查询等特性，复杂查询的性能不尽人意RDBMS：借助于索引机制可以实现快速查询（包括记录查询和范围查询）NoSQL：没有索引，虽然NoSQL可以使用MapReduce来加速查询，但是，在复杂查询方面的性能仍然不如RDBMS表5-1NoSQL和关系数据库（RDBMS）的简单比较比较标准RDBMSNoSQL备注一致性强一致性弱一致性RDBMS：严格遵守事务ACID模型，可以保证事务强一致性NoSQL：放松对事务ACID四性的要求，而是遵守BASE模型，只能保证最终一致性数据完整性容易实现很难实现RDBMS：很容易实现数据完整性，比如通过主键或者非空约束来实现实体完整性，通过主键、外键来实现参照完整性，通过约束或者触发器来实现用户自定义完整性NoSQL：无法实现用户自定义完整性扩展性一般好RDBMS：很难实现横向扩展，纵向扩展的空间也比较有限NoSQL：在设计之初就充分考虑了横向扩展的需求，可以很容易通过添加廉价设备实现扩展可用性好很好RDBMS：在任何时候都以保证数据一致性为优先目标，其次才是优化系统性能，随着数据规模的增大，RDBMS为了保证严格的一致性，只能提供相对较弱的可用性NoSQL：任何时候都能提供较高的可用性表5-1NoSQL和关系数据库（RDBMS）的简单比较（续）NoSQL的四大类型①键值数据库②列式（族）数据库③文档数据库④图形数据库键值数据库•数据以键值形式存储，处理速度非常快，但基本上只能通过键的完全一致查询来获取数据。根据数据的存储方式不同分为3种：临时性、永久性和两者兼具。①临时性键值数据库：在内存中存储数据，速度快，但有可能丢失。Memcached。②永久性键值数据库：数据存储在硬盘，虽然处理起来比内存慢，但数据不会丢失。TokyoTyrant、Flare。③两者兼具型键值数据库：首先把数据存储到内存中，在满足特定条件（默认15分钟一次以上）的时候将数据写入到硬盘中，特别适合数组类型的数据。RedisKey_1Key_2Key_3Key_4Key_5Key_6Key_7Key_8Value_1Value_2Value_1Value_3Value_2Value_1Value_4Value_3键值数据库ColumnName-3ColumnValue-3ColumnName-2ColumnValue-2ColumnName-1ColumnValue-1ColumnName-4ColumnValue-4ColumnName-5ColumnValue-5ColumnName-6ColumnValue-6DatasetColumn-Family-1Column-Family-2Column-Family-1RowKey-1RowKey-2列族数据库项目描述相关产品Redis、Riak、SimpleDB、Chordless、Scalaris、Memcached数据模型键/值对典型应用内容缓存，比如会话、配置文件、参数、购物车等优点扩展性好，灵活性好，大量写操作时性能高缺点无法存储结构化信息，条件查询效率较低使用者百度云数据库（Redis）、GitHub（Riak）、BestBuy（Riak）、Twitter（Redis和Memcached）、StackOverFlow（Redis）、Instagram（Redis）、Youtube（Memcached）、Wikipedia（Memcached）表5-2键值数据库列式（族）数据库Key_1Key_2Key_3Key_4Key_5Key_6Key_7Key_8Value_1Value_2Value_1Value_3Value_2Value_1Value_4Value_3键值数据库ColumnName-3ColumnValue-3ColumnName-2ColumnValue-2ColumnName-1ColumnValue-1ColumnName-4ColumnValue-4ColumnName-5ColumnValue-5ColumnName-6ColumnValue-6DatasetColumn-Family-1Column-Family-2Column-Family-1RowKey-1RowKey-2列族数据库项目描述相关产品BigTable、HBase、Cassandra、HadoopDB、GreenPlum、PNUTS数据模型列族典型应用分布式数据存储与管理优点查找速度快，可扩展性强，容易进行分布式扩展，复杂性低缺点功能较少，大都不支持强事务一致性使用者Ebay（Cassandra）、Instagram（Cassandra）、NASA（Cassandra）、Twitter（CassandraandHBase）、Facebook（HBase）、Yahoo!（HBase）文档数据库Key-ValueNode1Key-ValueNode2Key-ValueNode3Key-Value1Key-Value2Key-Value2Key-Value1图形数据库DatasetDocument_id-1Document_id-2Document_id-3Document_id-4Document-1Document-2Document-3Document-4文档数据库项目描述相关产品CouchDB、MongoDB、Terrastore、ThruDB、RavenDB、SisoDB、RaptorDB、CloudKit、Perservere、Jackrabbit数据模型版本化的文档典型应用存储、索引并管理面向文档的数据或者类似的半结构化数据优点性能好，灵活性高，复杂性低，数据结构灵活缺点缺乏统一的查询语法使用者百度云数据库（MongoDB）、SAP（MongoDB）、Codecademy（MongoDB）、Foursquare（MongoDB）、NBCNews（RavenDB）•文档数据库：不需要定义表结构，可以利用复杂的查询条件来获取数据。①MongoDB：是一个基于分布式文件存储的数据库系统，为Web应用提供可扩展的、高性能的数据存储解决方案。可以存储复杂的数据类型，功能最丰富，最像关系数据库的NoSQL。②CouchDB：是用Erlang开发的文档数据库系统，面向下一代的Web应用存储系统。图形数据库Key-ValueNode1Key-ValueNode2Key-ValueNode3Key-Value1Key-Value2Key-Value2Key-Value1图形数据库DatasetDocument_id-1Document_id-2Document_id-3Document_id-4Document-1Document-2Document-3Document-4文档数据库项目描述相关产品Neo4J、OrientDB、InfoGrid、InfiniteGraph、GraphDB数据模型图结构典型应用应用于大量复杂、互连接、低结构化的图结构场合，比如社交网络、推荐系统等优点灵活性高，支持复杂的图形算法，可用于构建复杂的关系图谱缺点复杂性高，只能支持一定的数据规模使用者Adobe（Neo4J）、Cisco（Neo4J）、T-Mobile（Neo4J）•图形数据库：以图论为基础，使用图作为数据模型来存储数据，可以高效地存储不同顶点之间的关系。①Neo4j：嵌入式的、基于磁盘的、支持完整事务的Java持久化引擎，在图(网络)中而不是表中存储数据。一台机器上可以处理十亿节点/关系/属性的图，可扩展到多台机器并行运行。②OrientDB：可深层次扩展的文档-图形数据库管理系统，可选无/全/混合模式，支持ACID事务、快速索引、原生和SQL查询、JSON格式导入/导出。③HyperGraphDB：是一套开源数据存储机制，并依托BerkeleyDB数据库存在。HyperGraphDB的图形模型被称为直接式超图形。超图形允许其一条边线指向两个以上的节点。④InfiniteGraph：由Objectivity公司推出的图形类数据库，其中每一个节点及其边线都算作一个Objectivity/DB的一个对象。免费版本支持最高100万节点及边线总数。⑤DEX：具备高性能和高扩扩展的图形类数据库，同时支持Java及.Net编程。个人评估版本最多可支持100万个节点。⑥Trinity：基于内存的图形存储机制，具有丰富的数据库功能，只为用户提供了C#API。⑦AllegroGraph：初衷是创建以RDF为中心的语义网应用程序，RDF三元组作为边线来处理。免费版本支持最多5000万个三元组。NoSQL的三大基石①CAP②BASE③最终一致性NoSQLCAPBASE最终一致性所谓的CAP指的是：•C（Consistency，一致性）是指任何一个读操作总是能够读到之前完成的写操作的结果，也就是在分布式环境中，多点的数据是一致的；•A（Availability，可用性）是指快速获取数据，可以在确定的时间内返回操作结果；•P（ToleranceofNetworkPartition，分区容忍性）是指当出现网络分区的情况时（即系统中的一部分节点无法和其他节点进行通信），分离的系统也能够正常运行。CAP理论告诉我们，一个分布式系统不可能同时满足一致性、可用性和分区容忍性这三个需求，最多只能同时满足其中两个，正所谓“鱼和熊掌不可兼得”。C(一致性)A（可用性）P（分区容忍性）CACPAPAPC选择CA，放弃PMySQLSQLServerPostgresSQL选择AP，放弃CDynamoCassandraVoldemortCouchDBRiak选择CP，放弃ANeo4J,Bigtable,MongoDB,Hbase,Hypertable,Redis图5-5不同产品在CAP理论下的不同设计原则图5-4CAP理论当处理CAP的问题时，可以有三个明显的选择：①CA：强调一致性（C）和可用性（A），放弃分区容忍性（P），最简单的做法是把所有与事务相关的内容都放到同一台机器上。很显然，这种做法会严重影响系统的可扩展性。传统的关系数据库（MySQL、S