NoSQL数据库-redis

NOSQL数据库-Redis移动平台：李栋REmoteDIctionaryServer(Redis)大纲1、什么是Redis7、主从复制及问题3、Redis的特点4、Redis的数据类型5、Redis的操作方法6、持久化机制及问题2、Redis安装与配置8、事物及高级功能9、Redis不足10、应用场景Redis官网是这么描述的：•Redisisanopensource,advancedkey-valuestore.Itisoftenreferredtoasadatastructureserversincekeyscancontainstrings,hashes,lists,setsandsortedsets.•Redis是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。•从2010年3月15日起，Redis的开发工作由VMware主持•当前Redis的应用已经非常广泛，国内像新浪、淘宝等均在使用RedisRedis简介•Redis是一款数据结构服务器（datastructureserver）。Redis的键值可以包括字符串（strings）类型，同时它还包括哈希（hashes）、列表（lists）、集合（sets）和有序集合（sortedsets）等数据类型。对于这些数据类型，你可以执行原子操作。例如：对字符串进行附加操作（append）；递增哈希中的值；向列表中增加元素；计算集合的交集、并集与差集等。•为了获得优异的性能，Redis采用了内存中（in-memory）数据集（dataset）的方式。同时，Redis支持数据的持久化，你可以每隔一段时间将数据集转存到磁盘上（snapshot），或者在日志尾部追加每一条操作命令（appendonlyfile,aof）。Redis简介•Redis同样支持主从复制（master-slavereplication），并且具有非常快速的非阻塞首次同步（non-blockingfirstsynchronization）、网络断开自动重连等功能。同时Redis还具有其它一些特性，其中包括简单的事物支持、发布订阅（pub/sub）、管道（pipeline）和虚拟内存（vm）等。•与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。大纲1、什么是Redis7、主从复制及问题3、Redis的特点4、Redis的数据类型5、Redis的操作方法6、持久化机制及问题2、Redis安装与配置8、事物及高级功能9、Redis不足10、应用场景Redis安装•下载最新稳定版redis-2.8.13（）•tarzxvfredis-2.8.13解压缩•cdsrc进入src目录•make编译Redis•maketest可以测试一下（本步可省略）•makeinstall安装，默认安装目录是/usr/local/bin，生成如图5个二进制文件，可以将其拷到新建目录下，例如:/usr/local/redis/binRedis配置•1.Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程•daemonizeno•2.当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定•pidfile/var/run/redis.pid•3.指定Redis监听端口，默认端口为6379，作者在自己的一篇博文中解释了为什么选用6379作为默认端口，因为6379在手机按键上MERZ对应的号码，而MERZ取自意大利歌女AlessiaMerz的名字•port6379•4.绑定的主机地址•bind127.0.0.1•5.当客户端闲置多长时间后关闭连接，如果指定为0，表示关闭该功能•timeout300•6.指定日志记录级别，Redis总共支持四个级别：debug、verbose、notice、warning，默认为verbose•loglevelverboseRedis配置•7.日志记录方式，默认为标准输出，如果配置Redis为守护进程方式运行，而这里又配置为日志记录方式为标准输出，则日志将会发送给/dev/null•logfilestdout•8.设置数据库的数量，默认数据库为0，可以使用SELECTdbid命令在连接上指定数据库id•databases16•9.指定在多长时间内，有多少次更新操作，就将数据同步到数据文件，可以多个条件配合•savesecondschanges•Redis默认配置文件中提供了三个条件：•save9001•save30010•save6010000•分别表示900秒（15分钟）内有1个更改，300秒（5分钟）内有10个更改以及60秒内有10000个更改。•10.指定存储至本地数据库时是否压缩数据，默认为yes，Redis采用LZF压缩，如果为了节省CPU时间，可以关闭该选项，但会导致数据库文件变的巨大•rdbcompressionyesRedis配置•11.指定本地数据库文件名，默认值为dump.rdb•dbfilenamedump.rdb•12.指定本地数据库存放目录•dir./•13.设置当本机为slav服务时，设置master服务的IP地址及端口，在Redis启动时，它会自动从master进行数据同步•slaveofmasteripmasterport•14.当master服务设置了密码保护时，slav服务连接master的密码•masterauthmaster-password•15.设置Redis连接密码，如果配置了连接密码，客户端在连接Redis时需要通过AUTHpassword命令提供密码，默认关闭•requirepassfoobared•16.设置同一时间最大客户端连接数，默认无限制，Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数，如果设置maxclients0，表示不作限制。当客户端连接数到达限制时，Redis会关闭新的连接并向客户端返回maxnumberofclientsreached错误信息•maxclients128Redis配置•17.指定Redis最大内存限制，Redis在启动时会把数据加载到内存中，达到最大内存后，Redis会先尝试清除已到期或即将到期的Key，当此方法处理后，仍然到达最大内存设置，将无法再进行写入操作，但仍然可以进行读取操作。Redis新的vm机制，会把Key存放内存，Value会存放在swap区•maxmemorybytes•18.指定是否在每次更新操作后进行日志记录，Redis在默认情况下是异步的把数据写入磁盘，如果不开启，可能会在断电时导致一段时间内的数据丢失。因为redis本身同步数据文件是按上面save条件来同步的，所以有的数据会在一段时间内只存在于内存中。默认为no•appendonlyno•19.指定更新日志文件名，默认为appendonly.aof•appendfilenameappendonly.aof•20.指定更新日志条件，共有3个可选值：no：表示等操作系统进行数据缓存同步到磁盘（快）always：表示每次更新操作后手动调用fsync()将数据写到磁盘（慢，安全）everysec：表示每秒同步一次（折衷，默认值）•appendfsynceverysecRedis配置•21.指定是否启用虚拟内存机制，默认值为no，简单的介绍一下，VM机制将数据分页存放，由Redis将访问量较少的页即冷数据swap到磁盘上，访问多的页面由磁盘自动换出到内存中（在后面的文章我会仔细分析Redis的VM机制）•vm-enabledno•22.虚拟内存文件路径，默认值为/tmp/redis.swap，不可多个Redis实例共享•vm-swap-file/tmp/redis.swap•23.将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0•vm-max-memory0•24.Redisswap文件分成了很多的page，一个对象可以保存在多个page上面，但一个page上不能被多个对象共享，vm-page-size是要根据存储的数据大小来设定的，作者建议如果存储很多小对象，page大小最好设置为32或者64bytes；如果存储很大大对象，则可以使用更大的page，如果不确定，就使用默认值•vm-page-size32•25.设置swap文件中的page数量，由于页表（一种表示页面空闲或使用的bitmap）是在放在内存中的，，在磁盘上每8个pages将消耗1byte的内存。•vm-pages134217728Redis配置•26.设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的，可能会造成比较长时间的延迟。默认值为4•vm-max-threads4•27.设置在向客户端应答时，是否把较小的包合并为一个包发送，默认为开启•glueoutputbufyes•28.指定在超过一定的数量或者最大的元素超过某一临界值时，采用一种特殊的哈希算法•hash-max-zipmap-entries64•hash-max-zipmap-value512•29.指定是否激活重置哈希，默认为开启•activerehashingyes•30.指定包含其它的配置文件，可以在同一主机上多个Redis实例之间使用同一份配置文件，而同时各个实例又拥有自己的特定配置文件•include/path/to/local.conf启动流程大纲1、什么是Redis7、主从复制及问题3、Redis的特点4、Redis的数据类型5、Redis的操作方法6、持久化机制及问题2、Redis安装与配置8、事物及高级功能9、Redis不足10、应用场景Redis特性Redis特性•速度快Redis使用标准C编写实现，而且将所有数据加载到内存中，所以速度非常快。官方提供的数据表明，在一个普通的Linux机器上，Redis读写速度分别达到81000/s和110000/s。•持久化由于所有数据保持在内存中（2.0版本开始可以只将部分数据的value放在内存，见“虚拟内存”），所以对数据的更新将异步地保存到磁盘上，Redis提供了一些策略来保存数据，比如根据时间或更新次数。•数据结构可以将Redis看做“数据结构服务器”。目前，Redis支持5种数据结构。Redis特性•自动操作Redis对不同数据类型的操作是自动的，因此设置或增加key值，从一个集合中增加或删除一个元素都能安全的操作。•支持多种语言Redis支持多种语言，诸如Ruby,Python,TwistedPython,PHP,Erlang,Tcl,Perl,Lua,Java,Scala,Clojure等。•主-从复制Redis支持简单而快速的主-从复制。官方提供了一个数据，Slave在21秒即完成了对Amazon网站10Gkeyset的复制。•Sharding很容易将数据分布到多个Redis实例中，但这主要看该语言是否支持。目前支持Sharding功能的语言只有PHP、Ruby和Scala。大纲1、什么是Redis7、主从复制及问题3、Redis的特点4、Redis的数据类型5、Redis的操作方法6、持久化机制及问题2、Redis安装与配置8、事物及高级功能9、Redis不足10、应用场景Redis支持的数据类型•Keys–非二进制安全的字符类型（notbina