【总结】瞬时高并发(秒杀活动)Redis方案

【总结】瞬时高并发（秒杀活动）Redis方案1，Redis丰富的数据结构（DataStructures）字符串（String）Redis字符串能包含任意类型的数据一个字符串类型的值最多能存储512M字节的内容利用INCR命令簇（INCR,DECR,INCRBY）来把字符串当作原子计数器使用使用APPEND命令在字符串后添加内容列表（List）Redis列表是简单的字符串列表，按照插入顺序排序你可以添加一个元素到列表的头部（左边：LPUSH）或者尾部（右边：RPUSH）一个列表最多可以包含232-1个元素（4294967295，每个表超过40亿个元素）在社交网络中建立一个时间线模型，使用LPUSH去添加新的元素到用户时间线中，使用LRANGE去检索一些最近插入的条目你可以同时使用LPUSH和LTRIM去创建一个永远不会超过指定元素数目的列表并同时记住最后的N个元素列表可以用来当作消息传递的基元（primitive），例如，众所周知的用来创建后台任务的ResqueRuby库集合（Set）Redis集合是一个无序的，不允许相同成员存在的字符串合集（Uniq操作，获取某段时间所有数据排重值）支持一些服务端的命令从现有的集合出发去进行集合运算，如合并（并集：union）,求交(交集：intersection)，差集,找出不同元素的操作（共同好友、二度好友）用集合跟踪一个独特的事。想要知道所有访问某个博客文章的独立IP？只要每次都用SADD来处理一个页面访问。那么你可以肯定重复的IP是不会插入的（利用唯一性，可以统计访问网站的所有独立IP）Redis集合能很好的表示关系。你可以创建一个tagging系统，然后用集合来代表单个tag。接下来你可以用SADD命令把所有拥有tag的对象的所有ID添加进集合，这样来表示这个特定的tag。如果你想要同时有3个不同tag的所有对象的所有ID，那么你需要使用SINTER使用SPOP或者SRANDMEMBER命令随机地获取元素哈希（Hashes）RedisHashes是字符串字段和字符串值之间的映射尽管Hashes主要用来表示对象，但它们也能够存储许多元素有序集合（SortedSets）Redis有序集合和Redis集合类似，是不包含相同字符串的合集每个有序集合的成员都关联着一个评分，这个评分用于把有序集合中的成员按最低分到最高分排列（排行榜应用，取TOPN操作）使用有序集合，你可以非常快地（O(log(N))）完成添加，删除和更新元素的操作元素是在插入时就排好序的，所以很快地通过评分(score)或者位次(position)获得一个范围的元素（需要精准设定过期时间的应用）轻易地访问任何你需要的东西:有序的元素，快速的存在性测试，快速访问集合中间元素在一个巨型在线游戏中建立一个排行榜，每当有新的记录产生时，使用ZADD来更新它。你可以用ZRANGE轻松地获取排名靠前的用户，你也可以提供一个用户名，然后用ZRANK获取他在排行榜中的名次。同时使用ZRANK和ZRANGE你可以获得与指定用户有相同分数的用户名单。所有这些操作都非常迅速有序集合通常用来索引存储在Redis中的数据。例如：如果你有很多的hash来表示用户，那么你可以使用一个有序集合，这个集合的年龄字段用来当作评分，用户ID当作值。用ZRANGEBYSCORE可以简单快速地检索到给定年龄段的所有用户复制（Replication,Redis复制很简单易用，它通过配置允许slaveRedisServers或者MasterServers的复制品）一个Master可以有多个SlavesSlaves能通过接口其他slave的链接，除了可以接受同一个master下面slaves的链接以外，还可以接受同一个结构图中的其他slaves的链接redis复制是在master段是非阻塞的，这就意味着master在同一个或多个slave端执行同步的时候还可以接受查询复制在slave端也是非阻塞的，假设你在redis.conf中配置redis这个功能，当slave在执行的新的同步时，它仍可以用旧的数据信息来提供查询，否则，你可以配置当redisslaves去master失去联系是，slave会给发送一个客户端错误为了有多个slaves可以做只读查询，复制可以重复2次，甚至多次，具有可扩展性（例如：slaves对话与重复的排序操作，有多份数据冗余就相对简单了）他可以利用复制去避免在master端保存数据，只要对master端redis.conf进行配置，就可以避免保存（所有的保存操作），然后通过slave的链接，来实时的保存在slave端LRU过期处理（Eviction）EVAL和EVALSHA命令是从Redis2.6.0版本开始的，使用内置的Lua解释器，可以对Lua脚本进行求值Redis使用单个Lua解释器去运行所有脚本，并且，Redis也保证脚本会以原子性(atomic)的方式执行：当某个脚本正在运行的时候，不会有其他脚本或Redis命令被执行。这和使用MULTI/EXEC包围的事务很类似。在其他别的客户端看来，脚本的效果(effect)要么是不可见的(notvisible)，要么就是已完成的(alreadycompleted)LRU过期处理（Eviction）Redis允许为每一个key设置不同的过期时间，当它们到期时将自动从服务器上删除（EXPIRE）事务MULTI、EXEC、DISCARD和WATCH是Redis事务的基础事务是一个单独的隔离操作：事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中，不会被其他客户端发送来的命令请求所打断事务中的命令要么全部被执行，要么全部都不执行，EXEC命令负责触发并执行事务中的所有命令Redis的Transactions提供的并不是严格的ACID的事务Transactions还是提供了基本的命令打包执行的功能：可以保证一连串的命令是顺序在一起执行的，中间有会有其它客户端命令插进来执行Redis还提供了一个Watch功能，你可以对一个key进行Watch，然后再执行Transactions，在这过程中，如果这个Watched的值进行了修改，那么这个Transactions会发现并拒绝执行数据持久化RDB特点RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储优点RDB是一个非常紧凑的文件,它保存了某个时间点得数据集,非常适用于数据集的备份RDB是一个紧凑的单一文件,非常适用于灾难恢复RDB在保存RDB文件时父进程唯一需要做的就是fork出一个子进程,接下来的工作全部由子进程来做，父进程不需要再做其他IO操作，所以RDB持久化方式可以最大化redis的性能与AOF相比,在恢复大的数据集的时候，RDB方式会更快一些缺点如果你希望在redis意外停止工作（例如电源中断）的情况下丢失的数据最少的话，那么RDB不适合，Redis要完整的保存整个数据集是一个比较繁重的工作RDB需要经常fork子进程来保存数据集到硬盘上,当数据集比较大的时候,fork的过程是非常耗时的,可能会导致Redis在一些毫秒级内不能响应客户端的请求.如果数据集巨大并且CPU性能不是很好的情况下,这种情况会持续1秒,AOF也需要fork,但是你可以调节重写日志文件的频率来提高数据集的耐久度AOF特点AOF持久化方式记录每次对服务器写的操作redis重启的时候会优先载入AOF文件来恢复原始的数据,因为在通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整优点使用AOF会让你的Redis更加耐久:你可以使用不同的fsync策略：无fsync,每秒fsync,每次写的时候fsyncAOF文件是一个只进行追加的日志文件,所以不需要写入seekRedis可以在AOF文件体积变得过大时，自动地在后台对AOF进行重写AOF文件有序地保存了对数据库执行的所有写入操作，这些写入操作以Redis协议的格式保存，因此AOF文件的内容非常容易被人读懂，对文件进行分析（parse）也很轻松。导出（export）AOF文件也非常简单缺点对于相同的数据集来说，AOF文件的体积通常要大于RDB文件的体积根据所使用的fsync策略，AOF的速度可能会慢于RDB选择同时使用两种持久化功能分布式RedisCluster（Redis3版本）Keepalived当Master挂了后，VIP漂移到Slave；Slave上keepalived通知redis执行：slaveofnoone,开始提供业务当Master起来后，VIP地址不变，Master的keepalived通知redis执行slaveofslaveIPhost，开始作为从同步数据依次类推Twemproxy快、轻量级、减少后端CacheServer连接数、易配置、支持ketama、modula、random、常用hash分片算法对于客户端而言，redis集群是透明的，客户端简单，遍于动态扩容Proxy为单点、处理一致性hash时，集群节点可用性检测不存在脑裂问题高性能，CPU密集型，而redis节点集群多CPU资源冗余，可部署在redis节点集群上，不需要额外设备高可用（HA）RedisSentinel（redis自带的集群管理工具）监控（Monitoring）：RedisSentinel实时监控主服务器和从服务器运行状态提醒（Notification）：当被监控的某个Redis服务器出现问题时，RedisSentinel可以向系统管理员发送通知，也可以通过API向其他程序发送通知自动故障转移（Automaticfailover）：当一个主服务器不能正常工作时，RedisSentinel可以将一个从服务器升级为主服务器，并对其他从服务器进行配置，让它们使用新的主服务器。当应用程序连接到Redis服务器时，RedisSentinel会告之新的主服务器地址和端口单M-S结构单M-S结构特点是在Master服务器中配置MasterRedis（Redis-1M）和MasterSentinel（Sentinel-1M）Slave服务器中配置SlaveRedis（Redis-1S）和SlaveSentinel（Sentinel-1S）其中MasterRedis可以提供读写服务，但是SlaveRedis只能提供只读服务。因此，在业务压力比较大的情况下，可以选择将只读业务放在SlaveRedis中进行双M-S结构双M-S结构的特点是在每台服务器上配置一个MasterRedis，同时部署一个SlaveRedis。由两个RedisSentinel同时对4个Redis进行监控。两个MasterRedis可以同时对应用程序提供读写服务，即便其中一个服务器出现故障，另一个服务器也可以同时运行两个MasterRedis提供读写服务缺点是两个Masterredis之间无法实现数据共享，不适合存在大量用户数据关联的应用使用单M-S结构和双M-S结构比较单M-S结构适用于不同用户数据存在关联，但应用可以实现读写分离的业务模式。Master主要提供写操作，Slave主要提供读操作，充分利用硬件资源双（多）M-S结构适用于用户间不存在或者存在较少的数据关联的业务模式，读写效率是单M-S的两（多）倍，但要求故障时单台服务器能够承担两个MaterRedis的资源需求发布/订阅（Pub/Sub）监控：Redis-Monitor历史redis运行查询：CPU、内存、命中率、请求量、主从切换等实时监控曲线2，数据类型Redis使用场景String计数器应用List取最新N个数据的操作消息队列删除与过滤实时分析正在发生的情况，用于数据统计与防止垃圾邮件（结合Set）SetUniqe操作，获取某段时间所有数据排重值实时系统，反垃圾系统共同好友、二度好友利用唯一性，可以统计访问网站的所有独立IP好友推荐的时候，根据tag求交集，大于某个threshold就可以推荐Hashes存储、读取、修改用户属性SortedSet排行榜应用，取TOPN操作需要精准设定过期