memcached完全剖析1

1.memcached的基础我是mixi株式会社开发部系统运营组的长野。日常负责程序的运营。从今天开始，将分几次针对最近在Web应用的可扩展性领域的热门话题memcached，与我公司开发部研究开发组的前坂一起，说明其内部结构和使用。memcached是什么？memcached的特征o协议简单o基于libevent的事件处理o内置内存存储方式omemcached不互相通信的分布式安装memcachedomemcached的安装omemcached的启动用客户端连接使用Cache::Memcachedo使用Cache::Memcached连接memcachedo保存数据o获取数据o删除数据o增一和减一操作总结memcached是什么？memcached是以LiveJournal旗下DangaInteractive公司的BradFitzpatric为首开发的一款软件。现在已成为mixi、hatena、Facebook、Vox、LiveJournal等众多服务中提高Web应用扩展性的重要因素。许多Web应用都将数据保存到RDBMS中，应用服务器从中读取数据并在浏览器中显示。但随着数据量的增大、访问的集中，就会出现RDBMS的负担加重、数据库响应恶化、网站显示延迟等重大影响。这时就该memcached大显身手了。memcached是高性能的分布式内存缓存服务器。一般的使用目的是，通过缓存数据库查询结果，减少数据库访问次数，以提高动态Web应用的速度、提高可扩展性。图1一般情况下memcached的用途memcached的特征memcached作为高速运行的分布式缓存服务器，具有以下的特点。协议简单基于libevent的事件处理内置内存存储方式memcached不互相通信的分布式协议简单memcached的服务器客户端通信并不使用复杂的XML等格式，而使用简单的基于文本行的协议。因此，通过telnet也能在memcached上保存数据、取得数据。下面是例子。$telnetlocalhost11211Trying127.0.0.1...Connectedtolocalhost.localdomain(127.0.0.1).Escapecharacteris'^]'.setfoo003（保存命令）bar（数据）STORED（结果）getfoo（取得命令）VALUEfoo03（数据）bar（数据）协议文档位于memcached的源代码内，也可以参考以下的URL。基于libevent的事件处理libevent是个程序库，它将Linux的epoll、BSD类操作系统的kqueue等事件处理功能封装成统一的接口。即使对服务器的连接数增加，也能发挥O(1)的性能。memcached使用这个libevent库，因此能在Linux、BSD、Solaris等操作系统上发挥其高性能。关于事件处理这里就不再详细介绍，可以参考DanKegel的TheC10KProblem。libevent:~provos/libevent/TheC10KProblem:内置内存存储方式为了提高性能，memcached中保存的数据都存储在memcached内置的内存存储空间中。由于数据仅存在于内存中，因此重启memcached、重启操作系统会导致全部数据消失。另外，内容容量达到指定值之后，就基于LRU(LeastRecentlyUsed)算法自动删除不使用的缓存。memcached本身是为缓存而设计的服务器，因此并没有过多考虑数据的永久性问题。关于内存存储的详细信息，本连载的第二讲以后前坂会进行介绍，请届时参考。memcached不互相通信的分布式memcached尽管是“分布式”缓存服务器，但服务器端并没有分布式功能。各个memcached不会互相通信以共享信息。那么，怎样进行分布式呢？这完全取决于客户端的实现。本连载也将介绍memcached的分布式。图2memcached的分布式接下来简单介绍一下memcached的使用方法。安装memcachedmemcached的安装比较简单，这里稍加说明。memcached支持许多平台。LinuxFreeBSDSolaris(memcached1.2.5以上版本)MacOSX另外也能安装在Windows上。这里使用FedoraCore8进行说明。memcached的安装运行memcached需要本文开头介绍的libevent库。Fedora8中有现成的rpm包，通过yum命令安装即可。$sudoyuminstalllibeventlibevent-develmemcached的源代码可以从memcached网站上下载。本文执笔时的最新版本为1.2.5。Fedora8虽然也包含了memcached的rpm，但版本比较老。因为源代码安装并不困难，这里就不使用rpm了。下载memcached：安装与一般应用程序相同，configure、make、makeinstall就行了。$wget默认情况下memcached安装到/usr/local/bin下。memcached的启动从终端输入以下命令，启动memcached。$/usr/local/bin/memcached-p11211-m64m-vvslabclass1:chunksize88perslab11915slabclass2:chunksize112perslab9362slabclass3:chunksize144perslab7281中间省略slabclass38:chunksize391224perslab2slabclass39:chunksize489032perslab223serverlistening24sendbufferwas110592,now26843545624serverlistening(udp)24serverlistening(udp)24serverlistening(udp)24serverlistening(udp)这里显示了调试信息。这样就在前台启动了memcached，监听TCP端口11211最大内存使用量为64M。调试信息的内容大部分是关于存储的信息，下次连载时具体说明。作为daemon后台启动时，只需$/usr/local/bin/memcached-p11211-m64m-d这里使用的memcached启动选项的内容如下。选项说明-p使用的TCP端口。默认为11211-m最大内存大小。默认为64M-vv用veryvrebose模式启动，调试信息和错误输出到控制台-d作为daemon在后台启动上面四个是常用的启动选项，其他还有很多，通过$/usr/local/bin/memcached-h命令可以显示。许多选项可以改变memcached的各种行为，推荐读一读。用客户端连接许多语言都实现了连接memcached的客户端，其中以Perl、PHP为主。仅仅memcached网站上列出的语言就有PerlPHPPythonRubyC#C/C++Lua等等。memcached客户端API：这里介绍通过mixi正在使用的Perl库链接memcached的方法。使用Cache::MemcachedPerl的memcached客户端有Cache::MemcachedCache::Memcached::FastCache::Memcached::libmemcached等几个CPAN模块。这里介绍的Cache::Memcached是memcached的作者BradFitzpatric的作品，应该算是memcached的客户端中应用最为广泛的模块了。Cache::Memcached-search.cpan.org:使用Cache::Memcached连接memcached下面的源代码为通过Cache::Memcached连接刚才启动的memcached的例子。#!/usr/bin/perlusestrict;usewarnings;useCache::Memcached;my$key=foo;my$value=bar;my$expires=3600;#1hourmy$memcached=Cache::Memcached-new({servers=[127.0.0.1:11211],compress_threshold=10_000});$memcached-add($key,$value,$expires);my$ret=$memcached-get($key);print$ret\n;在这里，为Cache::Memcached指定了memcached服务器的IP地址和一个选项，以生成实例。Cache::Memcached常用的选项如下所示。选项说明servers用数组指定memcached服务器和端口compress_threshold数据压缩时使用的值namespace指定添加到键的前缀另外，Cache::Memcached通过Storable模块可以将Perl的复杂数据序列化之后再保存，因此散列、数组、对象等都可以直接保存到memcached中。保存数据向memcached保存数据的方法有addreplaceset它们的使用方法都相同：my$add=$memcached-add('键','值','期限');my$replace=$memcached-replace('键','值','期限');my$set=$memcached-set('键','值','期限');向memcached保存数据时可以指定期限(秒)。不指定期限时，memcached按照LRU算法保存数据。这三个方法的区别如下：选项说明add仅当存储空间中不存在键相同的数据时才保存replace仅当存储空间中存在键相同的数据时才保存set与add和replace不同，无论何时都保存获取数据获取数据可以使用get和get_multi方法。my$val=$memcached-get('键');my$val=$memcached-get_multi('键1','键2','键3','键4','键5');一次取得多条数据时使用get_multi。get_multi可以非同步地同时取得多个键值，其速度要比循环调用get快数十倍。删除数据删除数据使用delete方法，不过它有个独特的功能。$memcached-delete('键','阻塞时间(秒)');删除第一个参数指定的键的数据。第二个参数指定一个时间值，可以禁止使用同样的键保存新数据。此功能可以用于防止缓存数据的不完整。但是要注意，set函数忽视该阻塞，照常保存数据增一和减一操作可以将memcached上特定的键值作为计数器使用。my$ret=$memcached-incr('键');$memcached-add('键',0)unlessdefined$ret;增一和减一是原子操作，但未设置初始值时，不会自动赋成0。因此，应当进行错误检查，必要时加入初始化操作