MySQL集群方案

MySQL集群方案--LVS+Keepalived+MysqlCluster一、概述(一)LVS1.概述使用LVS架设的服务器集群系统从体系结构上看是透明的，最终用户只感觉到一个虚拟服务器。物理服务器之间可以通过高速的LAN或分布在各地的WAN相连。最前端是负载均衡器，它负责将各种服务请求分发给后面的物理服务器，让整个集群表现得象一个服务于同一IP地址的虚拟服务器。一个完整的负载均衡项目，由虚拟服务器、故障隔离及失败切换3个功能框架组成。虚拟服务器是负载均衡体系的基本结构，分为：负载均衡器和真实服务器。虚拟服务器最主要的功能是提供包转发和负载均衡，由ipvsadm脚本来具体实现。故障隔离：虚拟服务器中的某个真实服务器失效，系统将自动从转发队列中清理出来，从而保证用户访问正确性，当故障处理后，系统再自动加入转发队列。失败切换：针对负载均衡器采取的措施，当猪负载均衡器出现故障，备用自动接管主负载均衡器的工作，恢复后恢复到初始角色。实现虚拟服务器、故障隔离及失败切换由ipvsdam和keepalived来实行。（也可以使用heartbeat来实现，但复杂）LVS集群系统具有良好的可扩展性和高可用性。可扩展性是指，LVS集群建立后，可以很容易地根据实际的需要增加或减少物理服务器。而高可用性是指当检测到服务器节点或服务进程出错、失效时，集群系统能够自动进行适当的重新调整系统。LinuxVirtualServer的主要是在负载均衡器上实现的，负载均衡器是一台加了LVSPatch的2.2.x版内核的Linux系统。LVSPatch可以通过重新编译内核的方法加入内核，也可以当作一个动态的模块插入现在的内核中。2.负载均衡器的三种模式负载均衡器可以运行在以下三种模式下中的一种或几种：NAT：用地址翻译实现虚拟服务器；TUN：用IP隧道技术实现虚拟服务器；DR：用直接路由技术实现虚拟服务器。另外，还需要根据LVS应用对物理服务器进行恰当的配置。以下将分别讲述一下三种模式的工作原理和优缺点。1)NATVirtualServerviaNAT方法的最大优点是集群中的物理服务器可以使用任何支持TCP/IP操作系统，物理服务器可以分配Internet的保留私有地址，只有负载均衡器需要一个合法的IP地址。这种实现方法的最大的缺点是扩展性有限。当服务器节点（普通PC服务器）数据增长到20个或更多时,负载均衡器将成为整个系统的瓶颈，因为所有的请求包和应答包都需要经过负载均衡器再生。假使TCP包的平均长度是536字节的话，平均包再生延迟时间大约为60us（在Pentium处理器上计算的，采用更快的处理器将使得这个延迟时间变短），负载均衡器的最大容许能力为8.93M/s，假定每台物理服务器的平台容许能力为400K/s来计算，负责均衡器能为22台物理服务器计算。VirtualServerviaNAT能够满足许多服务器的服务性能需求。即使是是负载均衡器成为整个系统的瓶颈，如果是这样也有两种方法来解决它。一种是混合处理，另一种是采用VirtualServerviaIPtunneling或VirtualServerviadirectrouting。如果采用混合处理的方法，将需要许多同属单一的RRDNS域。你采用VirtualServerviaIPtunneling或VirtualServerviadirectrouting以获得更好的可扩展性。也可以嵌套使用负载均衡器，在最前端的是VS-Tunneling或VS-Drouting的负载均衡器，然后后面采用VS-NAT的负载均衡器。2)TUN采用VS-NAT方式，请求与应答包都需要经过负载均衡器，那么当服务器节点增长到20个或更多时，这个负载均衡器就可能成为新的瓶颈。我们发现，许多Internet服务（例如WEB服务器）的请求包很短小，而应答包通常很大。而使用VS-TUN方式的话，负载均衡器只负责将请求包分发给物理服务器，而物理服务器将应答包直接发给用户。所以，负载均衡器能处理很巨大的请求量，这种方式，一台负载均衡能为超过100台的物理服务器服务，负载均衡器不再是系统的瓶颈。使用VS-TUN方式，如果你的负载均衡器拥有100M的全双工网卡的话，就能使得整个VirtualServer能达到1G的吞吐量。IPtunneling（IP隧道）能够用于架构一个高性能的virtualserver，非常适合构建virtualproxyserver，因为当代理服务器收到了请求，能够让最终用户直接与服务器联系。但是，这种方式需要所有的服务器支持IPTunneling(IPEncapsulation)协议，我仅在Linux系统上实现了这个，如果你能让其它操作系统支持，还在探索之中。3)DR就象VS-TUN一下，在VS-DR方式下，负载均衡器也只是分发请求，应答包通过单独的路由方法返回给客户端。这种方式能够大大提高VirtualServer的可扩展性。与VS-TUN相比，VS-DR这种实现方式不需要隧道结构，但它要求负载均衡器的网卡必须与物理网卡在一个物理段上。而且VS-DR模式，可以使用大多数操作系统做为物理服务器，其中包括：Linux2.0.36、2.2.9、2.2.10、2.2.12；Solaris2.5.1、2.6、2.7；FreeBSD3.1、3.2、3.3；NT4.0无需打补丁；IRIX6.5；HPUX11等3.负载均衡调度算法目前系统有八种负载均衡调度算法，具体如下:1)rr轮叫(RoundRobin)调度器通过”轮叫”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务器，而不管服务器上实际的连接数和系统负载.2)wrr加权轮叫(WeightedRoundRobin)调度器通过”加权轮叫”调度算法根据真实服务器的不同处理能力来调度访问请求.这样可以保证处理能力强的服务器处理更多的访问流量.调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。3)lc最少链接(LeastConnections)调度器通过”最少连接”调度算法动态地将网络请求调度到已建立的链接数最少的服务器上.如果集群系统的真实服务器具有相近的系统性能，采用”最小连接”调度算法可以较好地均衡负载.4)wlc加权最少链接(WeightedLeastConnections)在集群系统中的服务器性能差异较大的情况下，调度器采用”加权最少链接”调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载.调度器可以自动问询真实服务器的负载情况，并动态地调整其权值.5)lblc基于局部性的最少链接(Locality-BasedLeastConnections)“基于局部性的最少链接”调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统.该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用”最少链接”的原则选出一个可用的服务器，将请求发送到该服务器.6)lblcr带复制的基于局部性最少链接(Locality-BasedLeastConnectionswithReplication)“带复制的基于局部性最少链接”调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统.它与LBLC算法的不同之处是它要维护从一个目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射.该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组，按”最小连接”原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器，若服务器超载；则按”最小连接”原则从这个集群中选出一台服务器，将该服务器加入到服务器组中，将请求发送到该服务器.同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度.7)dh目标地址散列(DestinationHashing)“目标地址散列”调度算法根据请求的目标IP地址，作为散列键(HashKey)从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空.8)sh源地址散列(SourceHashing)“源地址散列”调度算法根据请求的源IP地址，作为散列键(HashKey)从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空.4.IPVSIPVS是整个负载均衡的基础，如果没有这个基础的话，故障隔离与失败切换毫无意义。IPVS有IPVSADM来实现的。LVS客户端是指负载均衡器/转发器后面提供服务的服务器。负载均衡分为直接路由模式DR、网络地址转发模式NAT及隧道模式TUN三种。LVS客户端的配置是根据其采用的负载均衡种类来做相应操作的。为了获得最高性能，采用直接路由模式DR。(二)Keepalived1.概述Keepalived是运行在lvs之上，它的主要功能是实现真实机的故障隔离及负载均衡器间的失败切换FailOver。(三)MySQLCluster1.概述MySQLCluster是MySQL适合于分布式计算环境的高实用、高冗余版本。它采用了NDBCluster存储引擎，允许在1个Cluster中运行多个MySQL服务器。在MyQL5.0及以上的二进制版本中、以及与最新的Linux版本兼容的RPM中提供了该存储引擎。MySQLCluster是一种技术，该技术允许在无共享的系统中部署“内存中”数据库的Cluster。通过无共享体系结构，系统能够使用廉价的硬件，而且对软硬件无特殊要求。此外，由于每个组件有自己的内存和磁盘，不存在单点故障。MySQLCluster由一组计算机构成，每台计算机上均运行着多种进程，包括MySQL服务器，NDBCluster的数据节点，管理服务器，以及（可能）专门的数据访问程序。关于Cluster中这些组件的关系，请参见下图：所有的节点构成一个完成的MySQL集群体系。数据保存在“NDB存储服务器”的存储引擎中，表（结构）则保存在“MySQL服务器”中。应用程序通过“MySQL服务器”访问这些数据表，集群管理服务器通过管理工具(ndb_mgmd)来管理“NDB存储服务器”。通过将MySQLCluster引入开放源码世界，MySQL为所有需要它的人员提供了具有高可用性、高性能和可缩放性的Cluster数据管理。1)优点99.999％的高可用性快速的自动失效切换灵活的分布式体系结构，没有单点故障高吞吐量和低延迟可扩展性强，支持在线扩容2)缺点：存在很多限制，如：不支持外键，数据行不能超过8K（不含BLOB和text的数据）部署、管理、配置很复杂占用磁盘空间大，内存大备份和恢复不方便重启的时候，数据节点将数据load到内存需要很长时间2.MySQLCluster基本概念“NDB”是一种“内存中”的存储引擎，它具有可用性高和数据一致性好的特点。MySQLCluster能够使用多种故障切换和负载平衡选项配置NDB存储引擎，但在Cluster级别上的存储引擎上做这个最简单。MySQLCluster的NDB存储引擎包含完整的数据集，仅取决于Cluster本身内的其他数据。目前，MySQLCluster的Cluster部分可独立于MySQL服务器进行配置。在MySQLCluster中，Cluster的每个部分被视为1个节点。1)管理(MGM)节点这类节点的作用是管理MySQLCluster内的其他节点，如提供配置数据、启动并停止节点、运行备份等。由于这类节点负责管理其他节点的配置，应在启动其他节点之前首先启动这类节点。MGM节点是用命令“ndb_mgmd”启动的。2)数据节点这类节点用于保存Cluster的数据。数据节点的数目与副本的数目相关，是片段的倍数。例如，对于两个副本，每个副本有两个片段，那么就有4个数据节点。不过没有必要设置多个副本。数据节点是用命令“ndbd”启动的。