RHCS+GFS的安装与配置-V1.0

RHCS安装也配置(V1.0―2010-11-03)(V1.1―2010-11-24－增加二个FAQ)简要说明作者Ableli拟制日期2010-11-03评审人评审日期批准人批准日期发布人发布尔日期Allrightsreserved版权所有侵权必究RHCS＋GFS安装与配置(linuslee.cublog.cn)目录ii目录(V1.0)i第1章RHCS可以干些撒？.........................................................................................................1第2章RHCS的原理....................................................................................................................2第3章RHCS编译.......................................................................................................................7第4章配置例子与意思说明.......................................................................................................12第5章状态检查与问题确认.......................................................................................................21第6章FAQ............................................................................................................................6-226.1启动Shellsystem-config-cluster时错...........................................................................6-226.2启动cman时出现如下报错..............................................................................................6-226.3GFSMount时出现以下问题............................................................................................6-226.4fence_domain_add:servicesetlevelfailed.....................................................................6-236.5GFS＋RHCS的价格与一些问题......................................................................................6-23第7章附件.............................................................................................................................7-23RHCS＋GFS安装也配置([e-mail])11第1章RHCS可以干些撒？花了一些时间去整理一下这方面的步骤描述1通常企业的数据库服务器都会采用备份机制。因为数据库通常是企业内最重要的服务，一旦数据库服务器因硬件或其它原因停止服务，会造成莫大的损失。所以数据库伺服大多会采用高可用性(HighAvailability)架构，当原来的数据库服务器无法提供服务时，备份的服务器会马上接管(takeover)数据库服务。先上一张图这张图整体包括了RHCS+GFS的硬件设备与基本的架构2分别说明RHCS与GFS：RHCS的作用是:A服务器宕机了，有B股务器还接着替A服务器工作，如果A，B都宕机了，还有C来替。就是我们所说的高可用性（HA）。GFS的作用：有一个磁盘，不仅A能访问而且B与C也能同时读写（共享存储），GFS需要RHCS的支持。3举例说明：NodeA有Apache的服务，要实现当NodeA宕机后，服务正常提供。不影响客户的使用。就需要当NodeA宕机后,有服务器NodeB上的Apache顺利接替NodeA,并且Apache上的内容一致。RHCS＋GFS安装也配置([e-mail])22第2章RHCS的原理步骤描述1原理这块是一台湾人写的文章，介绍的十分清楚。图1RedHat官方文件中有三张图(图1~图3)可说是整个RHCS架构的精髓，图1中有ClusterNodes、FailoverDomain、Service三个重要名词，以下分叙之:RHCS＋GFS安装也配置([e-mail])33步骤描述2ClusterNodes:ClusterNodes就是Cluster的成员，就是一台台服务器。以前笔者也提过：Cluster是什么？一般的定义，「所谓Cluster就是由一台以上的机器，为了某种特定需求所组成的架构」，根据不同的需求，可将Cluster分为以下三种，并对应RedHat由何种软件提供相关功能。1.Highavailabilitycluster：增加服务器和以网络为基础的应用程序的高可用性及备援性；由ClusterSuite中的ClusterManager技术提供。2.LoadBalancingcluster：将服务需求分派给多台服务器，可视系统负载随时弹性增加服务器；由ClusterSuite中的LinuxVirtualServer(Piranha)技术提供。3.Highperformancecluster(HPC)－提供同步运算及平行处理的能力；ClusterSuite不提供(另外有lam、pvm套件，规划由WS担纲)。例如IBMCluster1350便是一种HPC解决方案。一般的Highavailabilitycluster，通常用两台机器组成Highavailabilitycluster(例如IBMHACMP解决方案)，主要服务器停止服务时，备援服务器便会马上接手主要服务器的service。但RedHat所提供「Highavailabilitycluster」解决方案，最好用三台以上的服务器组成Highavailabilitycluster。如果只用两台服务器组成Highavailabilitycluster，则拔除传递heartbeat的网络线时，会发生split-brain(裂脑)的问题，RedHat可利用quorumdisk的技术来解决这个问题，不过这个部份理论较复杂，此篇文章先不讨论此种作法，后面实作的部份，笔者会用3个nodes来组成Cluster，其目的是为了避免split-brain问题。RHCS＋GFS安装也配置([e-mail])44步骤描述3FailoverDomain:「FailoverDomain」这个名词比较难理解，先看看RedHat官方文件的定义：「Afailoverdomainisasubsetofclusternodesthatareeligibletorunaparticularclusterservice.」简单来说，「FailoverDomain」就是Cluster的子集(subset)，就是Cluster的部份。由图1可以得知：ClusterNodes为nodeA、nodeB、nodeC、nodeD及nodeE。nodeA和nodeB组成FailoverDomain1。nodeB、nodeC及nodeD组成FailoverDomain2。nodeC、nodeD及nodeE组成FailoverDomain3。这样照字面解释完后，我想读者一定还有疑问，那为什么要分「FailoverDomain」？还记得笔者在「SinglePointofFailure」文章内所提过——「failover机制指的是如果一台服务器停机或故障，另一台服务器可以接手(takeover)故障服务器所提供的服务。」OK！我们再回头看图1，FailoverDomain1后紧接着ServiceX、FailoverDomain2后紧接着ServiceY、FailoverDomain1后紧接着ServiceZ。所以FailoverDomain的目的是指定ServiceX只能在FailoverDomain1内移转，也就是ServiceX可在nodeA和nodeB或上执行。同理ServiceY在FailoverDomain2内移转，也就是ServiceY可在nodeB、nodeC或nodeD或上执行。再提醒大家一件事，这是「Highavailabilitycluster」，最主要是提供备援机制，Service同时间只能在某一个node上启动，以FailoverDomain1而言，ServiceX只能在nodeA或nodeB上执行，假设一开始是在nodeA上执行，当nodeA挂掉时，ServiceX就会自动移转至nodeB上。4Service:那什么是Service？Service很容易让大家误以为就是/etc/init.d/httpd这类应用程序，在RHCS中的Service其实是一堆Resource的组合。各位想想，如果主要的服务器挂掉，另一台备援的服务器要接管服务，只需启动/etc/init.d/httpd吗？不对吧！应该还要把原来Client所连接的IP(常称serviceIP)移转到备援服务器，还有要把原来的网页档案系统(应该要在sharedisk)挂载起来，最后才是执行/etc/init.d/httpdstart。经过以上讲解，再看图2，就会豁然开朗，图2中contentservice是由IPresource(serviceip)、Applicationresource(/etc/inti.d/httpd)及Filesystemresource(网页档案系统)所组成。RHCS＋GFS安装也配置([e-mail])55步骤描述5图(2)RHCS＋GFS安装也配置([e-mail])66步骤描述6FencingDevice:图3中，有个奇怪的装置「FencingDevice」，「FencingDevice」可能是大家最陌生的，因为其它Unix的HASolution并不需要此装置。先不要管Fence中文意义是什么「栅栏、篱笆」，等一下笔者再解释为什么叫FencingDevice。RHCS中提到的FencingDevice，是一种可以直接对服务器做电源PowerON/PowerOFF的装置，注意笔者说的是「电源」，不是去执行操作系统的开关机指令。RHCS支持的FencingDevice很多，不过有些并不常见，例如有种电源延长线，你可以用telnet指令，对某一个插座做PowerON/PowerOFF的动作，那么接在这个位置上的服务器不管操作系统是否完全无反应(有时服务器loading过重，会连ssh也无法登入)都会重开机，这种电源延长线有时我们称作NPS(NetworkPowerSwitch)。不过NPS，在台湾使用的人很少，就笔者所接触的案子，客户通常是采购本身有支持IPMI