RHEL 5.5+DRBD+heartbeat+Oracle10R2双机安装实例

编者按：本文详细介绍了RHEL5.5+DRBD+heartbeat+Oracle10R2双机安装实例。DRBD+Heartbeat是目前运维实现双机安装的主要方式，由于配置繁琐，而针对不同服务的配置也有所不同。本文专门针对CentOS5.5上的Oracle10R2的双机安装。1、操作系统版本：RedHatEnterpriseLinuxServerrelease5.5(Tikanga)2、Drbd、Heartbeat文件版本及文件名列表（本人已经将以下文件打包为Heartbeat3.0.3.tar.bz2）：Cluster-Resource-Agents-agents-1.0.3.tar.bz2drbd-8.3.8.1.tar.gzHeartbeat-3-0-STABLE-3.0.3.tar.bz2LoaddrbdmodulesPacemaker-1-0-Pacemaker-1.0.9.tar.bz2Pacemaker-Python-GUI-pacemaker-mgmt-2.0.0.tar.bz2Reusable-Cluster-Components-glue-1.0.6.tar.bz23、网络配置（双网卡采用BOND模式）RHEL5.5系统安装完成之后需要修改网络配置，首先将各节点中eth0、eth1分别设置为静态IP。修改节点hosts文件，内容如图同时修改各节点/etc/sysconfig/network文件，将HOSTNAME一行的内容改为节点对应的主机名，如图（以node2为例）4、节点名及存储分配a、主机名及IP====Node2====Hostname:node2.localdomainIp:10.109.1.38====Node3====Hostname:node3.localdomainIp:10.109.1.39b、DRBD镜像分区：资源名称：oradata设备：/dev/drbd0挂载点：/oradata（存放Oracle实例）c、浮动主机名及IP====Node1====Hostname:node1.localdomainIp:10.109.1.375、安装Heartbeat进入Linux根目录cd/建立HA目录mkdirHa上传Heartbeat3.0.3.tar.bz2文件到HA目录进入HA目录cd/HA/5.1解压Heartbeat压缩包，得到后续安装需要的各个安装文件tar-jxvfHeartbeat3.0.3.tar.bz2编译的顺序是：先ClusterGlue，再ResourceAgents，然后才是Heartbeat。解压Reusable-Cluster-Componentstar-jxvfReusable-Cluster-Components-glue-1.0.6.tar.bz2进入Reusable-Cluster-Components-glue-1.0.6目录cdReusable-Cluster-Components-glue-1.0.6打开lib/stonith/main.c文件vilib/stonith/main.c编辑：找到其64行，将其注释掉。找到其76到81行全部注释掉。找到其390行，将其注释使用以下两个进行配置./autogen.sh./configureLIBS='/lib/libuuid.so.1'使用如下命令创建Heartbeat管理用户：groupaddhaclientuseradd-ghaclienthacluster使用如下命令编译并安装：makemakeinstall5.2解压Cluster-Resource-Agentstar-jxvfCluster-Resource-Agents-agents-1.0.3.tar.bz2进入Cluster-Resource-Agents-agents-1.0.3目录cdCluster-Resource-Agents-agents-1.0.3使用如下命令配置、编译并安装./autogen.sh./configuremakemakeinstall5.3解压Heartbeat-3-0-STABLEtar-jxvfHeartbeat-3-0-STABLE-3.0.3.tar.bz2进入Heartbeat-3-0-STABLE-3.0.3目录cdHeartbeat-3-0-STABLE-3.0.3首先执行如下命令进行配置./autogen.sh./bootstrap./ConfigureMeconfiguremake此时系统会报一个hbaping.lo错误，我们需要使用如下一组命令对hbaping.loT文件进行改名操作：cdliblscdplugins/lscdHBcommmvhbaping.loThbaping.lo之后再次执行以下两条命令进行安装操作，应该就不会报错了。makemakeinstall使用cd/usr/etc/命令进入/usr/etc/目录中使用cp-Rha.d//etc/命令将/usr/etc/ha.d全部复制到/etc/目录中使用rm-rfvha.d删除/usr/etc/中整个ha.d目录使用cd/etc/命令进入/etc/目录中使用ln-s/etc/ha.d/usr/etc/ha.d命令创建/etc/ha.d到/usr/etc/ha.d的软连接文件。5.4解压Pacemaker-1-0tar-jxvfPacemaker-1-0-Pacemaker-1.0.9.tar.bz2进入Pacemaker-1-0-Pacemaker-1.0.9目录cdPacemaker-1-0-Pacemaker-1.0.9执行如下命令配置、编译并安装./autogen.sh./ConfigureMeconfiguremakemakeinstall5.5解压Pacemaker-Python-GUItar-jxvfPacemaker-Python-GUI-pacemaker-mgmt-2.0.0.tar.bz2进入Pacemaker-Python-GUI-pacemaker-mgmt-2.0.0目录cdPacemaker-Python-GUI-pacemaker-mgmt-2.0.0首先执行如下命令./bootstrap使用rpm命令在RHEL5.5安装光盘中安装gettext-devel、intltool包，具体命令如下：cd/media/RHEL_5.5\i386\DVD/Server/rpm-ivhgettext-devel-0.14.6-4.el5.i386.rpmrpm-ivhintltool-0.35.0-2.i386.rpm之后再次进入Pacemaker-Python-GUI-pacemaker-mgmt-2.0.0目录cdPacemaker-Python-GUI-pacemaker-mgmt-2.0.0执行如下命令：./ConfigureMeconfigureautoreconf-ifs./bootstrapmakemakeinstall使用passwd命令设置hacluster用户口令将hbmgmtd复制到/etc/pam.d/目录cp/usr/etc/pam.d/hbmgmtd/etc/pam.d/6、安装DRBD使用tarzxvfdrbd-8.3.8.1.tar.gz解压该文件使用cd/media/RHEL_5.5\i386\DVD/Server/进入光盘挂载目录中使用rpm依次安装内核相关的源码包rpm-ivhkernel-devel-2.6.18-194.el5.i686.rpmrpm-ivhkernel-headers-2.6.18-194.el5.i386.rpmrpm-ivhkernel-doc-2.6.18-194.el5.noarch.rpm使用cddrbd-8.3.8.1命令进入drbd-8.3.8.1目录中依次执行如下命令配置、编译并安装./autogen.sh./configure--prefix=/usr--localstatedir=/var--sysconfdir=/etc/--with-kmmakemakeinstall使用chkconfig--adddrbd命令创建drbd服务启动脚本使用chkconfig--addheartbeat命令创建heartbeat服务启动脚本使用chkconfigheartbeatoff命令关闭heartbeat服务使用chkconfigdrbdoff命令关闭drbd服务使用catLoad\drbd\modules/etc/rc.d/rc.sysinit命令将Loaddrbdmodules中的内容添加到rc.sysinit系统文件的最后部分，以便系统启动时能自动将drbd.ko驱动模块加载到核心中，正常使用drbd服务。(该步逐在rhel5.5中需要省略，否则drbd服务将无法正常启动)。7、配置DRBD7.1、修改各节点主机DEBD配置文件/etc/drbd.d/global_common.conf中usage-count的参数为no,如图：完成后存盘退出。7.2、在各节点主机中创建文件/etc/drbd.d/oradata.res,并在oradata.res文件中添加如下内容：resourceoradata{#资源组的名称protocolC;startup{degr-wfc-timeout120;#2minutes.启动时连接其他节点的超时时间}disk{on-io-errordetach;#当磁盘有错误时，不连接}net{}syncer{rate10M;#设置主备节点同步时的网络速率最大值al-extents257;}onnode2.localdomain{#节点主机名device/dev/drbd0;#今后使用的设备disk/dev/vda5;#该节点上的用于存放数据的分区号address10.109.1.38:7788;#该节点的IP地址meta-diskinternal;#metadata信息存放的方式}onnode3.localdomain{device/dev/drbd0;disk/dev/vda5;address10.109.1.39:7788;meta-diskinternal;}}如图例：7.3、初始化分区在各节点上执行drbdadmcreate-mdoradata命令，初始化分区（创建metadata信息），这里的oradata即为配置文件中的资源组名称。7.4、启动服务在两台节点服务器上启动drbd服务。如图：之后用cat/proc/drbd或servicedrbdstatus查看当前状态，出现下图信息说明DRBD服务已经正常启动了，如图：※注意，现在两机器都是处于Secondary，即备机状态，还进行数据同步。7.5、设置primary主机在确认作为主数据服务器的机器上执行：[root@node1~]#drbdadmadjustoradata[root@node1~]#drbdsetup/dev/drbd0primary-o这样，将把node1作为主机，把vda5中的数据以块的方式同步到node2中。可再次查看状态：[root@node1~]#cat/proc/drbdversion:8.3.8(api:88/proto:86-94)GIT-hash:d78846e52224fd00562f7c225bcc25b2d422321dbuildbyroot@hatest1,2010-07-0708:59:440:cs:SyncSourcero:Primary/Secondaryds:UpToDate/InconsistentCr----ns:719756nr:0dw:0dr:720896al:0bm:43lo:0pe:62ua:36ap:0ep:1wo:boos:1378556[=====..............]sync'ed:34.4%(1378556/2096348)Kdelay_probe