SUSE-11-SP3-for-SAP-HA设置图解(ESXi环境)

虚拟机环境检查：每台虚拟机至少2张网卡（1张业务，1张心跳）；两台虚拟机共享一块100M硬盘用来做sbdfence设备；两台虚拟机应共享2.6T存储空间模拟3ParSAP映射存储（由于本实验环境存储空间有限，用2.6G代替之）主机名及IP规划：主机名：HA01、HA02业务IP：192.168.1.101（HA01）、192.168.1.102（HA02）Oracle虚拟IP：192.168.1.103SAP虚拟IP：192.168.1.104心跳IP：192.168.100.1（HA01）、192.168.100.2（HA02）业务IP在eth0上，心跳IP在eth1上共享100MSBD设备这样就添加完了一块共享盘。注意要点：硬盘模式：独立—持久；设备节点：SCSI（1：0）SCSI总线共享：虚拟或物理第二台虚拟机添加流程如下：两台虚拟机如上所述流程，完成共享盘的添加。共享存储2.6T添加模拟为了与现实环境类似，还需要添加2.6G硬盘（分别为：800M、800M、800M、200M），过程与上一致。完成后的截图如下所示：虚拟机主机名及相关IP设置以2号虚拟机为例，设置如下：两台虚拟机设置完毕后，测试如下：修改HA02虚拟机/etc/hosts文件，并SCP至另一台虚拟机HA01上：另一台虚拟机HA01上检查如下：群集框架搭建以HA01为主，配置群集如下：通道BindNetworkAddress选择“心跳IP”段，其余默认。配置完的同步主机列表：配置主机心跳网卡：配置群集服务，注意打开管理工具和关闭防火墙：配置群集完成后，把配置文件/etc/corosync/corosync.conf同步到另一台虚拟主机HA02上：两台虚拟主机均打开服务，并修改hacluster用户密码：并通过crm_gui或者Yast2PacemakerGUI观察是否正常，如下：也可以通过crm_mon观察如下：Fence设备设置由于本环境为虚拟机，因此采用SBD方式来通过共享100M的存储盘做Fence设备，如果是物理机可以通过IPMI管理口完成设置。添加SBDstonith配置，在两台虚机的/etc/sysconfig/kernel文件中查找BOOT并添加softdog内核模块，完成后如下所示：两台虚拟机同时设置共享SBD分区：格式化/dev/sdb1完成后，到另一台虚拟机HA01上检查，应该分区也同样可以查到：创建SBD并关联相关群集节点：创建/etc/sysconfig/sbd文件并同步到另一虚拟机HA01节点中：两台虚机（HA01、HA02）重启群集服务：检查群集服务状态如下：添加FenceSBD资源到HA中为保证Fence资源正常切换，CRM配置如下更改：相关SBD资源添加命令如下：Commit提交完毕后，群集资源组如下所示：cLVM配置1、将LVM2的锁定类型更改为群集感知的。编辑文件/etc/lvm/lvm.conf并找到以下行：locking_type=3将锁定类型如不是3则更改为3（默认为3，不需修改），并将配置写入磁盘。将此配置复制到所有节点。2、将clvmd资源作为克隆品包含在Pacemaker配置中，并让它依赖于DLM克隆资源。创建PV、VG、LV把共享的/dev/sdc、/dev/sdd、/dev/sde、/dev/sdf创建PV；Oravg由/dev/sdc、/dev/sdd、/dev/sde3个PV（800M）组成2.4G；Sapvg由/dev/sdf1个PV（200M）组成200M；创建LV原要求如下所示，实际建的时候缩小1/1024，即TBGB，GBMB；文件系统目录名称所在VG初始大小用途/oracle/PRDoravg100GOraclePRD和程序目录/oracle/PRD/origlogAoravg4Goracle在线日志目录/oracle/PRD/origlogBoravg4Goracle在线日志目录/oracle/PRD/mirrlogAoravg4Goracle在线日志目录/oracle/PRD/mirrlogBoravg4Goracle在线日志目录/oracle/PRD/sapdata1oravg500GOracle数据目录1数据分布在各lun内/oracle/PRD/sapdata2oravg500GOracle数据目录2数据分布在各lun内/oracle/PRD/sapdata3oravg500GOracle数据目录3数据分布在各lun内/oracle/PRD/sapdata4oravg500GOracle数据目录4数据分布在各lun内/oracle/PRD/oraarchoravg200GOracle离线日志目录文件系统目录名称所在VG初始大小用途/sapexpsapvg100GSAP共享目录(应用程序，传输目录)/usr/sap/PRD/ASCS00sapvg20GSAPASCS目录每次重启系统后，在启动群集文件系统后，需要把vg激活才可使用。vgchange-aysapvgvgchange-ayoravgLV格式化ext3文件系统，以便后面使用创建资源VIP、FS、SCRIPT创建虚拟业务IP创建文件系统之前，先在两台虚拟机上把对应的目录建完。建完对应目录，创建群集文件系统全部完成的文件系统：在两个虚拟机/etc/init.d/中创建脚本文件在两个虚拟机上授权刚创建的脚本文件chmod775file创建SCRIPT脚本文件创建资源组SAP资源组类似上面操作，完成如图所示创建cloneping添加一块新网卡，以模拟业务IP的上层交换机，IP设为192.168.1.100创建r_ping及clonePING说明：r_ping表示cloneping的资源名称；Multiplier是一个增效器，以100这个值为基准，两个节点ping数据包有丢失时就会从100减去相应的值，以此来判断节点的业务网卡的通迅情况dampen表示每5秒ping一次192.168.1.100代表上层交换机的IP地址（可以用网关来代替），这里用虚拟机增加的一块网卡设定静态IP代替monitor表示监控资源；interval表示若15秒ping不到上升交换设备，最迟60秒(timeout)就会迁移资源(start)创建约束条件：NFSSERVER设置要求：/sapexp下共有两个目录需要输出，输出选择为rw/sapexp/usr/sap/trans/sapexp/sapmnt/PRD在两个节点上，需要分别通过NFSmount两个目录(需要通过Cluster1的虚拟IPmount)/usr/sap/trans-ERPAP:/sapexp/usr/sap/trans/sapmnt/PRD-ERPAP:/sapexp/sapmnt/PRD先创建目录/sapexp/usr/sap/trans/sapexp/sapmnt/PRD/usr/sap/trans/sapmnt/PRD两台虚拟机均需要安装NFSSERVER，如下所示创建NFS资源依次创建nfs_trans和nfs_PRD资源，挂载对应目录最后，把nfs的相关资源加到sap_group中，edit操作与vi一致。修改完以后，用“:wq”命令保存配置在edit作完以后，用commit提交，再检查状态至此，SUSEHA全部配置完成，进行资源切换也正常。