Oracle 11g rac 生产环境部署详录

Oracle11grac生产环境部署详录作者：田逸（[e-mail]）基本规划◎设备选型1、服务器：DellR620两台。cpu8core，内存64G，600G15000转sas硬盘，双电源，hba卡一块，连接存储线缆一根（连接hba卡和共享存储）。2、存储：dellMD3200一台。双控制器，12块600G15000转sas硬盘。为追求最高可用性，使用的raid级别是raid10.3、交换机：华为3com两台，型号为h3cS5048E。注意：网络端口最好是全千兆。4、网线：2-3米机制6类线数根。--曾遇到网线不够，问IDC机房要了根网管自己做的六类线，质量不行，结果导致rac节点之间心跳检查时好时坏。5、辅助设备：vpn及kvmoverip各一个（1）小型简单的vpn，DI-8200上网行为管理认证路由器。价格1000多，便宜稳定。很适合拿来配vpn，用于登录系统，管理各个服务器。（2）kvmoverip型号为ATENcn8000。在系统不能远程登录的时候，打电话给IDC技术人员，让他们把这个设备连接到故障机，然后通过浏览器进行各种处理，如重装系统、查看屏幕信息、ctrl+Alt+Del重启等。这跟直接去机房连显示器和键盘是一样的效果。我敢保证，打车去机房现场处理，一定没电话给IDC机房，让人给接上这个设备快.◎网络规划1、网卡绑定：2个网卡绑定在一起，服务器的四个网卡，正好全部用上。即有效利用了带宽，又能增强可用性。2、ip地址分配：应用连接网络地址为172.16.208.0/24，节点间心跳网络地址为192.168.208.0/24。3、网络连接及管理（1）心跳网络与应用网络物理分离，各接一个交换机。（2）服务器没有公网地址，必须通过vpn拨号，才能进行系统登录管理。◎系统及所需工具1、服务器操作系统：centos5.964位，定制安装系统，选件包括xwindow及gnome。因安装oracle时需要图形用户界面，一个好的选择就是vncserver。在进行正式部署前，最好确保安装好了vncserver。一个定制好的系统的分区为：[root@rac70~]#df-hFilesystemSizeUsedAvailUse%Mountedon/dev/sda629G16G12G60%//dev/sda9362G215G129G63%/u01/dev/sda815G165M14G2%/tmp/dev/sda719G15G3.9G79%/home/dev/sda529G2.5G25G10%/usr/dev/sda329G321M27G2%/var/dev/sda199M19M75M21%/boottmpfs32G18G15G55%/dev/shm2、oracle软件：（1）集群管理软件linux.x64_11gR2_grid.zip，从oracle官网下载（需要注册为境外的电子邮件）（2）数据库软件linux.x64_11gR2_database，从oracle官网下载（需要注册为境外的电子邮件）（3）存储管理软件mdstoragemanager，从供货商获得光盘或者从dell的官网下载（4）oracleasm相关软件：oracleasm-2.6.18-308.el5-2.0.5-1.el5.x86_64.rpm、oracleasmlib-2.0.4-1.el5.x86_64.rpm、oracleasm-support-2.1.7-1.el5.x86_64.rpm。这三个软件，一定要跟操作系统内核版本相一致，否则不能进行后边的操作。◎分区使用及文件系统1、oracle数据库及集群软件安装在本地硬盘/u01分区。（1）集群软件路径/u01/app/grid（2）数据库软件路径/u01/app/oracle/product/11.2.0（3）集群软件和数据库软件base路径为都为/u01/app/oracle。因为软件安装路径（ORACLE_HOME）不能与BASE是同一个目录，因此这里弄得有点混乱，甚至有点别扭。幸运的是，这样令人疑惑的设置也能正常工作。希望将来的项目，可以提前把这样的设置规划得更规范些。打开一个安装好的环境，进入ORACLE_BASE目录，其子目录如下：[root@db40oracle]#lltotal20drwxr-x---3oracleoinstall4096Mar223:52admindrwxr-x---6oracleoinstall4096Mar223:52cfgtoollogsdrwxr-xr-x2oracleoinstall4096Mar223:20checkpointsdrwxrwxr-x5oracleoinstall4096Mar223:52diagdrwxr-xr-x3oracleoinstall4096Mar223:12product再进入目录diag，有三个子目录存在：[root@db40diag]#lltotal12drwxr-x---3oracleoinstall4096Mar221:50asmdrwxr-x---3oracleoinstall4096Mar223:52rdbmsdrwxr-xr-x3oracleoinstall4096Mar221:53tnslsnr瞧，asm文件系统、数据库以及监听器的告警日志都能在这里找到。如asm告警日志/u01/app/oracle/diag/asm/+asm/+ASM2/alert/log.xml。2、数据存储使用oracle自家ASM（自动存储管理），划分三个asm磁盘组：OCR、FLASH、DATA（OCR占据空间最小大约分配500M；FLASH次之，分配大概300G；剩余的全部分配给DATA）。其中：◆OCR存储集群注册信息ASMCMDpwd+OCR/db1-scanASMCMDlsASMPARAMETERFILE/OCRFILE/◆FLASH存储归档日志及rman默认备份集ASMCMDcdFLASHASMCMDlsZYZF/ASMCMDcdZYZFASMCMDlsARCHIVELOG/BACKUPSET◆DATA存储oracle数据库元数据及用户数据ASMCMDcdDATAASMCMDlsZYZF/ASMCMDcdZYZFASMCMDlsCONTROLFILE/DATAFILE/ONLINELOG/PARAMETERFILE/TEMPFILE/control01.ctlcontrol02.ctl………此处输出省略若干…………….redo07.logredo08.logspfilezyzf.ora3、DellMD3200存储管理软件使用默认安装路径/opt/dell/mdstoragesoftware。4、asm管理软件使用rpm包安装，安装文件自然满山放羊，到处都有：比如配置文件在/etc/sysconfig/oracleasm，设备名在目录/dev/oracleasm/disks，可执行文件在这里/etc/init.d/oracleasm。◎拓扑图IDC上联核心交换机防火墙公网服务器群KVMoverIPVNP设备公网交换机内网交换机应用服务器群心跳网络交换机数据库1数据库2共享存储DellMD3200Scsi线缆（6GB）1GB网线双网卡绑定执行步骤1、准备运行环境；2、准备及配置共享存储；3、准备数据库存储空间；4、安装集群工具grid;5、安装和创建oracle数据库特别说明：因为文档为后期撰写，为了描述更详尽，截图可能来自不同的运行环境，因此如果出现图片中ip地址与描述不一致的情况，请勿过多质疑。（一）、准备运行环境这里的运行环境环境主要包括远程桌面环境（我使用的是vnc服务）、安装软件所需的依赖工具、创建相关的帐号及目录、设置网络连接等。◎设置网络（每个节点都需要设置）◆修改文件/etc/modprobe.conf,使其内容为：aliasscsi_hostadaptermpt2sasaliaseth0tg3aliaseth1tg3aliaseth2tg3aliaseth3tg3aliasscsi_hostadapter1megaraid_sasaliasscsi_hostadapter2ahcialiasscsi_hostadapter3usb-storage#BeginDellMDModificationoptionsscsi_dh_rdacblacklist=DELL:MD3000,DELL:MD3000i#EndDellMDModificationaliasbond0bondingoptionsbond0miimon=100mode=0aliasbond1bondingoptionsbond1miimon=100mode=0◆修改网络接口文件，使其内容如下（为了描述方便，数个文件一起贴出）[root@rac70network-scripts]#moreifcfg-eth0#BroadcomCorporationNetXtremeBCM5720GigabitEthernetPCIeDEVICE=eth0#HWADDR=E0:DB:55:20:E7:10ONBOOT=yesTYPE=EthernetUSERCTL=noMASTER=bond0SLAVE=yesTYPE=Ethernet[root@rac70network-scripts]#moreifcfg-eth1#BroadcomCorporationNetXtremeBCM5720GigabitEthernetPCIeDEVICE=eth1BOOTPROTO=none#HWADDR=e0:db:55:20:e7:11ONBOOT=yesTYPE=EthernetUSERCTL=noMASTER=bond0SLAVE=yesTYPE=Ethernet[root@rac70network-scripts]#moreifcfg-eth2#BroadcomCorporationNetXtremeBCM5720GigabitEthernetPCIeDEVICE=eth2BOOTPROTO=none#HWADDR=e0:db:55:20:e7:12ONBOOT=yesTYPE=EthernetUSERCTL=noMASTER=bond1SLAVE=yesTYPE=Ethernet[root@rac70network-scripts]#moreifcfg-eth3#BroadcomCorporationNetXtremeBCM5720GigabitEthernetPCIeDEVICE=eth3#HWADDR=E0:DB:55:20:E7:13ONBOOT=yesHOTPLUG=noBOOTPROTO=noneTYPE=EthernetMASTER=bond1SLAVE=yesTYPE=Ethernet◆创建新的网络配置文件，其完整内容如下：[root@rac70network-scripts]#moreifcfg-bond0#BroadcomCorporationNetXtremeBCM5720GigabitEthernetPCIeDEVICE=bond0BOOTPROTO=noneBROADCAST=172.16.208.255IPADDR=172.16.208.70NETMASK=255.255.255.0NETWORK=172.16.208.0ONBOOT=yesGATEWAY=172.16.208.201TYPE=Ethernet[root@rac70network-scripts]#moreifcfg-bond1#BroadcomCorporationNetXtremeBCM5720GigabitEthernetPCIeDEVICE=bond1BOOTPROTO=noneONBOOT=yesDHCP_HOSTNAME=oracle70TYPE=EthernetUSERCTL=noIPADDR=192.168.208.70NETM