CISCO UCS ORACLE HA部署手册-V1.0
TABLE OF CONTENTS
.............................................................................................................................................................................. 1
1 参考拓扑 ....................................................................................................................................................... 3
2 说明及注意事项 ........................................................................................................................................... 3
3 前期准备 ....................................................................................................................................................... 3
4 CLUSTER安装配置步骤 ............................................................................................................................ 4
4.2 CLUSTER套件安装升级 ..................................................................................................................... 4
4.2.1 CLUSTER套件安装 ..................................................................................................................... 4
4.3 CLUSTER配置调测 ............................................................................................................................. 6
4.3.1 CLUSTER基本配置 ..................................................................................................................... 6
4.3.2 添加SUBORG属性 ...................................................................................................................... 9
4.3.3 ORACLE控制脚本 ..................................................................................................................... 10
4.3.4 CLUSTER测试 ........................................................................................................................... 12
4.3.5 上层交换机组播配置 .................................................................................................................. 14
APPENDIX A FENCING命令测试 ................................................................................................................. 15
APPENDIX B UCSM管理项变更 ................................................................................................................... 15
1 参考拓扑
2 说明及注意 说明及注意 事项
REDHAT5.8以下操作系统不支持UCS FENCING,需要升级CLUSTER到5.8版本套件
FI6120上联交换机CISCO4948需要开启组播支持,否则CLUSTER心跳无法工作
Selinux需要disable
Itables需要disable
本文仅介绍CLUSTER在UCS上的安装配置过程,ORACLE和操作系统安装部分不做介绍,以下以贵州广电REDHAT5.6配置过程为例.
3 前期准备
1. 完成UCSM基本配置
2. 完成基本操作系统安装配置,以下是配置数据 HOSTNAME IP ADDRESS OS VERSION UCS: Service Profile UCS: Sub organization
db1.gzgd.com
Eth0: 10.4.2.107
REDHAT5.6
Gzgd-db1
Gzgd-dhcp
Eth1:
db2.gzgd.com
Eth0: 10.4.2.108
REDHAT5.6
Gzdb-db2
Gzgd-dhcp
Eth1:
3. 完成数据库安装,并保证两台主机已同步
4 CLUSTERCLUSTER CLUSTER CLUSTER 安装配置步骤 安装配置步骤
4.2 CLUSTER套件安装升级
安装操作系统的时候,如果有可用KEY,输入KEY后,CLUSTER套件可以做为1个组件被选择安装,如果没有KEY,则必须事后安装CLUSTER套件。
4.2.1 CLUSTER套件安装
1. 建立本地YUM仓库(2台主机操作)
建立本地YUM仓库的目的是为了避免单个RPM安装,因为单独安装RPM的过程中会遇到RPM包的依赖关系,通过YUM工具可以轻松的避免这个问题,它会自动检索并安装依赖RPM.
第一步:加载REDHAT5.8 DVD光盘
# mount /dev/cdrom /media
或mount iso文件
# mount -o loop -t iso9660 yourisofile.iso /media
第二步:配置YUM本地仓库
[Server]
name=REHEL SERVER1
baseurl=file:///media/Server/ #rpm所在路径
enabled=1
gpgcheck=0
[Cluster]
name=REHEL SERVER2
baseurl=file:///media/Cluster/ #rpm所在路径
enabled=1
gpgcheck=0
[ClusterStorage]
name=REHEL SERVER3
baseurl=file:///media/ClusterStorage/ #rpm所在路径
enabled=1
gpgcheck=0
2. YUM安装CLUSTER(2台主机操作)
第一步:安装CLUSTER套件
# yum install cman
# yum install "Clustering"
# yum install "Cluster Storage"
或升级套件
# yum update cman
# yum groupupdate "Clustering"
# yum groupupdate "Cluster Storage"
第二步:配置CLUSTER自启动
# chkconfig cman on
# chkconfig rgmanager on
4.3 CLUSTER配置调测
4.3.1 CLUSTER基本配置
1.安装LUCI和RICCI服务(2台主机操作)
# yum install luci
# yum install ricci
# luci_admin init 初始化luci密码和数据库
# passwd ricci 初始化ricci密码
# service luci start
# service ricci start
2.WEB配置CLUSTER(1台主机操作)
第一步:登陆LUCI ,配置一个新的CLUSTER(不要使用system-config-cluster)
https://luci-ip:8084/
使用luci初始化用户名密码登陆,选择cluster,创建1个新的cluster,如下图:
第二步:在CLUSTER上配置FAILOVER域
第三步:配置FENC设备,选择Cisco UCS类型
具体配置信息如下:
说明:IP Address 是ucsm web管理IP
Login和password 是ucsm web 登陆用户名密码
Port 对应service profile,参照前面profile配置截图
注意:这里面缺失suborg资源名称,事后需要手工编辑cluster.xml
第四步 添加资源
增加IP和ORACLE启动脚本资源(脚本控制LVM及数据库)
说明:CLUSTER本身包含LVM和FS资源,所以也可以添加LVM和FS资源,完全由CLUSTER控制,简化ORACLE启动脚本.
第五步 添加服务
将服务和资源关联,完成CLUSTER ORACLE资源组配置,如下图,选择配置好的IP和SCRIPTS资源添加进ORA服务.
第六步:保存CLUSTER配置
4.3.2 添加SUBORG属性
对于REDHAT5.8以下版本,LUCI配置页面没有SUBORG配置选项,所以,WEB配置完成后需要手工编辑cluster.conf文件,添加红色部分,对应UCSM中的“sub organization”的组织名gzgd-dhcp,前面一定要添加”org-“:
4.3.3 ORACLE控制脚本
#!/bin/sh
. /etc/rc.d/init.d/functions
ORACLE_BASE=/home/oracle2/oracle
ORACLE_SID=LCDMP2
ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1
LSNR_PORT=1521
ORACLE_USER=oracle2
start()
{
/sbin/vgchange –ay
Mount /dev/mapper/VolGroup02-LCDMPBACKUP--lv01 /lcdmp2_backup
Mount /dev/mapper/VolGroup02-LCDMPDATA--lv00 /lcdmp2_dbdata
Sleep 5
su - $ORACLE_USER -c "$ORACLE_HOME/bin/lsnrctl start"
su - $ORACLE_USER -c "$ORACLE_HOME/bin/sqlplus /nolog << EOF
connect / as sysdba
startup
quit
EOF"
su - $ORACLE_USER -c "$ORACLE_HOME/bin/lsnrctl start"
exit 0
}
stop()
{
su - $ORACLE_USER -c "$ORACLE_HOME/bin/sqlplus /nolog << EOF
connect / as sysdba
shutdown immediate
quit
EOF"
su - $ORACLE_USER -c "$ORACLE_HOME/bin/lsnrctl stop"
sleep 5
umount /lcdmp2_backup
umount / /lcdmp2_dbdata
exit 0
}
status()
{
chk_lsnr=`netstat -anp 2>/dev/null | grep tnslsnr | grep $LSNR_PORT | wc -l`
if [ $chk_lsnr -eq 0 ];then
echo "Oracle listener is NOT running!"
else
echo "Oracle listener is running OK!"
fi
chk_sid=`ps axw | grep -E \
"ora_pmon|ora_lgwr|ora_dbw[0-9]*|ora_ckpt|ora_smon" | wc -l `
echo "AAA : $chk_sid" > ~/test.amp
if [ $chk_sid -gt 4 ];then
echo "Oracle SID : $ORACLE_SID is running OK!"
else
echo "Oracle SID : $ORACLE_SID is checked by ERROR!"
exit 1
fi
}
case "$1" in
start)
start
;;
stop)
stop
;;
restart)
stop
start
;;
status)
status oracle
;;
*)
echo $"Usage: $0 {start|stop|restart|status}"
exit 1
esac
4.3.4 CLUSTER测试
1. 启动CLUSTER
同步cluster.conf文件到对端主机/etc/cluster目录下,在两台主机启动cluster
# service cman start
# service rgmanager start
2. 检查CLUSTER运行状态
检查心跳组播是否正常,获取组播地址:cman_tool status
在DB1检查组播消息,以下是DB1发送的组播消息
在DB2检查组播消息,以下是DB2接收到DB1发送的组播消息,如果组播不通执行4.3.5.
检查CLUSTER状态是否正常,clustat检查cluster运行状态,两边看到的状态应该一致.
3. CLUSTER切换测试
故障类型 模拟方式 切换状态
手工切换
clusvcadm –r ora- m db1.gzgd.com
数据库切换
业务主机故障
Reboot 业务主机
数据库切换
业务主机心跳中断
Ifconfig down网口
数据库切换,被对端主机fencing
4.3.5 上层交换机组播配置
Cisco交换机默认状态下,组播数据是不允许通过的,所以,需要在交换机上开启组播功能,具体配置办法如下:
1. cman_tool status检查cluster协商的组播地址,如上图所示:239.192.93.145
2. 在心跳VLAN上配置组播组,如下红色字体部分:
interface Vlan100
description To AAA-Server Switch
ip address 10.4.2.253 255.255.255.0
ip igmp join-group 230.1.1.1
ip igmp join-group 239.192.93.145
vrrp 10 ip 10.4.2.254
vrrp 10 track 1
vrrp 10 track 2
Appendix Appendix A FENCINGFENCING FENCINGFENCINGFENCINGFENCING命令 测试
[root@db1 cluster]# fence_cisco_ucs -v -z --shell-timeout 10 -a 172.16.2.254 -n gzgd-db1 -l admin -p cisco123 -o status -v --suborg="/org-gzgd-dhcp"
Status: ON
[root@db1 cluster]#
只有得到正确的status状态,才说明fenc可以正常工作.
Appendix Appendix B UCSMUCSMUCSMUCSM管理项变更 管理项变更
1. 通过UCSM修改管理密码或profile
2. 修改所有CLUSTER主机的/etc/cluster/cluster.conf文件中对应配置项
3. 修改cluster.conf文件中的版本号.
4. 更新cluster.conf文件配置到cluster引擎,所有节点都要执行.
ccs_tool update /etc/cluster/cluster.conf