[size=15pt]一、安装前情况说明及规划硬件环境： 2台浪潮服务器： 5280MS1台浪潮存储： AS500H1台交换机及网线若干 软件环境：linux系统版本：linux6.4x86_64(2.6.32-358.e16)Oracle版本：Oracle11g11.2.3.0 软件清单：p10404530_112030_Linux-x86-64_1of7.zipp10404530_112030_Linux-x86-64_2of7.zipp10404530_112030_Linux-x86-64_3of7.zip 操作系统及数据库用户名和密码：node1服务器：用户名密码 root/root、oracle/oracle、grid/grid node2服务器：用户名密码 root/root、oracle/oracle、grid/gridoracle数据库用户及密码：sys(和system)/sys ----------------------安装前系统配置规划：1) IP地址规划：192.168.123.101 node1192.168.123.102 node2 192.168.123.201 node1-vip192.168.123.202 node2-vip 10.10.17.101 node1-priv10.10.17.102 node2-priv 192.168.123.100 scan-ip ----------------------2) 存储规划 OCR_VOTING /dev/sda /dev/asm-diska 2G(CRS) /dev/sdc /dev/asm-diskc 2G /dev/sdd /dev/asm-diskd 4G /dev/sde /dev/asm-diske 4G Flash_Racovery /dev/sdf /dev/asm-diskf 200G(FRADG)Data /dev/sdg /dev/asm-diskg 1T(DATADG) /dev/sdh /dev/asm-diskh 1T ArchivingLogs /dev/sde /dev/asm-diske 2T(ARCHDG) 3) 本地文件系统情况： Device Boot Start End Blocks Id System/dev/sda1 * 1 39 307200 83 LinuxPartition 1 does not end on cylinder boundary./dev/sda2 39 10237 81920000 83 Linux/dev/sda3 10237 11257 8192000 82 Linux swap / Solaris/dev/sda4 11257 72896 495111168 5 Extended/dev/sda5 11257 72896 495110144 83 Linux 4)oralceRAC软件组件用户
[td=47]组件名称
[td=45]OS用户[td=51]主组[td=151]附组[td=79]用户目录[td=195]Oracle主目录及基目录
[td=47]Grid集群件
[td=45]grid[td=51]oinstall[td=151]asmadmin,asmoper,asmdba[td=79]/home/grid[td=195]/u01/app/grid /u01/app/11.2.0/grid
[td=47]Oracle数据库
[td=45]oracle[td=51]oinstall[td=151]dba,asmdba[td=79]/home/oracle[td=195]/u01/app/oracle /u01/app/oracle/product/11.2.0/db_1
5) Oracle用户组信息
[td=114]组名
[td=114]属组用户[td=114]Oracle权限[td=114]Oracle组名[td=114]描述
[td=114]oinstall
[td=114]grid\oralce[td=114] [td=114] [td=114]Oracle清单和软件所有者
[td=114]asmadmin
[td=114]grid[td=114]system[td=114]osasm[td=114]Oracle自动存储管理组
[td=114]asmdba
[td=114]grid\oracle[td=114]asm sysdba[td=114]osdba for asm[td=114]ASM数据库管理员组
[td=114]asmopen
[td=114]grid[td=114]Asm sysoper[td=114]osoper for asm[td=114]ASM操作员组
[td=114]dba
[td=114]oracle[td=114]sysdba[td=114]osdba[td=114]数据库管理员
5) 表空间规划6) 数据库备份规划 [size=15pt]二、安装前系统配置2.1 安装环境[root@db1 ~]# uname -a Linux node1 2.6.32-358.el6.x86_64 #1 SMP Tue Jan 29 11:47:41 EST 2013 x86_64 x86_64 x86_64 GNU/Linux[root@db1 ~]# lsb_releaseLSB Version: :base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-4.0-noarch2.2 安装所需要包体根据Oracle官方文档，需要以下软件包:binutils-2.17.50.0.6 compat-libstdc++-33-3.2.3 compat-libstdc++-33-3.2.3 (32 bit) elfutils-libelf-0.125 elfutils-libelf-devel-0.125 gcc-4.1.2 gcc-c++-4.1.2 glibc-2.5-24 glibc-2.5-24 (32 bit) glibc-common-2.5 glibc-devel-2.5 glibc-devel-2.5 (32 bit) glibc-headers-2.5 ksh-20060214 libaio-0.3.106 libaio-0.3.106 (32 bit) libaio-devel-0.3.106 libaio-devel-0.3.106 (32 bit) libgcc-4.1.2 libgcc-4.1.2 (32 bit)libstdc++-4.1.2检查软件环境发现需要安装的包：binutils-2.15.92.0.2gcc-3.4.6 libaio-0.3.105 (i386) libaio-0.3.105 (x86_64)glibc-2.3.4-2.41 (i686)glibc-2.3.4-2.41 (x86_64)compat-libstdc++-33-3.2.3 (i386)compat-libstdc++-33-3.2.3 (x86_64)elfutils-libelf-0.97 (x86_64)elfutils-libelf-devel-0.97glibc-common-2.3.4glibc-common-2.3.4gcc-c++-3.4.6libaio-devel-0.3.105 (i386)libaio-devel-0.3.105 (x86_64)libgcc-3.4.6 (i386)libgcc-3.4.6 (x86_64)libstdc++-3.4.6 (i386)libstdc++-3.4.6 (x86_64)libstdc++-devel-3.4.6 (x86_64)sysstat-5.0.5 unixODBC-2.2.11 (i386)unixODBC-2.2.11 (x86_64)unixODBC-devel-2.2.11 (i386)unixODBC-devel-2.2.11 (x86_64)pdksh-5.2.14expat-1.95.7 (x86_64)注意：1）软件包安装过程中反复检查所缺失的rpm包。 2)有些包可能使用rpm命令安装不上，建议使用yum安装。3）pdksh包需要单独下载，原系统已经有的ksh包先卸载再安装pdksh包。 2.3 关闭无用服务chkconfig cups offchkconfig sendmail offchkconfig smartd offchkconfig iptables offchkconfig ip6tables offchkconfig bluetooth off service cups stopservice sendmail stopservice smartd stopservice iptables stopservice ip6tables stopservice bluetooth stop关闭防火墙服务安全性降低，这里管理它只是为了减少操作，方便安装。有些没有用的服务也可以管理。2.4 修改hosts文件# vi /etc/hosts 127.0.0.1 localhost#Public ip192.168.123.101 node1-pub192.168.123.102 node2-pub #Private ip10.10.17.101 node1-priv10.10.17.102 node2-priv #Virtual ip192.168.100.201 node1-vip192.168.100.202 node2-vip #Scan ip192.168.0.99 scan-ip2.5 修改 limits.conf 文件vi /etc/security/limits.conf文件添加如下内容：grid soft nproc 2047 grid hard nproc 16384 grid soft nofile 1024 grid hard nofile 65536 grid soft stack 10240grid hard stack 32768 oracle soft nproc 2047 oracle hard nproc 16384 oracle soft nofile 1024 oracle hard nofile 65536oracle soft stack 10240oracle hard stack 327682.6 添加 pam_limits.so 模块 /etc/pam.d/login添加：先备份 cp /etc/pam.d/login /etc/pam.d/login.bkup后编辑 vi /etc/pam.d/loginsession required pam_limits.so2.7 修改 linux 内核参数vi /etc/sysctl.conf 修改文件/etc/sysctl.conf，添加以下内容: # /etc/sysctl.conf # for oracle begin fs.aio-max-nr = 1048576 fs.file-max = 6815744 kernel.shmall = 2097152 kernel.shmmax = 4294967295 kernel.shmmni = 4096 kernel.sem = 250 32000 100 128 net.ipv4.ip_local_port_range = 9000 65500 net.core.rmem_default = 262144 net.core.rmem_max = 4194304 net.core.wmem_default = 262144net.core.wmem_max = 1048586#for oracle end 执行以下语句生效: # /sbin/sysctl -p2.8 修改 profile和修改 /etc/csh.login文件vi /etc/profile # for ORACLE SETTING begin if [ $USER = "oracle" ] || [ $USER = "grid" ]; then if [ $SHELL = "/bin/ksh" ]; then ulimit -p 16384 ulimit -n 65536 else ulimit -u 16384 -n 65536 fi umask 022 fi # for ORACLE SETTING end修改 /etc/csh.login文件vi /etc/csh.login#beginif ( $USER = "oracle" || $USER = "grid" ) thenlimit maxproc 16384limit descriptors 65536endif#end2.9 两台机器时间同步如果没有时间服务，则可以用集群中2个结点中一个做为服务器，另一个与此服务器同步即可。 假如用node1 做服务器， 其IP 为： 192.168.123.101， 修改配置文件#vi /etc/ntp.confServer 127.127.1.0 -- 本地时钟Fudge 127.127.1.0 stratum 11Broadcastdelay 0.008node2 与node1 同步。 修改node2的ntp 配置文件# vi /etc/ntp.confServer 192.168.123.101 preferDriftfile /var/lib/ntp/driftBroadcastdelay 0.008修改完后重启一下 ntp 服务#/etc/init.d/ntpd restart在node2是使用crontab 与服务器同步时间vi /etc/crontab*/15 * * * * ntpdate 192.168.123.101注意：Oracle11gRAC新增加了CTSS服务，在检测到ntpd服务后，其处于备用状态，也可以直接使用CTSS服务进行时间同步。2.10 再次确保SELINUX是关闭状态和关闭所有节点防火墙关闭防火墙命令：Service iptables status Service iptables stop chkconfigiptables off chkconfigiptables –list 设置/etc/selinux/config文件，将 SELINUX 设置为 disabled[root@db1 ~]# cat /etc/selinux/config # This file controls the state of SELinux on the system.# SELINUX= can take one of these three values:# enforcing - SELinux security policy is enforced.# permissive - SELinux prints warnings instead of enforcing.# disabled - No SELinux policy is loaded.SELINUX=disabled# SELINUXTYPE= can take one of these two values:# targeted - Targeted processes are protected,# mls - Multi Level Security protection.SELINUXTYPE=targeted2.11 为oracle用户、grid用户创建相关安装目录创建用户、组(所有节点)root用户登录，执行命令（下面都使用纯命令+示范结果的方式）：/usr/sbin/groupadd -g 501 oinstall/usr/sbin/groupadd -g 502 dba/usr/sbin/groupadd -g 503 oper/usr/sbin/groupadd -g 504 asmadmin/usr/sbin/groupadd -g 505 asmoper/usr/sbin/groupadd -g 506 asmdba/usr/sbin/useradd -g oinstall -G dba,asmdba,oper oracle/usr/sbin/useradd -g oinstall -G asmadmin,asmdba,asmoper grid [root@dbp ~]# /usr/sbin/groupadd -g 501 oinstall[root@dbp ~]# /usr/sbin/groupadd -g 502 dba[root@dbp ~]# /usr/sbin/groupadd -g 503 oper[root@dbp ~]# /usr/sbin/groupadd -g 504 asmadmin[root@dbp ~]# /usr/sbin/groupadd -g 505 asmoper[root@dbp ~]# /usr/sbin/groupadd -g 506 asmdba[root@dbp ~]# /usr/sbin/useradd -g oinstall -G dba,asmdba,oper oracle[root@dbp ~]# /usr/sbin/useradd -g oinstall -G asmadmin,asmdba,asmoper,oper,dba grid[root@dbp ~]# id oracleuid=500(oracle) gid=501(oinstall) groups=501(oinstall),502(dba),503(oper),506(asmdba)[root@dbp ~]# passwd oracleChanging password for user oracle.New UNIX password: BAD PASSWORD: it is based on a dictionary wordRetype new UNIX password: passwd: all authentication tokens updated successfully.[root@dbp ~]# id griduid=501(grid) gid=501(oinstall) groups=501(oinstall),502(dba),503(oper),504(asmadmin),505(asmoper),506(asmdba)[root@dbp ~]# passwd gridChanging password for user grid.New UNIX password: BAD PASSWORD: it is too shortRetype new UNIX password: passwd: all authentication tokens updated successfully. 切换至root用户，执行命令：mkdir -p /u01/app/oraInventorychown -R grid:oinstall /u01/app/oraInventorychmod -R 775 /u01/app/oraInventory mkdir -p /u01/app/gridchown -R oracle:oinstall /u01/app/gridchmod -R 775 /u01/app/grid mkdir -p /u01/app/11.2.0/gridchown -R grid:oinstall /u01/app/11.2.0/gridchmod -R 775 /u01/app/11.2.0/grid mkdir -p /u01/app/oraclechown -R oracle:oinstall /u01/app/oraclechmod -R 775 /u01/app/oracle mkdir -p /u01/app/oracle/cfgtoollogschown -R oracle:oinstall /u01/app/oracle/cfgtoollogschmod -R 775 /u01/app/oracle/cfgtoollogs mkdir -p /u01/app/oracle/product/11.2.0/db_1chown -R oracle:oinstall /u01/app/oracle/product/11.2.0/db_1chmod -R 775 /u01/app/oracle/product/11.2.0/db_12.12 修改 gird、oracle 用户的.bash_profile 文件（配置各节点环境变量）grid用户的.bash_profile修改su - grid vi .bash_profile #Grid Settings TMP=/tmp; export TMPTMPDIR=$TMP; export TMPDIR ORACLE_SID=+ASM1; export ORACLE_SIDORACLE_BASE=/u01/app/grid; export ORACLE_BASEORACLE_HOME=/u01/app/11.2.0/grid; export ORACLE_HOME NLS_DATE_FORMAT="yyyy-mm-dd HH24:MI:SS"; export NLS_DATE_FORMATTHREADS_FLAG=native; export THREADS_FLAGPATH=$ORACLE_HOME/bin:$PATH; export PATHif [ $USER = "oracle" ] || [ $USER = "grid" ]; thenif [ $SHELL = "/bin/ksh" ]; thenulimit -p 16384ulimit -n 65536elseulimit -u 16384 -n 65536fiumask 022fi修改后使其生效[grid@dbp ~]$ source .bash_profile 注意：使配置文件生效，同样在node2节点的Grid用户.bash_profile 中加入，并注意修改ORACLE_SID=+ASM2。oracle用户的.bash_profile修改su - oraclevi .bash_profile # Oracle Settings oracle TMP=/tmp; export TMPTMPDIR=$TMP; export TMPDIR ORACLE_BASE=/u01/app/oracle; export ORACLE_BASEORACLE_HOME=/u01/app/oracle/product/11.2.0/db_1; export ORACLE_HOMEORACLE_SID=RACDB1; export ORACLE_SIDORACLE_TERM=xterm; export ORACLE_TERMGRID_HOME=/u01/app/grid/product/11.2.0/grid;export GRID_HOME PATH=/usr/sbin:$PATH; export PATHPATH=$ORACLE_HOME/bin:$PATH; export PATH LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib; export LD_LIBRARY_PATHCLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib; export CLASSPATHNLS_DATE_FORMAT="yyyy-mm-dd HH24:MI:SS"; export NLS_DATE_FORMATNLS_LANG=AMERICAN_AMERICA.ZHS16GBK;export NLS_LANG if [ $USER = "oracle" ] || [ $USER = "grid" ]; then if [ $SHELL = "/bin/ksh" ]; then ulimit -p 16384 ulimit -n 65536 else ulimit -u 16384 -n 65536 fi umask 022fi--------------------使配置文件生效, 同样在其他节点的Oracle用户.bash_profile 中加入，并注意修改ORACLE_SID=RACDB2记得使用命令生效：[oracle@dbp ~]$ source .bash_profile2.13配置等效SSHOracle11gRAC可以在安装软件时使用自带的配置功能设置等效性，也可以自己手工配置。手工配置如下：建立等效用户先配置Oracle用户的等效性：在node1:[oracle@node1 ~]$ mkdir ~/.ssh[oracle@node1 ~]$ chmod 700 ~/.ssh[oracle@node1 ~]$ ssh-keygen -t rsa[oracle@node1 ~]$ ssh-keygen -t dsa在node2：[oracle@node2 ~]$ mkdir ~/.ssh[oracle@node2 ~]$ chmod 700 ~/.ssh[oracle@node2 ~]$ ssh-keygen -t rsa[oracle@node2 ~]$ ssh-keygen -t dsa3) 切换回node1，接着执行：[oracle@node1 ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys [oracle@node1 ~]$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys提示：下列命令会提示你输入node2 的oracle 密码，按照提示输入即可，如果失败可重新尝试执行命令。node1 节点：[oracle@node1 ~]$ scp ~/.ssh/authorized_keys rac2:~/.ssh/authorized_keysnode2节点：[oracle@node2 ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys[oracle@node2 ~]$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys[oracle@node2 ~]$ scp ~/.ssh/authorized_keys rac1:~/.ssh/authorized_keys4) 确保2个node都有相互的结点信息。两机相互执行。[oracle@node1 ~]$ ssh rac1 date[oracle@node1~]$ ssh rac2 date[oracle@node1 ~]$ ssh rac1-priv date[oracle@node1 ~]$ ssh rac2-priv date切换至node2 执行[oracle@node2 ~]$ ssh rac1 date[oracle@node2~]$ ssh rac2 date[oracle@node2 ~]$ ssh rac1-priv date[oracle@node2 ~]$ ssh rac2-priv date Grid用户的等效性与oracle用户的等效性配置类似，同样的操作即可。2.14 安装 cvuqdisk 软件包先解压p10404530_112030_Linux-x86-64_3of7.zip安装包，在/grid/rpms/下有cvuqdisk的安装包，安装即可。 2.15 校验能否安装grid（软件环境）执行命令：./runcluvfy.sh stage -pre crsinst -n node1,node2 -fixup –verbose配置完成后执行上面命令检查环境是否通过，这里的检查和安装软件过程中的检查一模一样，建立安装软件前多次检查，争取软件时一次安装成功。2.16 校验能否安装grid（硬件环境）使用命令：./runcluvfy.sh stage -post hwos -n node1,node2 –verbose查看检查结果是否通过，检查不通过的原因。[size=15pt]三、创建及配置[size=15pt]ASM[size=15pt]共享磁盘UDEV绑定裸设备参考在Linux 6上使用UDEV解决RAC ASM存储设备名问题1.#首先确认是 Linux 6.0以上版本 [root@vrh6 dev]# cat /etc/issue Oracle Linux Server release 6.4Kernel \r on an \m 2.#添加记录到/etc/scsi_id.config echo "options=--whitelisted --replace-whitespace" >> /etc/scsi_id.config 3. #确认哪些块设备需要udev绑定 [root@node1 oracle]# ls -l /dev/sd*brw-rw---- 1 root disk 8, 0 2月 20 10:54 /dev/sdabrw-rw---- 1 root disk 8, 16 2月 20 10:54 /dev/sdbbrw-rw---- 1 root disk 8, 32 2月 20 10:54 /dev/sdcbrw-rw---- 1 root disk 8, 48 2月 20 10:54 /dev/sddbrw-rw---- 1 root disk 8, 64 2月 20 10:54 /dev/sdebrw-rw---- 1 root disk 8, 80 2月 20 10:54 /dev/sdfbrw-rw---- 1 root disk 8, 96 2月 20 10:54 /dev/sdgbrw-rw---- 1 root disk 8, 112 2月 20 10:54 /dev/sdhbrw-rw---- 1 root disk 8, 128 2月 20 10:54 /dev/sdibrw-rw---- 1 root disk 8, 129 2月 20 10:54 /dev/sdi1brw-rw---- 1 root disk 8, 130 2月 20 10:54 /dev/sdi2brw-rw---- 1 root disk 8, 131 2月 20 10:54 /dev/sdi3brw-rw---- 1 root disk 8, 132 2月 20 10:54 /dev/sdi4brw-rw---- 1 root disk 8, 133 2月 20 10:54 /dev/sdi5例如在本实例中 sda-> sdh的块设备需要绑定 4. 将 a->h的编号放入for 循环中，例如： [root@node1 oracle]# echo "options=--whitelisted --replace-whitespace" >> /etc/scsi_id.config[root@node1 oracle]# for i in a b c d e f g h ;> do> echo "KERNEL==\"sd*\", BUS==\"scsi\", PROGRAM==\"/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/\$name\", RESULT==\"`/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/sd$i`\", NAME=\"asm-disk$i\", OWNER=\"grid\", GROUP=\"asmadmin\", MODE=\"0660\"" >> /etc/udev/rules.d/99-oracle-asmdevices.rules> done[root@node1 oracle]# cd /dev[root@node1 dev]# cat /etc/udev/rules.d/99-oracle-asmdevices.rulesKERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="360080e50003e7404000004825302ad48", NAME="asm-diska", OWNER="grid", GROUP="asmadmin", MODE="0660"KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="360080e50003efe0c000004745302ad9b", NAME="asm-diskb", OWNER="grid", GROUP="asmadmin", MODE="0660"KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="360080e50003e7404000004845302adb5", NAME="asm-diskc", OWNER="grid", GROUP="asmadmin", MODE="0660"KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="360080e50003efe0c000004765302ae10", NAME="asm-diskd", OWNER="grid", GROUP="asmadmin", MODE="0660"KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="360080e50003e7404000004865302ae00", NAME="asm-diske", OWNER="grid", GROUP="asmadmin", MODE="0660"KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="360080e50003efe0c000004785302ae50", NAME="asm-diskf", OWNER="grid", GROUP="asmadmin", MODE="0660"KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="360080e50003e7404000004885302ae33", NAME="asm-diskg", OWNER="grid", GROUP="asmadmin", MODE="0660"KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="360080e50003efe0c0000047c5302aeca", NAME="asm-diskh", OWNER="grid", GROUP="asmadmin", MODE="0660"[root@node1 dev]#5. 之后运行用root运行/sbin/start_udev 即可[root@node1 dev]# /sbin/start_udev正在启动 udev：[确定[root@node1 dev]# ls -l asm*brw-rw---- 1 grid asmadmin 8, 0 2月 20 11:34 asm-diskabrw-rw---- 1 grid asmadmin 8, 16 2月 20 11:34 asm-diskbbrw-rw---- 1 grid asmadmin 8, 32 2月 20 11:34 asm-diskcbrw-rw---- 1 grid asmadmin 8, 48 2月 20 11:34 asm-diskdbrw-rw---- 1 grid asmadmin 8, 64 2月 20 11:34 asm-diskebrw-rw---- 1 grid asmadmin 8, 80 2月 20 11:34 asm-diskfbrw-rw---- 1 grid asmadmin 8, 96 2月 20 11:34 asm-diskgbrw-rw---- 1 grid asmadmin 8, 112 2月 20 11:34 asm-diskh 在node2上执行如下： [root@node2 ~]# ls -l /dev/sd*brw-rw---- 1 root disk 8, 0 2月 20 10:54 /dev/sdabrw-rw---- 1 root disk 8, 16 2月 20 10:54 /dev/sdbbrw-rw---- 1 root disk 8, 32 2月 20 10:54 /dev/sdcbrw-rw---- 1 root disk 8, 48 2月 20 10:54 /dev/sddbrw-rw---- 1 root disk 8, 64 2月 20 10:54 /dev/sdebrw-rw---- 1 root disk 8, 80 2月 20 10:54 /dev/sdfbrw-rw---- 1 root disk 8, 96 2月 20 10:54 /dev/sdgbrw-rw---- 1 root disk 8, 112 2月 20 10:54 /dev/sdhbrw-rw---- 1 root disk 8, 128 2月 20 10:54 /dev/sdibrw-rw---- 1 root disk 8, 129 2月 20 10:54 /dev/sdi1brw-rw---- 1 root disk 8, 130 2月 20 10:54 /dev/sdi2brw-rw---- 1 root disk 8, 131 2月 20 10:54 /dev/sdi3brw-rw---- 1 root disk 8, 132 2月 20 10:54 /dev/sdi4brw-rw---- 1 root disk 8, 133 2月 20 10:54 /dev/sdi5[root@node2 ~]# ls -l /dev/sd*brw-rw---- 1 root disk 8, 0 2月 20 10:54 /dev/sdabrw-rw---- 1 root disk 8, 16 2月 20 10:54 /dev/sdbbrw-rw---- 1 root disk 8, 32 2月 20 10:54 /dev/sdcbrw-rw---- 1 root disk 8, 48 2月 20 10:54 /dev/sddbrw-rw---- 1 root disk 8, 64 2月 20 10:54 /dev/sdebrw-rw---- 1 root disk 8, 80 2月 20 10:54 /dev/sdfbrw-rw---- 1 root disk 8, 96 2月 20 10:54 /dev/sdgbrw-rw---- 1 root disk 8, 112 2月 20 10:54 /dev/sdhbrw-rw---- 1 root disk 8, 128 2月 20 10:54 /dev/sdibrw-rw---- 1 root disk 8, 129 2月 20 10:54 /dev/sdi1brw-rw---- 1 root disk 8, 130 2月 20 10:54 /dev/sdi2brw-rw---- 1 root disk 8, 131 2月 20 10:54 /dev/sdi3brw-rw---- 1 root disk 8, 132 2月 20 10:54 /dev/sdi4brw-rw---- 1 root disk 8, 133 2月 20 10:54 /dev/sdi5[root@node2 ~]# echo "options=--whitelisted --replace-whitespace" >> /etc/scsi_id.config[root@node2 ~]# for i in a b c d e f g h ;> do> echo "KERNEL==\"sd*\", BUS==\"scsi\", PROGRAM==\"/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/\$name\", RESULT==\"`/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/sd$i`\", NAME=\"asm-disk$i\", OWNER=\"grid\", GROUP=\"asmadmin\", MODE=\"0660\"" >> /etc/udev/rules.d/99-oracle-asmdevices.rules> done[root@node2 ~]# cd /dev[root@node2 dev]# cat /etc/udev/rules.d/99-oracle-asmdevices.rulesKERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="360080e50003e7404000004825302ad48", NAME="asm-diska", OWNER="grid", GROUP="asmadmin", MODE="0660"KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="360080e50003efe0c000004745302ad9b", NAME="asm-diskb", OWNER="grid", GROUP="asmadmin", MODE="0660"KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="360080e50003e7404000004845302adb5", NAME="asm-diskc", OWNER="grid", GROUP="asmadmin", MODE="0660"KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="360080e50003efe0c000004765302ae10", NAME="asm-diskd", OWNER="grid", GROUP="asmadmin", MODE="0660"KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="360080e50003e7404000004865302ae00", NAME="asm-diske", OWNER="grid", GROUP="asmadmin", MODE="0660"KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="360080e50003efe0c000004785302ae50", NAME="asm-diskf", OWNER="grid", GROUP="asmadmin", MODE="0660"KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="360080e50003e7404000004885302ae33", NAME="asm-diskg", OWNER="grid", GROUP="asmadmin", MODE="0660"KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="360080e50003efe0c0000047c5302aeca", NAME="asm-diskh", OWNER="grid", GROUP="asmadmin", MODE="0660"[root@node2 dev]# /sbin/start_udev正在启动 udev：[确定[root@node2 dev]# ls -l asm*brw-rw---- 1 grid asmadmin 8, 0 2月 20 11:36 asm-diskabrw-rw---- 1 grid asmadmin 8, 16 2月 20 11:36 asm-diskbbrw-rw---- 1 grid asmadmin 8, 32 2月 20 11:36 asm-diskcbrw-rw---- 1 grid asmadmin 8, 48 2月 20 11:36 asm-diskdbrw-rw---- 1 grid asmadmin 8, 64 2月 20 11:36 asm-diskebrw-rw---- 1 grid asmadmin 8, 80 2月 20 11:36 asm-diskfbrw-rw---- 1 grid asmadmin 8, 96 2月 20 11:36 asm-diskgbrw-rw---- 1 grid asmadmin 8, 112 2月 20 11:36 asm-diskh[root@node2 dev]#[size=15pt]四、安装[size=15pt]GI使用grid用户解压p10404530_112030_Linux-x86-64_3of7.zip在node1上使用grid用户安装grid infrastructure[grid@node1 grid]$ ./runInstaller Starting Oracle Universal Installer... Checking Temp space: must be greater than 120 MB. Actual 79780 MB Passed Checking swap space: must be greater than 150 MB. Actual 6143 MB Passed Checking monitor: must be configured to display at least 256 colors. Actual 16777216 Passed Preparing to launch Oracle Universal Installer from /tmp/OraInstall2012-12-29_09-28-08AM. Please wait ...[grid@node1 grid]$

五、安装数据库软件安装数据库软件之前先配置ASM存储六、建库及检测验证七、检测八、执行创建数据库脚本（改动）