asm磁盘全部是损坏恢复总结

实验环境：

centos6.4

oracle 11.2.0.4

--

使用的是udev方式映射的raw，然后做的是asm

---

本来想把sdb，sdc这个块磁盘替换掉。

sdb => 1g:sdb1,sdb2,sdb3. 2g:sdb5,sdb6,sdb7

sdc => 2g:sdc1,sdc2,sdc3,sdc5,sdc6

做成了2个磁盘组

OCR sdb1,sdb2,sdb3  raw1,raw2,raw3,raw4

DATA sdb5,sdb6,sdb7 sdc1 raw5 ,raw6,raw7,raw8

FRA  sdc2,sdc3,sdc5,sdc6 raw9 ,raw10,raw11,raw12

asm磁盘组的磁盘不建议用扩展分区，

--------

想把这2块盘换掉

退出虚拟机，又加了2块磁盘

sdd :1g:sdd1,sdd2,sdd3. 2g:sdd5,sdd6,sdd7

sde :2g:sde1,sde2,sde3,sde5,sde6

然后在/etc/udev/rules.d/60-raw.rules 添加下面内容

ACTION=="add", KERNEL=="sdd1", RUN+="/bin/raw /dev/raw/raw12 %N"

ACTION=="add", KERNEL=="sdd2", RUN+="/bin/raw /dev/raw/raw13 %N"

ACTION=="add", KERNEL=="sdd3", RUN+="/bin/raw /dev/raw/raw14 %N"

ACTION=="add", KERNEL=="sdd5", RUN+="/bin/raw /dev/raw/raw15 %N"

ACTION=="add", KERNEL=="sdd6", RUN+="/bin/raw /dev/raw/raw16 %N"

ACTION=="add", KERNEL=="sdd7", RUN+="/bin/raw /dev/raw/raw17 %N"

ACTION=="add", KERNEL=="sde1", RUN+="/bin/raw /dev/raw/raw18 %N"

ACTION=="add", KERNEL=="sde2", RUN+="/bin/raw /dev/raw/raw19 %N"

ACTION=="add", KERNEL=="sde3", RUN+="/bin/raw /dev/raw/raw20 %N"

ACTION=="add", KERNEL=="sde5", RUN+="/bin/raw /dev/raw/raw21 %N"

ACTION=="add", KERNEL=="sde6", RUN+="/bin/raw /dev/raw/raw22 %N"

KERNEL=="raw[1-9]",OWNER="grid",GROUP="asmadmin" MODE="660"

KERNEL=="raw1[0-9]",OWNER="grid",GROUP="asmadmin" MODE="660"

KERNEL=="raw2[0-2]",OWNER="grid",GROUP="asmadmin" MODE="660"

---

然后进如asm实例

su - grid

sqlplus / as sysasm

select name,path from v$asm_disk;

name              path

------- ----------

OCR_0000 /dev/raw/raw1 

OCR_0001 /dev/raw/raw2 

OCR_0002 /dev/raw/raw3 

DATA_0000 /dev/raw/raw4 

DATA_0001 /dev/raw/raw5 

DATA_0002 /dev/raw/raw6 

DATA_0003 /dev/raw/raw7 

FRA_0000 /dev/raw/raw8 

FRA_0001 /dev/raw/raw9 

FRA_0002 /dev/raw/raw10 

FRA_0003 /dev/raw/raw11 

发现到了新添加的磁盘

然后进行替换

-

OCR

alter diskgroup ocr add disk '/dev/raw/raw12','/dev/raw/raw13','/dev/raw/raw14';

alter diskgroup ocr drop disk 'OCR_0000','OCR_0001','OCR_0002';

-

DATA

alter diskgroup data add disk '/dev/raw/raw15','/dev/raw/raw16','/dev/raw/raw17','/dev/raw/raw18';

alter diskgroup data drop disk 'DATA_0000','DATA_0001','DATA_0002','DATA_0003';

--

FRA

alter diskgroup fra add disk '/dev/raw/raw19','/dev/raw/raw20','/dev/raw/raw21','/dev/raw/raw22';

alter diskgroup fra drop disk 'FRA_0000','FRA_0001','FRA_0002','FRA_0003';

--

select group_number,operation,power,state from v$asm_operation;

等这里面没有信息，说明数据全部移动完。

-----

然后关闭虚拟机。

把sdb和sdc这2块对应的盘从虚拟机中删除

还在rac2节点加了一块非共享盘

开机

发现磁盘的对应关系发生了改变。

rac1

sdd  成了sdb

sde  成了sdc

rac2

sdd  成了sdc

sde  成了sdd

盘符全乱了。

自己重新映射了一下。发现还是有问题。

-

然后决定不用盘符映射。用scsi_id方式映射，这样共享盘是不能分区的。

在没做其他操作下，

把2块共享盘的分区全部删除。这样就在共享盘上的ocr，vote disk，data，fra的信息全部丢失。

--

然后在/etc/udev/rules.d/60-raw.rules做如下改动

ACTION=="add", KERNEL=="sd*", PROGRAM=="/sbin/scsi_id -g -u -d /dev/$name",

RESULT=="360022a11000e085d0de717f500000003", RUN+="/bin/raw /dev/raw/raw1 %N"

ACTION=="add", KERNEL=="sd*", PROGRAM=="/sbin/scsi_id -g -u -d /dev/$name",

RESULT=="360022a11000e085d0de7372c0000002e", RUN+="/bin/raw /dev/raw/raw2 %N"

ACTION=="adc", KERNEL=="sd*", PROGRAM=="/sbin/scsi_id -g -u -d /dev/$name",

RESULT=="360022a11000e085d0de7372c0000018e", RUN+="/bin/raw /dev/raw/raw2 %N"

KERNEL=="raw[1-3]", OWNER="grid", GROUP="oinstall", MODE="660"

-- 

RESULT=="360022a11000e085d0de717f500000003" 

这个值的获得 root#/sbin/scsi_id -g -u -d /dev/sdd 

linux版本不同，命令的路径不同。

---

映射后，最好重启下。

===

这样，系统重启后，发现crs宕掉，也无法启动。

asm实例无法启动，磁盘组也不存在。

===============

先重建crs

2节点都做

root#./crsctl stop crs

pwd

/oracle/app/11.2.0/grid/crs/install

root#./rootcrs.pl -deconfig -force

--

然后

2节点都做

pwd

/oracle/app/11.2.0/grid

./root.sh

重建成功

===============

那就做ocr和vote disk恢复吧。数据库还有一份备份。

pwd 

/oracle/app/11.2.0/grid/bin

rac1

root#./crsctl stop has

rac2

root#./crsctl stop has

ocr的备份在rac2上

rac2

root#./crsctl start crs -excl -nocrs  启动到独占模式

grid$sqlplus / as sysasm

进入到asm实例成功

创建磁盘组

create diskgroup OCR external redundancy disk '/dev/raw/raw1'

ATTRIBUTE 'compatible.asm'='11.2.0.0.0';

===============================================

ATTRIBUTE 'compatible.asm'='11.2.0.0.0';

这句比较关键，如果不带，恢复OCR无法成功。

/ocrconfig –restore backup00.ocr

无法完成

PROT-35: The configured OCR locations are not accessible.

==============================================

然后恢复OCR

root#./ocrconfig -restore /oracle/app/11.2.0/grid/cdata/rac-cluster/backup.ocr

成功

恢复vote disk

root#./crsctl replace votedisk +OCR

sqlplus / as sysasm

create spfile from memory;

-------

rac2

root#./crsctl stop has

--

rac1 

root#./crsctl start crs

rac2 

root#./crsctl start crs

=====

然后

rac1 

用+ASM1登录时出错

sqlplus / as sysasm

ps -ef|grep asm

            asm2

--

export ORACLE_SID=+ASM2

sqlplus / as sysasm

进入成功

exit

--

vi /etc/oratab

+ASM2 -->+ASM1

--

oraenv

+ASM1

sqlplus / as sysasm

实例进入成功

ps -ef |grep asm

----

然后重新创建DATA和FRA磁盘组

sqlplus / as sysasm

create diskgroup data add disk '/dev/raw/raw2';

create diskgroup fra add disk '/dev/raw/raw3';

===============