ORACLE 11G DB RAC ORA-00257archiver error解决办法

ORA-00257archiver error解决办法

1.之前有处理单机过oracle 11.2.0.4归档日志磁盘空间不足的问题 ，但是没有处理过ORACLE RAC的归档日志磁盘空间不足的问题 

所以没有预想到会是出现asm磁盘空间不足的议题

Oracle数据库是目前业界最常用的大型数据库系统，我在单机ORACLE的实际项目中有遇到出现ORA-00257错误（空间不足错误），

通过查找资料，发现绝大部分说这是由于归档日志太多，占用了全部的硬盘剩余空间导致的，可通过简单删除日志或加大存储空间就能够解决。但是我在Oracle11g RAC上两个RAC节点发现，它们的存储空间都还有很大，却也报这个错误，经过大半天的折腾，发现原来是Oracle11g RAC中的ASM磁盘空间不足导致的。

操作系统CentOS 6.5 x86-64Linux

数据库Oracle 11.2.0.4.0

2.问题现象

数据库系统已经运行了一年多，在5月8号开发同事用应用账号连接数据库后，发现无法连接登入，并且出现ORA-00257：archive error.connect internal only,until freed 错误。

提示归档错误，通过查找ORACLE错误代码，解释为硬盘空间不足，需要删除归档日志增加空间，但是服务器两个节点可用空间都还有1.4T，目前只用了10GB左右，这是为什么呢？

且在5月8号用rman形式删除清理系统100天以前的归档日志以后好了，没想到第二天5月9号又出现了。没有理由啊，一天的归档日志大过一百天的归档日志，所以我就质疑数据库报错的准确性，认为这只是表面的归档日志空间已满，实质性的问题却还不知道。

3.诊断过程： 

因为数据库不是我架设的，对oracle也不太熟，所以不知道归档日志放置的路径，通过语句查找也得到的是个+ARC/back/archivelog/**之类的，但是我就是想破脑袋，用find的方式也找不到具体存放路径。

a.查看数据库REDOLOG情况

[root@~]$ sqlplus / as sysdba

SQL> connect / as sysdba

SQL> select * from v$log;

GROUP# THREAD# SEQUENCE# BYTES MEMBERS ARC STATUS FIRST_CHANGE#FIRST_TIME

---------- ---------- ---------- ---------- ---------- ------------------------------------------ --------------

1 1 101 52428800 1 NO CURRENT 3621973 9-5月 -17

2 1 99 52428800 1 NO INACTIVE 3600145 9-5月 -17

3 1 100 52428800 1 NO INACTIVE 3611932 9-5月 -17

发现ARC状态为NO，表示系统没法自动做归档。

b.查看Oracle数据库后台归档服务进程 

[oracle@~ ]ps -ef | grep oracle

发现grid       3081      1  0 10:14 ?        00:00:00 oracle+ASM1 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))

一个节点如上述服务正常，但另外一个节点却LOCAL=NO的类似情况，反正服务不正常

c.查看FLASH_RECOVERY_AREA空间中各部分使用情况

SQL> select * from v$recovery_file_dest;

NAME

--------------------------------------------------------------------------------

SPACE_LIMIT SPACE_USED SPACE_RECLAIMABLE NUMBER_OF_FILES

----------- ---------- ----------------- ---------------

+BACKUP

 1.2885E+11  484442112       0       5

##注：空间大把的有

SQL> select * from v$flash_recovery_area_usage;

FILE_TYPE     PERCENT_SPACE_USED PERCENT_SPACE_RECLAIMABLE

-------------------- ------------------ -------------------------

NUMBER_OF_FILES

---------------

CONTROL FILE    .04 0 1

REDO LOG    .33 0 4

ARCHIVED LOG      0 0 0

FILE_TYPE     PERCENT_SPACE_USED PERCENT_SPACE_RECLAIMABLE

-------------------- ------------------ -------------------------

NUMBER_OF_FILES

---------------

BACKUP PIECE      0 0 0

IMAGE COPY      0 0 0

FLASHBACK LOG      0 0 0

FILE_TYPE     PERCENT_SPACE_USED PERCENT_SPACE_RECLAIMABLE

-------------------- ------------------ -------------------------

NUMBER_OF_FILES

---------------

FOREIGN ARCHIVED LOG      0 0 0

7 rows selected.

发现ARCHIVELOG、BACKUPPIRCR都不大，就是0，没什么占用率，这样FLASH_RECOVERY_AREA空间的空间还大把的有。

因为之前报错时，不知道如何处理问题，就像直接shutdown immediate一个节点看看，没想到半天没任何反应，就直接使用shutdown abort强行关闭,该节点出现下列节点挂载实例报问题

d.故障节点挂载实例报错：

SQL> startup  

ORACLE instance started.  

Total System Global Area  413372416 bytes  

Fixed Size                  2253784 bytes  

Variable Size             327158824 bytes  

Database Buffers           79691776 bytes  

Redo Buffers                4268032 bytes  

Database mounted.  

ORA-03113: end-of-file on communication channel  

Process ID: 2420  

Session ID: 1 Serial number: 5 

e.查找资料发现，下面做法可行：

SQL> conn / as sysdba  

Connected to an idle instance.  

SQL> startup nomount  

ORACLE instance started.  

Total System Global Area  413372416 bytes  

Fixed Size                  2253784 bytes  

Variable Size             327158824 bytes  

Database Buffers           79691776 bytes  

Redo Buffers                4268032 bytes  

SQL> alter database mount;  

Database altered.  

SQL> alter database open;

alter database open

*

ERROR at line 1:

ORA-01034: ORACLE not available

Process ID: 0

Session ID: 0 Serial number: 0 

发现在打开数据文件报错

SQL> recover database until time '2017-05-09'

ORA-00283: recovery session canceled due to errors

ORA-01124: cannot recover data file 1 - file is in use or recovery

ORA-01110: data file 1: '+DATADG/fmall/datafile/system.259.907327891'

用覆盖形式恢复也报错

f.后面有资料提出可使用RMAN操作系统删掉归档来解决问题

rman下crosscheck然后delete。

[oracle@~ ]rman target  sys/pass

RMAN > crosscheck archivelog all;

validation succeeded for archived log

archived log file name=+ARCH/fmall/archivelog/2017_03_08/thread_2_seq_6362.21528.938070989 RECID=43022 STAMP=938070990

validation succeeded for archived log

RMAN-06900: WARNING: unable to generate V$RMAN_STATUS or V$RMAN_OUTPUT row

RMAN-06901: WARNING: disabling update of the V$RMAN_STATUS and V$RMAN_OUTPUT rows

ORACLE error from target database: 

ORA-01089: immediate shutdown in progress - no operations are permitted

Process ID: 14578

Session ID: 235 Serial number: 2647

校验日志的可用性，报错或者等待很久没有结果出来

RMAN > delete archivelog all completed before 'sysdate-30'; 

RMAN-08137: WARNING: archived log not deleted, needed for standby or upstream capture process

如果你删除三十天前的归档日志，等待很久却没有结果，甚至像上面一样报错可以参考我下面的做法

RMAN > delete force noprompt archivelog until time 'sysdate-30'; 

强制性删除三十天前的归档日志

网站异常告警解除，说明归档日志腾出空间，致使数据库可正常提供应用连接。

g.实例证明，归档日志空间已满导致应用无法连接数据库

有经验的DBA告诉我说，RAC会有一个ASM的磁盘空间议题，我经过查询ASM磁盘空间发现，我的妈呀，ARCH的空间就才腾出282M。

SQL> select name,total_mb,free_mb from v$asm_disk;

NAME TOTAL_MB    FREE_MB

------------------------------ ---------- ----------

GRIDDG_0001           4768      4585

ARCH_0000           944137      282

DATADG_0000         1238390      1202771

GRIDDG_0000           4768      4553

BACKUP_0000          953675      949001

再次进入RMAN，使用delete archivelog的方式再删除15天后，查看ASM磁盘空间大小：

SQL> select name,total_mb,free_mb from v$asm_disk;

NAME TOTAL_MB    FREE_MB

------------------------------ ---------- ----------

GRIDDG_0001            4768        4585

ARCH_0000             944137       716045

DATADG_0000            1238390      1202771

GRIDDG_0000            4768        4553

BACKUP_0000            953675       949001

空出了将近700多G的空间，太可怕了，短短十五天就能够用掉将近七百多G的归档日志空间，我的数据库大小才1.1G，归档日志就一天以十几二十G的速度疯长。一定是哪里出了问题，必须彻查。

当然首先要做的估计就是把清理归档日志命令写成脚本纳入crontab里，按一定时间进行处理。初步怀疑是应用程式sql语句中存在类似于死循环的东西，导致归档日志如此庞大，后续有什么发现，我将再次记录下来。

致此，归档日志空间已满议题是暂时解决了。