[ORACLE] ORA-19511 — RMAN 백업/복구 중 I/O 오류

Oracle ORA-19511 — RMAN 백업/복구 중 I/O 오류

ORA-19511은 Oracle RMAN 또는 백업 프로세스 중 OS 레벨 I/O 오류가 발생했을 때 나타나는 대표적인 경고입니다.
이 오류는 단일 파일이 아니라, 내부적으로 호출된 kfi.c 모듈이나 OS Kernel I/O 레이어에서 발생한 예외를 전달받는 형태입니다.

1️⃣ 대표 에러 예시 로그

ORA-19511: Error received from media manager layer, error text:
   sbtopen: system error
ORA-19502: write error on file "/rman_backup/DB01_20251112.bkp", blockno 320, count 1, block size 512
ORA-27072: File I/O error
Additional information: 4
Linux-x86_64 Error: 5: Input/output error

위 로그는 RMAN 백업 중 물리적 디스크 오류 또는 NFS 네트워크 문제로 인해 쓰기(write) 작업이 실패했음을 나타냅니다.

2️⃣ ORA-19511 의미 및 동작 원리

• 에러 발생 계층: Media Management Layer (MML) 또는 I/O API 호출 계층
• 주요 트리거: RMAN 백업 시 sbttape / sbtopen() / write() 호출 실패
• 원인: 스토리지 장애, 파일시스템 읽기/쓰기 실패, 디스크 풀의 일시적 중단, 또는 SBT 라이브러리 버그

Oracle은 RMAN에서 발생한 모든 OS I/O 오류를 ORA-19511 코드에 매핑해 상위 로그로 전달합니다.

3️⃣ ORA-19511과 함께 자주 발생하는 관련 오류

• ORA-19502 — 백업 또는 복구 중 특정 블록 쓰기 실패 (주로 NFS 마운트 문제)
• ORA-19510 — 백업 중 파일 접근 실패 (Permission 문제 또는 파일 경로 불일치)
• ORA-27072 — File I/O Error (디스크 물리 장애, I/O Retry 실패)
• ORA-00312 — Redo Log 또는 Datafile 접근 실패 (LGWR / DBWR 실패 시 함께 발생)
• ORA-19504 — 생성하려는 파일이 이미 존재하거나 덮어쓰기 불가

4️⃣ 주요 원인 분석

• NAS 또는 SAN 스토리지에서의 I/O Timeout 또는 Packet Drop
• RMAN 백업 대상 디렉터리 권한 부족 (oracle:oinstall 외 권한 제한)
• NFS 파일시스템의 nolock, soft 옵션 설정으로 인한 데이터 불안정
• ASM Diskgroup 멤버 디스크의 상태 불안정 또는 offline
• 파일 핸들 누락으로 인한 RMAN I/O Descriptor 오류 (특히 병렬 백업 시)

5️⃣ 진단용 쿼리 및 점검 명령

-- 최근 RMAN 오류 로그 확인
SELECT * FROM v$rman_output WHERE output LIKE '%ORA-19511%' ORDER BY session_recid DESC;

-- 백업 대상 파일의 물리적 경로 확인
SELECT file#, name FROM v$datafile;

-- ASM Disk 상태 확인
SELECT name, state, path FROM v$asm_disk WHERE header_status != 'MEMBER';

-- I/O 관련 대기 이벤트 확인
SELECT event, total_waits, time_waited, average_wait FROM v$system_event
WHERE event LIKE '%db file%write%' OR event LIKE '%log file%';

6️⃣ 조치 및 해결 방안

• 백업 경로 점검: 백업 대상 디렉토리가 정상적으로 mount되었는지 확인
• I/O 성능 점검: iostat -x 1 또는 sar -d로 백엔드 디스크 Latency 확인
• 백업 장비 로그 병행 확인: (e.g. NetBackup, TSM, Avamar MML Layer Log)
• ASM Disk 재구성: offline 디스크가 존재하면 rebalancing 수행
• NFS 환경일 경우: mount 옵션을 hard,intr,tcp,rsize=65536,wsize=65536 등으로 조정

7️⃣ 예방 및 모니터링 포인트

• RMAN 백업 경로를 반드시 로컬 또는 안정된 NAS로 지정
• 백업 완료 후 VALIDATE BACKUPSET 명령으로 무결성 검증
• OS 로그(`/var/log/messages`)에서 disk I/O 관련 error, reset, timeout 주기적 점검
• ASM 또는 NFS 기반일 경우 I/O 대기 이벤트 db file parallel write 모니터링