🐛 인시던트 리포트: 계곡물 프로젝트 (Valley-Water) 배포 실패
심각도: SEV-1 (아빠 눈물 유출 발생)
담당자: 15개월 아기 아빠
환경: Production (실제 계곡)
📋 요약
여름 계곡 체험 기능을 신규 유저(15개월)에게 배포했으나, 최초 진입 1초 만에 롤백됨.
총 4시간 소요된 배포 파이프라인이 실질 서비스 시간 0분으로 종료됨.
⏱️ 타임라인
D-1: 릴리즈 준비 — 수영복, 기저귀, 물티슈, 간식, 물, 유모차, 장난감, 모자, 썬크림, 튜브 등 전체 의존성 패키징 완료
T-2:00:00: 배포 서버(계곡)로 이동 시작, 2시간 소요
T-0:00:00: 주차 완료, 설레는 마음으로 배포 승인
T+0:05:00: 장비 셋업 완료, 프로덕션 진입
T+0:05:10: 아빠 계정으로 먼저 스모크 테스트 실행 — 발 담금, 응답 쾌적함 확인 (200 OK)
T+0:05:15: 신규 유저(아기) 계정 전환, 발 배포
T+0:05:16: 즉시 SEV-1 알람 발생 — 유저 대성통곡
T+0:25:00: 1차 재시도 (재부팅 후 20분 대기) — 동일 에러 재현
T+0:30:00: 2차 재시도 — 역시 즉시 롤백
T+0:35:00: 배포 완전 중단, 전체 리소스 회수 시작
T+2:35:00: 귀가 완료, 포스트모템 작성 착수
🔍 근본 원인 분석 (RCA)
표면적 증상: 계곡물 온도(약 18도 추정)가 신규 유저의 온도 내성 임계값을 초과
진짜 원인: 15개월 유저는 아직 "차가움 → 재미있음" 으로 변환하는 캐시 로직이 구현되어 있지 않음. 해당 기능은 대략 만 3~4세 버전부터 정식 지원 예정 (지인 다수 소스로부터 컨펌)
기여 요인:
-
사전 스테이징 환경(욕조, 수영장 등) 테스트 없이 바로 프로덕션 배포
-
온도 완충 구간(미지근한 물) 없이 즉시 冷수 노출
-
롤백 이후 재시도 간격이 짧아 유저 신뢰도 회복 실패
✅ 액션 아이템
-
버전 체크 로직 추가: 배포 전 유저 나이가 36개월 이상인지 확인하는 가드 클로즈 삽입
-
스테이징 환경 도입: 계곡 투입 전 따뜻한 물, 얕은 물놀이장 등에서 사전 적응 테스트 진행
-
점진적 롤아웃(Canary) 전략 채택: 발끝 → 발목 → 종아리 순으로 단계적 노출, 각 단계 최소 5분 모니터링
-
롤백 계획 상시 유지: 튜브, 장난감은 짐이 아니라 예방적 관측 장비로 재정의
📌 결론
이번 배포는 실패로 종결되었으나, 완전한 실패는 아님. 유저(아기)는 안전하게 원상 복구되었고, 담당자(아빠)의 눈물만 유일한 사이드 이펙트로 기록됨.
내년, 유저가 36개월 임계값을 넘긴 시점에 재배포 예정. 그때까지 이 프로젝트는 백로그로 이동.
다음 스프린트: 없음 (내년까지 보류)