[End-Gamers] AI 분석을 백그라운드로 - Celery·Redis 비동기 파이프라인과 Slack 알림 연동

들어가며

로그 업로드 버튼을 눌렀더니 브라우저가 60초 동안 빙글빙글 돈다.

사용자 입장에서 이 시간은 타임아웃이 나거나, 답답해서 탭을 닫아버리기 딱 좋은 시간이다.

 

이 병목을 해결하기 위해 Celery를 도입하여 작업을 백그라운드로 분리하기로 결정했다.

 

 

---

1. 비동기로 바꾸면 뭐가 달라지나

동기와 비동기의 차이는 작업의 '주도권'을 언제 클라이언트에게 돌려주느냐에 있다.

[동기]
클라이언트 → POST /analyze → AI 분석 (60초) → 응답 반환
                              ↑ 60초 동안 연결이 살아있어야 함

[비동기]
클라이언트 → POST /analyze → "접수됨" 즉시 응답
                Celery 큐에 작업 등록
                    → Worker가 AI 분석 (백그라운드)
                    → 완료 시 Slack 알림

비동기로 전환하면 클라이언트는 업로드 즉시 응답을 받는다. 무거운 AI 분석은 백그라운드에서 알아서 돌아가고, 작업이 끝나면 Slack 웹훅을 통해 결과를 받아보게 된다.

 

 

 

---

2. 아키텍처

외부의 거창한 큐 서비스(SQS, RabbitMQ 등)를 붙이기보다는, 단일 EC2 인스턴스 안에서 모든 서비스가 함께 돌아가는 심플한 구조를 택했다.

FastAPI (uvicorn)
  └─ 요청 받으면 Celery 큐에 등록 → 즉시 "접수됨" 응답

Redis
  └─ Celery 브로커 (작업 큐)

Celery Worker
  └─ 큐에서 작업 꺼내서 Bedrock 호출 → 분석 → S3 저장 → Slack 알림

외부 큐 서비스 없이 EC2 하나에서 다 돌린다. 단순하고 관리할 게 없다.

 

---

3. Slack 알림 3종

분석이 백그라운드로 넘어가면 완료 시점을 알 방법이 없다. 그래서 Slack 웹훅을 달았다.

이벤트	알림 내용
분석 시작	인시던트 ID, 로그 파일명, 담당 AI
분석 완료	심각도, 요약, 보고서 링크
RCA 승인	최종 승인자, 승인 시각

 

분석 완료 알림에는 심각도(CRITICAL / HIGH / MEDIUM / LOW)를 색상으로 넣었다.

 

---

4. 코드 구조

Celery 앱 설정:

# tasks/celery_app.py
celery_app = Celery(
    "incident-autopsy",
    broker="redis://localhost:6379/0",
    backend="redis://localhost:6379/0",
    include=["tasks.analyze_task", "tasks.notify_task"]
)

 

태스크 등록:

# tasks/analyze_task.py
@celery_app.task
def analyze_incident(incident_id: str, log_content: str, ai_provider: str):
    result = ai_dispatcher.analyze(log_content, ai_provider)
    sqlite_repo.save_analysis(incident_id, result)
    slack.notify_complete(incident_id, result)

 

FastAPI에서 큐에 넣기:

.delay()가 작업을 큐에 넣고 바로 리턴한다.

@router.post("/api/v2/incidents")
async def upload_incident(file: UploadFile):
    incident_id = save_to_s3(file)
    analyze_incident.delay(incident_id, content, ai_provider)  # 비동기
    return {"status": "accepted", "incident_id": incident_id}

 

 

---

5. 트러블슈팅

태스크 모듈 자동 등록 누락

Worker를 시작했는데 태스크를 인식하지 못 했다.

[ERROR] Received unregistered task of type 'tasks.analyze_task.analyze_incident'

이는 Celery 앱 생성 시 include 옵션으로 태스크 모듈을 명시해야 하는데 빠뜨렸기 때문이다.

위 코드처럼 include 파라미터를 추가해야 Worker가 태스크를 찾을 수 있다.

 

v1 엔드포인트 Slack 연동 누락

v2 엔드포인트에는 Slack 알림을 달았는데, 기존 v1 엔드포인트가 그대로 남아있었다.

v1으로 분석하면 Slack이 안 온다는 걸 뒤늦게 발견했다.

새 기능을 붙인다면 기존 경로도 같이 확인해야 한다.

 

Redis 없을 때 요청이 블로킹되는 문제

로컬 개발 환경에서는 Redis를 안 띄우고 테스트하는 경우가 많다.

Redis가 없으면 Celery가 연결을 기다리면서 요청 자체가 멈췄다.

 

따라서 fallback을 만들었다. Redis 연결 실패 시 동기로 직접 실행한다.

try:
    analyze_incident.delay(incident_id, content, ai_provider)
except Exception:
    # Redis 없으면 동기 실행
    analyze_incident(incident_id, content, ai_provider)

개발 환경에서는 느리지만 터지지 않는다.

 

fetch-guid fire-and-forget

incident-autopsy가 log-autogenerator에서 주기적으로 에러 GUID를 가져오는 기능도 Celery 큐에 등록했는데, Redis가 없으면 등록 자체가 블로킹됐다.

그래서 등록에 실패하면 그냥 넘어가는 fire-and-forget 방식으로 바꿨다.

선택적 기능은 실패해도 메인 플로우가 멈추면 안 된다고 생각한다.

 

---

6. 결과

배포 후 60초짜리 대기가 사라졌다.

1. 업로드 즉시 "접수됨"이 뜨고,

2. 1~2분 후 Slack에 분석 결과가 날아온다.

사용자 입장에서는 분 속도가 빨라진 게 아니라, 기다리는 시간이 없어진 것처럼 느껴진다.

 

 

비동기가 분석 속도를 높이진 않는다. 하지만 기다리는 60초와 다른 일 하면서 기다리는 60초는 다르다.

 

 

End-Gamers | incident-autopsy