실제로 구축한 장애 대응 메모리

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Incident Memory는 Flask, Postgres, Qdrant를 묶어 장애 대응 기록을 재사용하는 메모리 시스템이다. 엔지니어가 장애를 입력하면 설명을 임베딩해 유사 사례를 검색하고, LLM이 검색 결과를 근거로 해결책을 제안하며, 엔지니어가 승인하거나 수정한 뒤에만 결과를 저장한다. 승인된 해결책은 다음 유사 장애에서 다시 검색되고 인용되므로, 해결된 사건이 이후 응답의 근거로 누적되는 구조다.

섹션별 상세

작성자는 Incident Memory를 Flask 애플리케이션으로 구성하고 Postgres와 Qdrant를 백엔드로 연결했습니다. 엔지니어가 새 장애를 입력하면 시스템이 장애 설명을 임베딩하고, Qdrant에서 지금까지 축적된 유사 장애를 검색한 뒤, 검색 결과를 근거로 LLM이 해결책을 생성합니다. 검색 저장소와 생성 모델을 결합한 처리 흐름이 구체적으로 제시되어 단순한 아이디어가 아니라 실제 구현 구조를 파악할 수 있습니다.

이 시스템은 해결책을 생성하는 데서 끝나지 않고 엔지니어가 제안을 승인하거나 수정하도록 설계됐습니다. 승인된 해결책만 메모리에 저장되며, 다음에 유사한 장애가 발생하면 해당 해결책을 검색하고 인용한 뒤 새 응답의 근거로 재사용합니다. 따라서 사람의 검토를 거친 장애 대응 결과가 반복적인 검색과 추론을 통해 누적되는 구조입니다.

용어 해설

시맨틱 검색(Semantic Search): — 시맨틱 검색은 단어가 정확히 일치하지 않아도 문장의 의미를 벡터로 변환해 유사한 과거 사례를 찾는 방식입니다. Incident Memory에서는 장애 설명을 임베딩한 뒤 Qdrant에서 관련 장애와 해결책을 검색하는 핵심 단계로 쓰입니다.
임베딩(Embedding): — 임베딩은 텍스트의 의미를 숫자 벡터로 바꾸는 처리입니다. 새 장애 설명을 임베딩하면 시스템이 과거 장애와의 의미적 유사도를 계산할 수 있고, 그 결과를 LLM의 해결책 생성에 사용할 검색 문맥으로 전달합니다.
기억 축적 루프(Memory Compounds Loop): — 기억 축적 루프는 과거 해결 결과를 다음 추론의 입력으로 재사용하고, 새로 승인된 해결책을 다시 저장하는 순환 구조입니다. 이 애플리케이션은 검색, LLM 추론, 사람의 승인, 메모리 갱신을 한 흐름으로 연결합니다.
사람의 승인 절차(Human Approval): — 사람의 승인 절차는 LLM이 만든 해결책을 즉시 확정하지 않고 엔지니어가 검토하거나 수정하도록 두는 단계입니다. 제안된 수정안을 확인한 뒤에만 해당 결과가 이후 장애 대응에 재사용되는 메모리로 편입됩니다.

언급된 도구

Flask중립

Incident Memory의 전체 처리 흐름을 감싸는 compact 웹 애플리케이션 프레임워크

Postgres중립

Incident Memory의 백엔드 저장소

Qdrant중립

임베딩된 장애 설명과 유사 과거 사례를 검색하는 벡터 저장소