LLM/RAG/에이전트 시스템의 16가지 주요 실패 모드 맵

실무적인 관점에서 매우 유용하다는 평가를 받으며, 특히 RAG 시스템 운영자들 사이에서 높은 공감을 얻고 있습니다. 많은 사용자가 '환각'이라는 용어의 모호함을 지적하며 이러한 구체적인 분류 체계의 필요성에 동의했다.

• 장애 발생 시 'Dr. WFGY' 툴에 로그를 입력하여 16가지 모드 중 어디에 해당하는지 먼저 파악할 것
• 각 실패 모드별로 제공되는 테스트 케이스를 CI/CD 파이프라인에 통합할 것

• LLM 시스템의 실패는 단순히 '모델 환각'으로 치부하기에는 검색, 추론, 상태 관리 등 레이어별로 매우 다양한 원인이 존재한다.
• 벤치마크 성능과 실제 운영 환경의 성능 격차를 줄이기 위해서는 16가지 실패 모드와 같은 구체적인 분류 체계(Taxonomy)가 필요하다.
• 오픈소스로 공개된 WFGY 맵과 GPT 기반의 진단 도구(Dr. WFGY)를 활용해 복잡한 AI 파이프라인의 장애 원인을 빠르게 식별할 수 있다.