LangGraph와 Qdrant를 활용한 프로덕션급 CRAG 시스템 구축

실용적 조언

RAG 시스템 구축 시 검색된 문서의 점수를 매기는 평가 단계를 반드시 포함하여 오답 생성을 방지하라.
벡터 DB에만 의존하지 말고 검색 품질이 낮을 때를 대비한 웹 검색 API 연동을 고려하라.

섹션별 상세

작성자는 검색된 컨텍스트의 관련성을 필터링하기 위해 LLM-as-Judge 레이어를 도입했다. 이 레이어는 검색 엔진이 가져온 문서가 사용자의 질문에 적합한지 판단하며, 부적합하다고 판단될 경우 시스템이 다음 단계로 넘어가지 않도록 제어한다. 이를 통해 모델이 잘못된 정보를 바탕으로 답변을 생성하는 환각 현상을 유의미하게 감소시켰다.

시스템은 검색 결과가 부족할 경우를 대비해 쿼리 재작성 및 웹 검색 폴백(Web Fallback) 메커니즘을 포함한다. 초기 벡터 검색 결과의 품질이 낮으면 LLM이 질문을 다시 구성하여 웹에서 최신 정보를 검색하도록 유도하는 방식이다. 이러한 다중 경로 아키텍처는 지식 베이스에 없는 질문에 대해서도 유연한 대응을 가능하게 한다.

기술 스택으로 LangGraph를 선택하여 복잡한 에이전트 워크플로우를 상태 기반으로 관리했다. LangGraph는 순환 구조를 가진 그래프를 정의할 수 있어, 검색-평가-재검색으로 이어지는 CRAG의 반복적 로직을 구현하는 데 최적화되어 있다. 벡터 저장소로는 Qdrant를 사용하여 고속 검색 성능을 확보하고 FastAPI로 서빙 레이어를 구성했다.

용어 해설

교정 검색 증강 생성(CRAG): — Corrective RAG의 약자로, 검색된 문서의 관련성을 평가하고 부적절할 경우 쿼리를 재작성하거나 외부 지식(웹 검색 등)을 활용하여 답변의 정확도를 높이는 기술이다. 단순 RAG의 한계인 잘못된 정보 참조 문제를 해결하는 데 중요하다.
판사로서의 LLM(LLM-as-a-Judge): — 대규모 언어 모델을 사용하여 다른 모델의 출력이나 검색된 컨텍스트의 품질, 관련성, 정확성을 평가하는 기법이다. 사람이 직접 평가하기 어려운 대량의 데이터를 자동화된 로직으로 검증하여 시스템의 신뢰성을 확보한다.
환각 현상(Hallucination): — LLM이 사실이 아니거나 문맥에 맞지 않는 정보를 마치 진실인 것처럼 자신 있게 생성하는 현상이다. RAG 시스템에서는 검색된 잘못된 정보를 바탕으로 오답을 생성할 때 주로 발생하며, 이를 억제하는 것이 프로덕션 환경의 핵심 과제이다.

언급된 도구

LangGraph추천

상태 기반 멀티 에이전트 워크플로우 오케스트레이션

Qdrant추천

벡터 데이터 저장 및 유사도 검색

FastAPI추천

API 서버 구축 및 모델 서빙

언급된 리소스

GitHubCRAG Project GitHub