LangGraph와 Qdrant를 활용한 프로덕션급 CRAG 시스템 구축

작성자가 GitHub 저장소와 함께 구체적인 아키텍처를 공유하여 긍정적인 반응을 얻었으며, 프로덕션 적용 가능성에 대한 관심이 높다.

• RAG 시스템 구축 시 검색된 문서의 점수를 매기는 평가 단계를 반드시 포함하여 오답 생성을 방지하라.
• 벡터 DB에만 의존하지 말고 검색 품질이 낮을 때를 대비한 웹 검색 API 연동을 고려하라.

CRAG

— Corrective RAG의 약자로, 검색된 문서의 관련성을 평가하고 부적절할 경우 쿼리를 재작성하거나 외부 지식(웹 검색 등)을 활용하여 답변의 정확도를 높이는 기술이다. 단순 RAG의 한계인 잘못된 정보 참조 문제를 해결하는 데 중요하다.

LLM-as-a-Judge

— 대규모 언어 모델을 사용하여 다른 모델의 출력이나 검색된 컨텍스트의 품질, 관련성, 정확성을 평가하는 기법이다. 사람이 직접 평가하기 어려운 대량의 데이터를 자동화된 로직으로 검증하여 시스템의 신뢰성을 확보한다.

Hallucination

— LLM이 사실이 아니거나 문맥에 맞지 않는 정보를 마치 진실인 것처럼 자신 있게 생성하는 현상이다. RAG 시스템에서는 검색된 잘못된 정보를 바탕으로 오답을 생성할 때 주로 발생하며, 이를 억제하는 것이 프로덕션 환경의 핵심 과제이다.