RAG 시스템 평가: '느낌'으로 배포하지 마라

RAG 시스템 개발 시 직관에 의존해 배포하는 'vibe-shipping'은 성능 저하의 주원인이다. 검색 결과의 유사도(Similarity)가 곧 관련성(Relevance)을 의미하지 않기 때문에, 객관적인 지표를 통한 평가가 필수적이다. 검색 품질을 측정하기 위해 Hit rate, Precision@k, Recall@k, Ranking(NDCG, MRR) 지표를 사용한다. 특히 LLM-as-a-judge를 도입하여 대규모 검색 결과에 대해 관련성 여부와 그 이유를 자동 평가하고, 실제 프로덕션 로그를 기반으로 한 Golden Dataset을 구축하여 평가의 신뢰도를 확보한다. 성능 개선을 위해서는 하이브리드 검색, 재순위화(Reranking), 메타데이터 필터링 등을 적용한다. 이때 여러 기법을 동시에 적용하지 않고 한 번에 하나씩 변경하며 평가를 반복해야 정확한 성능 향상 요인을 파악할 수 있다.