RAG-Lab 공유: 파이프라인별 RAG 기법 성능을 동일 데이터셋에서 비교한 벤치마크

초기 반응은 구현 디테일과 재현성에 대한 관심으로 요약된다. 여러 사용자가 LangChain을 어떻게 모듈화해 파이프라인을 구성했는지와 HyDE·재정렬 조합의 타당성에 질문을 던졌고 일부는 골든셋의 크기 때문에 결과의 일반화에 회의적이었다. 전반적으로는 코드·데이터·실험 로그의 공개가 추가 검증을 가능하게 할 것이라는 긍정적 기대가 공통적으로 나타났다.

• 파이프라인 실험을 계획할 때는 검색·재정렬·생성의 각 단계를 독립적으로 켜고 끌며 청크 단위 추적을 남겨 어느 단계가 정보 유입에 기여하는지 로그로 확인하는 방식이 유용하다. 이 접근은 문제 발생 시 원인 추적과 자원 투입 우선순위 결정을 수월하게 만든다. 또한 재정렬은 후보 수를 제한한 뒤 적용해 비용 대비 이득을 평가하는 것이 실무에서 권장된다.
• HyDE 같은 쿼리 변환 기법은 원질문을 그대로 사용하는 검색보다 더 관련성 높은 문서를 찾는 데 도움을 줄 수 있으므로 최초 실험에는 HyDE와 기본 쿼리를 병렬 비교하는 것이 바람직하다. 병렬 비교를 통해 HyDE의 이득이 특정 도메인이나 질문 유형에서만 나타나는지 확인할 수 있다. 마지막으로 작은 골든셋으로 파일럿을 돌린 뒤 점차 평가셋을 확대해 결과의 안정성을 검증해야 한다.

RAG

— 검색 증강 생성(RAG)은 외부 문서 검색 결과를 모델 입력에 주입하여 생성 결과의 사실성 및 문맥 적합성을 높이는 기법으로, 입력 질문을 쿼리로 변환해 유사 문서를 검색하고 검색 결과를 컨텍스트로 포함하여 생성 모델에 전달하는 방식으로 동작한다. 이 글에서는 파이프라인의 각 단계를 독립적으로 설정해 어떤 구성 요소가 성능에 기여하는지 정량적으로 비교하는 데 RAG가 핵심 역할을 한다. RAG 구성은 임베딩·검색·재정렬·생성의 연쇄 처리로 구현되며 각 단계의 선택이 최종 응답의 정밀도와 회수율에 영향을 준다.

HyDE

— HyDE는 질문을 먼저 가상의 답변으로 변환하고 그 가상 답변을 검색 쿼리로 사용해 관련 문서를 찾는 접근법으로, 원질문을 그대로 쓰는 것보다 더 관련성 높은 문서 검색을 유도하는 특징이 있다. 이 프로젝트에서는 HyDE를 쿼리 변환 단계로 사용해 다중 쿼리 기반 검색과 조합하거나 하이브리드 검색과 결합해 성능 변화를 측정했다. HyDE는 특히 문맥이 복잡하거나 질문 의도가 명확하지 않을 때 검색된 컨텍스트의 적중률을 높이는 역할을 한다.

Rerank

— 재정렬은 처음 단계의 검색 결과를 더 정교한 모델로 재평가해 순위를 다시 매기는 과정으로, 첫 검색의 효율성과 재정렬 모델의 정밀도를 결합해 최종 컨텍스트 품질을 개선한다. 본문에서는 cross-encoder나 Cohere 기반 재정렬, RRF와 같은 기법을 대안으로 사용해 파이프라인별 결과 차이를 비교했다. 재정렬은 초기 검색에서 놓친 문서를 보완하거나 상위 결과의 관련도를 세밀히 조정하는 데 유효하다.

Cross-Encoder

— Cross-Encoder는 쿼리와 문서 쌍을 동시에 입력받아 직접 유사도를 예측하는 모델로, 쿼리와 문서 간의 상호작용을 온전히 반영해 재정렬 단계에서 높은 정확도를 제공한다. 이 방식은 성능이 좋지만 문서 수가 많을 때는 계산 비용이 커지므로 후보 수를 줄인 뒤 적용하는 실무 패턴이 사용된다. 글에서는 Cross-Encoder를 재정렬 옵션으로 비교하여 최종 문맥 정밀도에 미치는 영향을 측정했다.

DeepEval

— DeepEval는 생성 결과의 신뢰성(faithfulness), 답변 관련성, 문맥 정밀도·회수율 등 정성적 기준을 정량화해 평가하는 벤치마크 도구로, 여러 파이프라인을 동일 기준으로 비교할 때 사용된다. 이 프로젝트는 DeepEval 점수를 골든 데이터셋을 기준으로 삼아 파이프라인별 성능 차이를 비교했다. DeepEval은 인간 평가를 자동화하거나 조직화하는 방법론을 포함해 생성 응답의 품질을 세부 지표로 분해한다.