운영 환경에서 실패하는 RAG 파이프라인의 3가지 공통 패턴과 해결책

커뮤니티 반응

대체로 긍정적이며, 많은 사용자가 리트리벌과 생성 단계를 분리하여 평가해야 한다는 작성자의 의견에 동의하고 있습니다.

주요 논점

01찬성다수

RAG 성능의 병목은 모델보다 데이터 전처리(청킹)와 검색 품질(임베딩)에 있다는 주장에 다수가 동의한다.

합의점 vs 논쟁점

합의점

고정 크기 청킹은 실무에서 가장 흔하게 발생하는 성능 저하 요인이다.
리트리벌 품질을 독립적으로 측정하는 지표(Precision@k 등)가 필수적이다.

실용적 조언

문서 전처리 시 단락이나 섹션 단위로 나누는 Semantic Chunking을 우선 적용할 것
도메인 특화 문서 사용 시 ada-002 대신 도메인 전용 임베딩 모델의 벤치마크를 수행할 것
리트리벌 전용 평가 파이프라인을 구축하여 Precision@k와 Mean Relevance Score를 추적할 것

섹션별 상세

고정 크기 청킹(512/1024 토큰)은 문서의 의미적 경계를 무시하여 리트리벌 품질을 저하시킨다. 문서를 토큰 수로 자르는 대신 단락, 섹션 헤더, 리스트 경계 등 의미 단위로 나누는 Semantic Chunking을 적용해야 한다. 이를 통해 모델이 불완전한 컨텍스트를 받아 발생하는 할루시네이션을 방지할 수 있다. 실제 적용 시 전처리 작업은 늘어나지만 정밀도가 크게 향상되는 결과가 확인됐다.

도메인 특화 문서(핀테크, 의료, 기술 명세 등)에서 범용 임베딩 모델인 ada-002를 사용하면 재현율(Recall)이 15~30포인트 하락한다. 일반적인 텍스트와 달리 전문 용어들은 범용 임베딩 공간에서 올바르게 클러스터링되지 않기 때문이다. 약 100개의 대표 쿼리-문서 쌍으로 테스트하면 파인튜닝 필요 여부를 한 시간 내에 판단할 수 있다.

최종 답변의 정답 여부만 확인하고 리트리벌 단계의 품질을 별도로 측정하지 않는 것은 위험하다. 리트리벌은 쉬운 질문에서는 잘 작동하는 것처럼 보이다가 어려운 질문에서 조용히 실패할 수 있기 때문이다. Precision@k나 평균 관련성 점수(Mean Relevance Score)를 측정하는 별도의 리트리벌 평가 파이프라인을 구축해야 정확한 문제 진단이 가능하다. 실제 사례에서 이러한 세 가지 변화만으로 모델 변경 없이 정확도가 67%에서 91%로 상승했다.

용어 해설

의미론적 청킹(Semantic Chunking): — 문서를 단순히 고정된 토큰 수로 나누는 대신, 단락이나 섹션 헤더 등 의미적 경계를 기준으로 분할하는 기법이다. RAG 시스템에서 모델이 문맥이 끊기지 않은 완전한 정보를 수신하게 하여 할루시네이션을 줄이고 검색 정밀도를 높이는 데 기여한다.
K개 결과에서의 정밀도(Precision@k): — 검색 엔진이 반환한 상위 K개의 결과 중 실제로 관련 있는 문서의 비율을 측정하는 지표이다. RAG의 리트리벌 단계에서 검색 품질을 독립적으로 평가할 때 사용되며, 시스템이 사용자 질문에 적합한 컨텍스트를 얼마나 정확하게 찾아내는지 수치화한다.
할루시네이션(Hallucination): — LLM이 주어진 컨텍스트에 없는 사실을 지어내거나 잘못된 정보를 자신 있게 출력하는 현상이다. RAG에서는 부적절한 청킹으로 인해 불완전한 정보가 입력될 때 자주 발생하며, 시스템의 신뢰성을 떨어뜨리는 주요 원인이 된다.
재현율(Recall): — 전체 관련 문서 중 검색 시스템이 실제로 찾아낸 문서의 비율을 의미한다. 도메인 특화 RAG에서 범용 임베딩 모델을 사용할 경우 전문 용어 검색 실패로 인해 이 수치가 급격히 하락하며, 이는 최종 답변의 품질 저하로 이어진다.

언급된 도구

ada-002중립

OpenAI의 범용 텍스트 임베딩 모델