RAG 시스템의 고질적 문제: 최신 정보 대신 과거 데이터가 우선순위를 차지하는 현상 해결하기

실용적 조언

RAG 파이프라인에 쿼리 의도 분류 단계를 추가하여 최신성이 필요한 질문인지 먼저 판단하라.
문서 임베딩 시 본문에서 날짜/연도를 추출하여 별도의 가중치 필드로 관리하면 재순위화 시 유리하다.

섹션별 상세

RAG 시스템에서 최신 정보가 포함된 청크가 검색 결과(top-k)에는 포함되지만, 임베딩 유사도 점수에서 과거의 정형화된 문서에 밀려 하위권에 머무는 현상이 발생했다. 이는 과거 데이터가 더 완성도 높고 전형적인 문장 구조를 가져 시맨틱 매칭에서 유리하기 때문이다.

작동 원리는 텍스트 본문에서 연도나 날짜 같은 시간적 신호를 추출하고, 사용자 쿼리의 의도(최신성 필요 여부)를 분류한 뒤, 기존 시맨틱 점수와 시간 점수를 결합하여 최종 순위를 결정하는 방식이다. 입력된 쿼리가 '최신'을 지향하면 시간 점수 가중치를 높여 최신 문서를 상단으로 올린다.

실제 사례로 '최고의 NLP 모델' 질의 시 2019년의 BERT 문서가 2024년의 GPT-4 문서보다 높은 순위를 차지했으나, 시간 신호를 반영한 재순위화 후 결과가 교정됨을 확인했다. 약한 시간 신호(텍스트 내 연도 추출)만으로도 최신성 쿼리에 대한 검색 순위를 뒤집기에 충분했다.

이 방식은 메타데이터가 부족한 StackOverflow 답변이나 웹 스크래핑 문서 등 정제되지 않은 데이터셋에서 특히 유용하다. 검색(Retrieval) 자체의 개선보다 순위 산정(Ranking) 로직의 변경이 정보의 시의성을 확보하는 데 더 효과적임이 입증됐다.

용어 해설

검색 증강 생성(RAG): — 외부 지식 베이스에서 관련 정보를 검색하여 LLM의 답변 생성에 활용하는 기술이다. 모델의 학습 데이터에 없는 최신 정보나 특정 도메인 지식을 보완하여 답변의 정확도를 높이는 역할을 한다.
재순위화(Reranking): — 1차 검색 단계에서 추출된 후보 문서들의 순위를 정교한 알고리즘이나 모델을 사용하여 다시 계산하는 과정이다. 초기 검색의 속도와 최종 결과의 정확도 사이의 균형을 맞추는 데 중요하다.
의미론적 점수(Semantic Score): — 쿼리와 문서 간의 의미적 유사성을 수치화한 값이다. 주로 임베딩 벡터 간의 코사인 유사도 등을 통해 계산하며, 단순 키워드 매칭을 넘어 문맥적 연관성을 측정하는 지표로 쓰인다.
쿼리 의도(Query Intent): — 사용자가 검색어를 입력했을 때 실제로 얻고자 하는 목적이나 의도이다. 최신 정보를 원하는지, 역사적 사실을 찾는지 등을 파악하여 검색 결과의 적합성을 결정하는 핵심 요소이다.

언급된 도구

HalfLife추천

RAG 재순위화에 시간 신호를 도입하여 최신 정보를 우선순위에 올리는 프로토타입 도구