더 효율적이고 정확한 에이전트형 RAG를 위한 추론 시점 전략

기존의 에이전트형 RAG 시스템은 복잡한 질문을 해결할 때 동일한 정보를 반복해서 검색하거나 검색된 내용을 망각하는 비효율성을 보였다. 이 논문은 모델의 추가 학습 없이 추론 단계에서 Contextualization과 De-duplication 모듈을 추가하는 것만으로 검색 효율을 10.5% 높이고 정확도를 개선할 수 있음을 입증했다.

에이전트형 RAG는 스스로 검색 쿼리를 생성하고 결과를 해석하며 답을 찾아가지만, Transformer의 제한된 Context Window 내에서 검색된 원문 전체를 처리하다 보면 중요한 정보가 노이즈에 묻히거나 망각되는 현상이 발생한다. 이는 마치 사람이 두꺼운 책을 여러 권 읽으면서 앞 내용을 잊어버려 같은 페이지를 계속 다시 들춰보는 것과 같다.

이 논문은 이를 해결하기 위해 '요약된 메모리'와 '중복 체크'라는 두 가지 장치를 도입한다. Contextualization은 매 검색 단계마다 핵심만 추려 별도의 캐시에 담아두는 방식으로, 모델이 매번 방대한 원문을 다시 읽을 필요 없이 정제된 정보에만 집중하게 만든다. 이는 Embedding 공간에서 정보의 밀도를 높여 모델의 추론 정확도를 직접적으로 향상시킨다.

또한 De-duplication은 검색 엔진이 상위 결과로 내놓는 중복된 문서들을 강제로 배제한다. 이를 통해 모델이 동일한 정보 루프에 갇히는 것을 방지하고, 검색 결과 리스트의 하단에 숨겨진 새로운 단서를 찾도록 강제함으로써 Multi-hop 질문 해결에 필요한 다양한 맥락을 확보하게 한다.

Search-R1 프레임워크의 추론 루프 사이에 두 가지 독립적인 모듈을 삽입하여 작동한다. 모델이 생성한 쿼리 $q_i$가 검색기 E5로 전달된 후, 결과 문서 $D_i$가 모델로 바로 입력되는 대신 전처리 과정을 거친다.

Contextualization 모듈은 외부 LLM(GPT-4.1-mini)을 활용한다. [사용자 질문 $p$, 새로 검색된 문서 $D_i$, 기존 메모리 캐시 $C_{i-1}$ 입력] → [외부 LLM이 $D_i$에서 $p$와 관련된 핵심 정보만 추출하여 $C_{i-1}$에 덧붙이는 연산] → [업데이트된 캐시 $C_i$ 출력] 과정을 거친다. 이 결과값은 모델의 다음 추론 단계에서 입력값으로 활용되어 정보의 선명도를 유지한다.

De-duplication 모듈은 검색된 문서의 고유 ID를 관리한다. [검색 엔진이 반환한 Top-k 문서 ID 목록 입력] → [기존 방문 ID 집합과 대조하여 중복을 제거하고 다음 순위 문서를 선택하는 필터링 연산] → [중복 없는 새로운 문서 집합 $D'_i$ 출력] 순으로 작동한다. 만약 모든 상위 결과가 중복이면 검색 결과 리스트에서 아직 보지 않은 가장 높은 순위의 문서를 가져와 모델에 전달한다.

Qwen2.5-7b Search-R1 모델을 대상으로 HotpotQA 및 Natural Questions(NQ) 데이터셋에서 평가를 수행했다. Contextualization 모듈 적용 시 Exact Match(EM) 점수가 0.464에서 0.490으로 약 5.6% 향상되었으며, LLM Match 점수 또한 6.7% 개선되었다.

효율성 측면에서 Contextualization은 평균 검색 횟수를 2.392회에서 2.142회로 약 10.5% 감소시켰다. 이는 모델이 필요한 정보를 더 빨리 파악하여 추론을 조기에 종료할 수 있게 되었음을 의미한다.

De-duplication 모듈은 단독 사용 시 EM 점수를 0.478로 높였으나, 모델이 더 많은 정보를 찾으려 시도하게 만들어 평균 검색 횟수가 2.498회로 다소 증가하는 경향을 보였다. Hybrid 방식은 EM 0.480을 기록하며 두 기법의 장점을 결합하여 베이스라인 대비 우수한 성과를 유지했다.

본 연구는 Agentic RAG의 고질적 문제인 정보 망각(Information Forgetting)과 비효율적 정보 추출(Ineffective Information Extraction)을 해결하기 위해 추론 시점의 파이프라인 수정을 제안한다. Contextualization은 외부 LLM을 추출기로 활용하여 검색된 비정형 텍스트를 정형화된 메모리 형태로 변환하며, 이는 모델의 컨텍스트 윈도우 내에서 노이즈를 줄이고 신호의 밀도를 높이는 효과를 준다.

De-duplication은 검색 결과의 맥락적 다양성(Contextual Diversity)을 강제하는 기법이다. 모델이 동일한 정보에 갇혀 루프를 도는 현상을 방지하기 위해 검색 엔진의 랭킹 리스트를 동적으로 필터링하는 상태 저장(Stateful) 메커니즘을 구현했다. 실험 결과 모델이 더 많은 검색 턴을 가질수록 문제의 난이도가 높음을 의미하며 EM 점수가 하락하는 경향이 관찰되었는데, 제안된 기법은 이러한 어려운 문제에서 검색 턴을 효율적으로 관리하여 성능 하락을 방어한다.

De-duplication 모듈이 새로운 문서를 계속 제공함에 따라 모델이 더 많은 검색 쿼리를 생성하게 되어 전체적인 검색 횟수와 비용이 증가하는 부작용이 관찰됨. 또한 외부 LLM을 통한 Contextualization 과정에서 추가적인 API 호출 비용과 지연 시간이 발생할 수 있음.