환경 인식 정보 검색의 동작 이해: retriever-aware 쿼리 형성의 강화학습 기반 적응 연구

다양한 retriever가 서로 다른 쿼리 형식을 필요로 한다는 점을 실증한다. RL로 retriever별 최적 쿼리 정책을 학습하고, 브랜칭 롤아웃으로 다중-턴 검색의 학습 안정성을 확보한다. 구조적 Drift를 정량화하는 RE-MMD를 제시해, 동일 정보 필요성임에도 형식이 다른 문제에서의 전이 한계를 설명한다.

단락 1. 현행 RAG 시스템에서 Retriever의 특성은 다양한 쿼리 형식 요구를 야기하며, 단일 일관된 쿼리 형식은 많은 경우 성능 저하를 야기한다. Self-attention 기반 Transformer의 연산 비용이 길이가 늘어나면 기하적으로 증가하듯, 쿼리 형식의 다양성은 검색 효율성에 직결된다. 이 문제를 해소하기 위해 RL 기반의 LLM 쿼리 리라이트 정책을 도입한다. 단락 2. 정책은 입력 쿼리 x를 받아 q를 생성하고, 백엔드 retriever ℰ에서 검색 결과 D를 얻으며, 보상으로 nDCG@10을 사용한다. 이 과정을 GRPO로 최적화한다. 단락 3. 다중-턴 설정에서 N개의 첫 턴과 N개의 두 번째 턴을 가지는 브랜칭 롤아웃을 도입해 Turn1의 신호를 안정적으로 평가하고 Turn2의 학습 신호를 분리한다. 단락 4. 실험은 RAGBench, BEIR, FinAgentBench에서 수행되며, retriever 간의 드리프트를 정량화하는 RE-MMD를 도입한다. 단락 5. 결과적으로 retriever별로 다른 최적 전략이 존재하며, 모델 규모가 커질수록 인간 전문가의 가이드 없이도 비정형적 전략을 발견할 수 있다.

단락 1. RL 문제 정의: ℰ 환경에서 LLM 기반 쿼리 리라이터 정책 πθ가 주어진 입력에 대해 최적의 쿼리 q를 생성하도록 학습한다. 최적화 목표는 GRPO를 따른다. 입력 x에 대해 여러 후보 q를 생성하고, 각 쿼리에 대해 retriever에 의해 문서 집합 D를 얻은 뒤 보상 r(q,D)를 계산한다. [어떤 값을 입력으로, 어떤 연산을 거쳐, 어떤 결과를 얻고, 그 값의 의미]로 기술한다. 단락 2. 보상 함수: r(q,D) = nDCG@10(D, d*)로 정의한다. 정답 문서 d*에 대한 순위를 반영해 상위 문서의 질서를 높이는 방향으로 학습 신호를 제공한다. [패턴] nDCG는 관련 문서의 순위를 반영하는 점수로, 더 높은 점수일수록 쿼리의 질이 높다고 판단한다. 단락 3. Scenario 1: Single-turn Retrieval. 입력 x에서 G개의 후보 q1..qG를 생성하고, πθ_old에 의해 샘플링한다. GRPO 목적 함수 L_GRPO(θ) = - (1/G) Σi (1/|yi|) Σt [...] 은 중요도 샘플링 비율 ρi를 사용해 정책의 업데이트를 수행한다. 보상 A_i는 그룹의 평균/표준편차를 이용해 정규화된다. 입력 x → q_i → D → r_i → A_i → πθ 갱신의 흐름이다. 단락 4. Scenario 2: Multi-turn Iterative Retrieval. τ_i = [q_i,1, e_i,1, q_i,2, e_i,2, ..., q_i,K]로 구성된 다중 턴 경로에서 총 보상 R_i는 λ_k의 가중합으로 계산한다. Turn1의 보상은 Turn2의 보상과 함께 평균화되어 First-turn의 학습 신호를 안정화한다. 패턴: 입력 → 첫 턴 수정 → 두 번째 턴 결과를 반영한 보상 업데이트. 단락 5. Branching Rollout Strategy. 2턴 RL 설정에서 4×4 브랜칭 구조를 도입한다. 첫 턴의 행동 q_i,1의 가치를 각 브랜치의 두 번째 턴 결과의 평균으로 추정하고, 두 번째 턴의 판단은 같은 히스토리 하에서의 분류된 신호를 사용한다. 이는 Turn1의 가치 추정의 분산을 줄이고 Turn2의 학습 신호를 상향시키는 역할을 한다.

단락 1. 메인 벤치마크(RAGBench)에서 다양한 retriever에서 LLM 쿼리 리라이터의 성능 향상을 확인한다. 예를 들어, BM25에서 탐색 전략 탐색(explore)과 재작성 전략을 적용하면 ndcg@10가 대폭 증가함. BEIR 벤치마크에서 Contriever의 평균 ndcg@10가 일반 프롬프트 대비 34.98까지 상승했다. FinAgentBench에서도 Contriever, BM25, Qwen3-Embedding에서 전반적으로 성능 향상이 나타났다. 단락 2. Ablation: transferability는 남다; Optimal 쿼리의 드리프트를 RE-MMD로 측정했고, Semantic drift는 보통 2.0 미만이지만 Structural drift는 20 이상으로 크게 나타났다. 단락 3. Human Guidance 및 모델 규모: General/Exploratory/Specific 프롬프트 구성에서 Contriever는 Specific 프롬프트가 최종 성능에 가장 큰 이점을 보였고, BM25는 Exploratory 프롬프트가 더 나았다. 14B 모형은 더 다양한 전략을 발견했고, 4×4 브랜칭이 16×1에 비해 학습 안정성을 크게 개선했다. 단락 4. Scalability: 14B 모형에서 “Being white and Latino”과 같은 서술형 쿼리가 0.965의 ndcg@10를 달성했고, 질문형 쿼리(

:{

논문은 텍스트-전용 retriever 및 텍스트 문서에 한정되며 멀티모달 retriever/다중 모달 데이터에 대한 확장은 필요하다. 또한 실험은 1-2턴 검색에 집중되어 있어 더 긴 트랙에 대한 학습 역학 및 성능 추세는 추가 연구 필요하다.