F-GRPO: 통합 후보 생성 및 랭킹을 위한 Factorized Group-Relative Policy Optimization

전통적 다단계 retrieval 파이프라인은 후보 생성과 랭킹 간 credit assignment 문제로 인해 end-to-end 최적화의 효율이 저하된다. 본 연구는 같은 LLM 백본으로 두 과정을 결합하고, 각 단계에 고유한 학습 신호를 부여하는 F-GRPO를 제시해 후보 커버리지와 순서 품질의 균형을 개선한다.

출발점: slate 구성과 그 위에 대한 ranking은 서로 다른 목적을 가지므로, 하나의 sequence-level 보상으로는 두 목표를 구분하기 어렵다. 해결 원리: 같은 LLM 백본으로 두 단계의 정책을 factorize하고, phase별 advantage를 부여하여 각 phase의 gradient가 자신이 담당하는 목표에만 영향을 주도록 한다. 달라지는 점: slate의 높은 커버리지와 rank의 top-k 재정렬 능력이 결합되어 Recall@k/NDCG@k에서 상향을 만든다.

정책: πθ(τ, σ|x) = π_slateθ(τ|x) · π_rankθ(σ|x, τ)로 정의한다. slate 생성은 토큰 수준의 확률로 수행되며, 그 뒤 동일 추론 경로에서 σ를 생성한다. 손실 Lslate, Lrank를 독립적으로 계산하고, Â_slate, Â_rank를 per-rollout 그룹 평균에서 뺀 값을 사용해 gradient를 업데이트한다. Lslate는 slate 토큰에, Lrank는 rank 토큰에 각각 적용되며, L(θ) = Lslate + λ Lrank + β KL(πθ ∥ πref) 형태로 학습한다. 구현 세부사항으로는 구분자 태그 …와 …를 사용하고, 형식 오류가 있을 경우 pfmt를 적용한다.

실험에서 F-GRPO는 GRPO 및 decoupled baselines 대비 다양한 벤치마크에서 일관성 있게 향상된 Recall@k 및 NDCG@k를 보였다. MuSiQue에서 Recall@3의 상대 이득이 +13.2%에 이르는 등, 커버리지 제약이 크던 설정에서 두드러진 개선이 관찰되었다. HotpotQA의 경우 4B 계열 모델에서 강한 성능을 보였고, 2B 모델에서는 커버리지 제약이 더 뚜렷했다. 학습 다이내믹스 분석에서 slate의 recall이 ranker의 NDCG보다 먼저 수렴하는 경향이 확인되었다.