UniDoc-RL: 계층적 액션과 조밀한 보상을 활용한 조립식 시각적 RAG

기존 시각적 RAG 시스템은 문서 내의 복잡한 시각적 세부 사항을 놓치거나 불필요한 배경 노이즈를 포함하는 한계가 있었다. UniDoc-RL은 검색부터 세부 영역 크롭까지의 과정을 계층적 액션으로 정의하고 강화학습으로 최적화하여, 모델이 정보가 밀집된 핵심 영역에만 집중하도록 유도함으로써 추론 정확도를 획기적으로 높였다.

기존의 시각적 RAG는 단순히 검색된 이미지를 모델에 입력하는 수동적인 방식에 의존했다. 이는 이미지 내의 수많은 텍스트와 도표 중 정답과 무관한 정보까지 Attention 연산에 포함시켜 모델의 혼란을 야기하고 연산 자원을 낭비하게 만든다. UniDoc-RL은 이를 해결하기 위해 시각 정보 획득을 '인간이 눈을 가늘게 뜨고 중요한 부분을 찾아내는 과정'과 같은 능동적인 의사결정 문제로 재정의했다.

핵심 원리는 GRPO(Group Relative Policy Optimization)를 기반으로 모델이 스스로 어떤 이미지를 선택하고 어느 부분을 확대해서 볼지 결정하게 만드는 것이다. 모델은 먼저 넓은 범위에서 후보 이미지를 찾고(Search), 그중 가장 관련성 높은 이미지를 골라낸 뒤(Select), 정답이 있을 법한 특정 영역을 좌표값으로 지정해 크롭(Crop)한다. 이 과정은 고해상도 세부 정보를 유지하면서도 불필요한 배경을 제거하여 모델이 정답 도출에 필요한 핵심 특징(Feature)에만 집중할 수 있게 한다.

결과적으로 모델은 단순히 주어진 정보를 읽는 수준을 넘어, 스스로 필요한 정보를 탐색하고 정제하는 능력을 갖추게 된다. 이는 특히 복잡한 차트나 긴 문서에서 특정 수치를 찾아야 하는 고난도 시각적 추론 작업에서 기존 방식보다 훨씬 높은 정확도와 효율성을 보여준다.

UniDoc-RL은 Thought-Action-Observation(T, A, O) 프레임워크 내에서 순차적 의사결정을 수행한다. 액션 공간은 세 단계로 구성된다. 첫째, Image Search 단계에서는 외부 검색 엔진을 호출하여 후보 이미지 집합을 가져온다. 둘째, Precise Selection 단계에서는 LVLM이 후보 중 쿼리와 의미적으로 가장 일치하는 이미지를 선택하여 문서 수준의 노이즈를 필터링한다. 셋째, Visual Perception 단계에서는 태그를 통해 관심 영역(ROI)의 좌표를 생성하고, 해당 영역을 크롭 및 줌하여 고해상도 시각 증거를 추출한다.

학습을 위해 조밀한 멀티 보상(Dense Multi-Reward) 시스템을 구축했다. 검색 결과의 품질은 NDCG 점수로 평가하며, 이미지 선택의 정확도는 정답 이미지 포함 여부에 따른 이진 보상을 부여한다. 시각 인지의 정확도는 예측된 크롭 영역과 실제 정답 영역 간의 IoU(Intersection over Union)를 계산한다. IoU는 [두 영역의 교집합 넓이 / 합집합 넓이]를 계산하여 0에서 1 사이의 값을 산출하며, 이 값이 클수록 모델이 핵심 정보를 정확하게 포착했음을 의미한다. 최종적으로 이 모든 보상과 정답 일치 여부에 따른 Outcome Reward를 가중 합산하여 전체 보상 r_total을 구성하고 이를 최대화하도록 정책을 업데이트한다.

ViDoSeek, SlideVQA, MMLongBench 등 3가지 주요 벤치마크에서 실험을 진행했다. UniDoc-RL은 Qwen2.5-VL-3B 및 7B 모델을 기반으로 기존 SOTA 모델들을 일관되게 능가했다. 특히 7B 모델 기준 전체 평균 정확도 74.8%를 기록하며, 이전의 강화학습 기반 방식인 VRAG-RL 대비 약 17.7%의 성능 향상을 달성했다.

Ablation Study 결과, 정밀 선택(Precise Selection) 액션이 검색 재현율(Recall)을 크게 높였으며, 액티브 크로핑(Visual Perception)은 세밀한 시각적 구분이 필요한 MMLongBench에서 가장 큰 기여를 한 것으로 나타났다. 또한, 조밀한 보상 체계가 단순히 최종 정답만으로 보상을 주는 방식보다 모델의 중간 의사결정 과정을 훨씬 효과적으로 최적화함을 입증했다.

UniDoc-RL의 아키텍처는 LVLM을 에이전트로 활용하며, GRPO 알고리즘을 통해 별도의 가치 네트워크(Value Network) 없이 정책을 직접 최적화한다. 이는 연산 효율성을 높이면서도 여러 목표(검색, 선택, 크롭, 추론)를 동시에 정렬할 수 있게 한다. 학습 과정은 SFT(Supervised Fine-Tuning)를 통한 Cold Start 이후, 설계된 멀티 보상 체계를 적용한 RL 단계로 진행된다.

데이터 합성 과정에서는 Qwen3-VL-235B를 교사 모델로 사용하여 고품질의 추론 궤적을 생성했다. 특히 시각 인지 액션의 정밀도를 높이기 위해 Mineru와 같은 레이아웃 분석 도구를 활용하여 후보 바운딩 박스를 생성하고, 교사 모델이 이 중 최적의 영역을 선택하도록 설계했다. 구현 측면에서는 llama-factory와 verl 프레임워크를 사용하여 8개의 NVIDIA A100 80G GPU 환경에서 학습을 수행했다.

논문은 강화학습 과정에서 고품질의 궤적 데이터를 생성하기 위해 강력한 교사 모델(Qwen3-VL-235B)에 의존해야 한다는 점과, 멀티 라운드 상호작용으로 인해 추론 시 지연 시간(Latency)이 발생할 수 있다는 점을 명시하고 있다.