Faithful GRPO: 제약 조건 정책 최적화를 통한 멀티모달 언어 모델의 시각적 공간 추론 능력 향상

최근 멀티모달 모델들이 정답은 맞히더라도 추론 과정(CoT)에서 이미지와 무관한 설명을 하거나 앞뒤가 안 맞는 말을 하는 '불성실한 추론' 문제가 심각하다. 이 논문은 강화학습 과정에서 논리적 일관성과 시각적 근거를 '강력한 제약 조건'으로 설정하여, 모델이 정답만 맞히는 편법을 쓰지 못하게 하고 추론의 품질과 정확도를 동시에 높이는 방법을 제시한다.

딥러닝 모델의 학습은 손실 함수(Loss Function)를 최소화하는 방향으로 가중치를 갱신하는 Gradient Descent 과정이다. 최근 멀티모달 모델들은 정답 여부만 확인하는 RLVR 방식을 통해 성능을 높여왔으나, 이 과정에서 모델은 정답 점수만 따기 위해 추론 과정(CoT)은 엉터리로 작성하고 정답만 맞히는 '보상 해킹(Reward Hacking)' 현상을 보인다. 즉, 내부의 Attention 메커니즘이 이미지의 엉뚱한 곳을 보면서도 정답은 맞히는 식이다.

FGRPO는 이 문제를 해결하기 위해 '제약 조건이 있는 최적화' 개념을 도입한다. 단순히 정답 보상을 최대화하는 것이 아니라, '논리적 일관성'과 '시각적 근거'라는 두 가지 기준이 특정 임계값(Threshold) 이상을 유지해야 한다는 조건을 건다. 이는 마치 학생에게 시험 점수만 잘 받으라고 하는 대신, 반드시 풀이 과정을 논리적으로 쓰고 문제에서 주어진 조건만 사용해야 한다는 규칙을 강제로 적용하는 것과 같다.

이 과정에서 라그랑주 승수(Lagrange Multiplier)가 핵심 역할을 한다. 모델이 일관성 조건을 어기면 해당 조건의 가중치(lambda)를 자동으로 높여 모델이 더 강한 압박을 받게 하고, 조건을 잘 지키면 압박을 줄인다. 결과적으로 모델은 정답을 맞히는 능력과 그 정답에 이르는 과정의 성실함을 동시에 학습하게 되며, 이는 모델의 신뢰성을 근본적으로 개선한다.

FGRPO는 기존 GRPO의 어드밴티지 계산 방식을 확장하여 다중 제약 조건을 통합한다. 전체 목적 함수는 과업 정확도(R_task)를 최대화하는 동시에 논리적 일관성(R_C), 시각적 근거(R_S), 공간적 근거(R_G) 보상의 기댓값이 각각 설정된 임계값(tau) 이상이 되도록 설계된다.

라그랑주 완화(Lagrangian Relaxation)를 통해 제약 조건이 있는 문제를 제약 없는 라그랑주 함수 형태로 변환한다. 각 제약 조건 k에 대해 라그랑주 승수 lambda_k를 할당하고, Dual Ascent 단계를 통해 lambda_k = clip(0, max, lambda_k + eta * (tau_k - c_k))와 같이 업데이트한다. [임계값 tau_k에서 현재 배치의 평균 점수 c_k를 뺀 값에 학습률 eta를 곱하여 기존 승수에 더함] → [점수가 임계값보다 낮으면 승수가 커져 해당 제약의 중요도가 상승함] → [최종 어드밴티지 계산 시 해당 항목의 비중이 커짐] → [모델이 해당 조건을 만족하는 방향으로 더 강하게 학습됨].

특히 '분리된 정규화(Decoupled Normalization)' 전략을 사용한다. 각 보상 신호(정확도, 일관성, 근거)는 서로 다른 스케일과 특성을 가지므로, 그룹 내에서 각각 독립적으로 정규화하여 어드밴티지를 구한 뒤 라그랑주 승수로 가중 합산한다. 이는 특정 신호가 전체 학습을 지배하거나 무시되는 현상을 방지하며, 모든 제약 조건이 균형 있게 만족되도록 돕는다.

Qwen2.5-VL-7B 및 3B 모델을 대상으로 7개의 공간 추론 데이터셋(CVBench, MindCube, MMVP 등)에서 평가를 진행했다. 7B 모델 기준, FGRPO는 평균 정확도 67.16%를 기록하여 기본 모델(64.17%) 및 과업 보상만 사용한 GRPO-T(65.17%)를 모두 능가했다. 특히 MindCube 데이터셋에서는 정확도가 41.71%에서 49.28%로 크게 상승했다.

추론 품질 측면에서 괄목할만한 개선이 확인됐다. GRPO-T 모델의 추론 불일치율(Inconsistency Rate)은 26.1%에 달했으나, FGRPO는 이를 1.7%로 급격히 낮추었다. 시각적 근거 점수(Semantic Grounding) 또한 72.7%에서 86.0%로 13.3%p 향상되어, 모델이 생성하는 문장들이 실제 이미지 내용과 훨씬 더 잘 부합함을 증명했다.

Ablation Study 결과, 고정된 가중치를 사용하는 것보다 적응형 라그랑주 승수를 사용하는 것이 정확도와 일관성 사이의 최적의 균형점을 찾는 데 더 효과적임이 밝혀졌다. 또한, 일관성 제약만 적용했을 때보다 시각적 근거 제약을 함께 적용했을 때 최종 정확도가 추가로 상승하여, '성실한 추론'이 곧 '정확한 답변'으로 이어진다는 사실을 입증했다.

FGRPO의 아키텍처는 Qwen2.5-VL을 백본으로 하며, 2단계 학습 파이프라인을 따른다. 1단계에서는 MCTS(Monte Carlo Tree Search)를 통해 생성된 고품질의 공간 추론 CoT 데이터를 사용하여 SFT(Supervised Fine-tuning)를 진행한다. 이때 태그를 활용해 시각적 객체를 명시적으로 지칭하는 법을 학습한다.

2단계 강화학습에서는 GRPO를 기반으로 하되, Lagrangian Dual Ascent를 결합한 Constrained Policy Optimization을 수행한다. 보상 설계에서 논리 일관성은 텍스트 전용 LLM Judge(GPT-5.4 등)를 통해 이진 보상으로 산출하며, 시각적 근거는 VLM Judge를 통한 문장별 검증과 Ground-truth Bounding Box와의 IoU(Intersection over Union) 계산을 병합하여 사용한다.

수학적으로 FGRPO는 CMDP(Constrained Markov Decision Process) 프레임워크 내에서 작동한다. 기존의 부드러운 보상 설계(Reward Shaping)가 정확도와 품질 사이의 트레이드오프를 유발하는 것과 달리, FGRPO는 품질 조건을 '반드시 지켜야 할 선'으로 설정함으로써 정확도 손실 없이(오히려 향상시키며) 추론의 신뢰성을 확보한다. 학습 시 AdamW 옵티마이저, bf16 정밀도, 8개의 H100 GPU 환경에서 효율적인 분산 학습이 가능하도록 구현되었다.

공간적 근거 보상(RG)을 계산하기 위해서는 학습 데이터에 객체의 Bounding Box 주석이 포함되어 있어야 하므로, 주석이 없는 일반 데이터셋에는 적용이 제한적일 수 있다. 또한, 일관성과 근거를 평가하기 위해 온라인 VLM/LLM 판독기를 호출하는 과정에서 추가적인 계산 비용이 발생한다.