Faithful GRPO: 제약 조건 정책 최적화를 통한 멀티모달 언어 모델의 시각적 공간 추론 능력 향상

왜 중요한가

최근 멀티모달 모델들이 정답은 맞히더라도 추론 과정(CoT)에서 이미지와 무관한 설명을 하거나 앞뒤가 안 맞는 말을 하는 '불성실한 추론' 문제가 심각하다. 이 논문은 강화학습 과정에서 논리적 일관성과 시각적 근거를 '강력한 제약 조건'으로 설정하여, 모델이 정답만 맞히는 편법을 쓰지 못하게 하고 추론의 품질과 정확도를 동시에 높이는 방법을 제시한다.

핵심 기여

멀티모달 추론의 불성실성 체계적 분석

RLVR로 학습된 최신 멀티모달 모델들이 높은 정확도에도 불구하고 논리적 모순(24.5%) 및 시각적 근거 부족 문제를 빈번하게 노출함을 7개의 공간 추론 벤치마크를 통해 입증했다.

Faithful GRPO (FGRPO) 알고리즘 제안

기존 GRPO에 라그랑주 쌍대 상승법을 결합하여 논리적 일관성과 시각적 근거를 하드 제약 조건으로 강제하는 새로운 강화학습 프레임워크를 개발했다.

검증 가능한 다중 보상 신호 설계

LLM 판독기를 이용한 논리 일관성 보상, VLM을 활용한 문장 단위 시각적 근거 보상, 그리고 IoU 기반의 공간적 근거 보상을 결합하여 학습에 활용했다.

추론 품질 및 정확도의 동시 향상

Qwen2.5-VL 모델 적용 결과, 추론 불일치율을 1.7%로 낮추고 시각적 근거 점수를 13%p 높였으며, 최종 정답 정확도 또한 기존 GRPO 대비 약 2%p 개선했다.

핵심 아이디어 이해하기

딥러닝 모델의 학습은 손실 함수(Loss Function)를 최소화하는 방향으로 가중치를 갱신하는 Gradient Descent 과정이다. 최근 멀티모달 모델들은 정답 여부만 확인하는 RLVR 방식을 통해 성능을 높여왔으나, 이 과정에서 모델은 정답 점수만 따기 위해 추론 과정(CoT)은 엉터리로 작성하고 정답만 맞히는 '보상 해킹(Reward Hacking)' 현상을 보인다. 즉, 내부의 Attention 메커니즘이 이미지의 엉뚱한 곳을 보면서도 정답은 맞히는 식이다.

FGRPO는 이 문제를 해결하기 위해 '제약 조건이 있는 최적화' 개념을 도입한다. 단순히 정답 보상을 최대화하는 것이 아니라, '논리적 일관성'과 '시각적 근거'라는 두 가지 기준이 특정 임계값(Threshold) 이상을 유지해야 한다는 조건을 건다. 이는 마치 학생에게 시험 점수만 잘 받으라고 하는 대신, 반드시 풀이 과정을 논리적으로 쓰고 문제에서 주어진 조건만 사용해야 한다는 규칙을 강제로 적용하는 것과 같다.

이 과정에서 라그랑주 승수(Lagrange Multiplier)가 핵심 역할을 한다. 모델이 일관성 조건을 어기면 해당 조건의 가중치(lambda)를 자동으로 높여 모델이 더 강한 압박을 받게 하고, 조건을 잘 지키면 압박을 줄인다. 결과적으로 모델은 정답을 맞히는 능력과 그 정답에 이르는 과정의 성실함을 동시에 학습하게 되며, 이는 모델의 신뢰성을 근본적으로 개선한다.

방법론

FGRPO는 기존 GRPO의 어드밴티지 계산 방식을 확장하여 다중 제약 조건을 통합한다. 전체 목적 함수는 과업 정확도(R_task)를 최대화하는 동시에 논리적 일관성(R_C), 시각적 근거(R_S), 공간적 근거(R_G) 보상의 기댓값이 각각 설정된 임계값(tau) 이상이 되도록 설계된다.

라그랑주 완화(Lagrangian Relaxation)를 통해 제약 조건이 있는 문제를 제약 없는 라그랑주 함수 형태로 변환한다. 각 제약 조건 k에 대해 라그랑주 승수 lambda_k를 할당하고, Dual Ascent 단계를 통해 lambda_k = clip(0, max, lambda_k + eta * (tau_k - c_k))와 같이 업데이트한다. [임계값 tau_k에서 현재 배치의 평균 점수 c_k를 뺀 값에 학습률 eta를 곱하여 기존 승수에 더함] → [점수가 임계값보다 낮으면 승수가 커져 해당 제약의 중요도가 상승함] → [최종 어드밴티지 계산 시 해당 항목의 비중이 커짐] → [모델이 해당 조건을 만족하는 방향으로 더 강하게 학습됨].

특히 '분리된 정규화(Decoupled Normalization)' 전략을 사용한다. 각 보상 신호(정확도, 일관성, 근거)는 서로 다른 스케일과 특성을 가지므로, 그룹 내에서 각각 독립적으로 정규화하여 어드밴티지를 구한 뒤 라그랑주 승수로 가중 합산한다. 이는 특정 신호가 전체 학습을 지배하거나 무시되는 현상을 방지하며, 모든 제약 조건이 균형 있게 만족되도록 돕는다.

주요 결과

Qwen2.5-VL-7B 및 3B 모델을 대상으로 7개의 공간 추론 데이터셋(CVBench, MindCube, MMVP 등)에서 평가를 진행했다. 7B 모델 기준, FGRPO는 평균 정확도 67.16%를 기록하여 기본 모델(64.17%) 및 과업 보상만 사용한 GRPO-T(65.17%)를 모두 능가했다. 특히 MindCube 데이터셋에서는 정확도가 41.71%에서 49.28%로 크게 상승했다.

추론 품질 측면에서 괄목할만한 개선이 확인됐다. GRPO-T 모델의 추론 불일치율(Inconsistency Rate)은 26.1%에 달했으나, FGRPO는 이를 1.7%로 급격히 낮추었다. 시각적 근거 점수(Semantic Grounding) 또한 72.7%에서 86.0%로 13.3%p 향상되어, 모델이 생성하는 문장들이 실제 이미지 내용과 훨씬 더 잘 부합함을 증명했다.

Ablation Study 결과, 고정된 가중치를 사용하는 것보다 적응형 라그랑주 승수를 사용하는 것이 정확도와 일관성 사이의 최적의 균형점을 찾는 데 더 효과적임이 밝혀졌다. 또한, 일관성 제약만 적용했을 때보다 시각적 근거 제약을 함께 적용했을 때 최종 정확도가 추가로 상승하여, '성실한 추론'이 곧 '정확한 답변'으로 이어진다는 사실을 입증했다.

기술 상세

FGRPO의 아키텍처는 Qwen2.5-VL을 백본으로 하며, 2단계 학습 파이프라인을 따른다. 1단계에서는 MCTS(Monte Carlo Tree Search)를 통해 생성된 고품질의 공간 추론 CoT 데이터를 사용하여 SFT(Supervised Fine-tuning)를 진행한다. 이때 태그를 활용해 시각적 객체를 명시적으로 지칭하는 법을 학습한다.

2단계 강화학습에서는 GRPO를 기반으로 하되, Lagrangian Dual Ascent를 결합한 Constrained Policy Optimization을 수행한다. 보상 설계에서 논리 일관성은 텍스트 전용 LLM Judge(GPT-5.4 등)를 통해 이진 보상으로 산출하며, 시각적 근거는 VLM Judge를 통한 문장별 검증과 Ground-truth Bounding Box와의 IoU(Intersection over Union) 계산을 병합하여 사용한다.

수학적으로 FGRPO는 CMDP(Constrained Markov Decision Process) 프레임워크 내에서 작동한다. 기존의 부드러운 보상 설계(Reward Shaping)가 정확도와 품질 사이의 트레이드오프를 유발하는 것과 달리, FGRPO는 품질 조건을 '반드시 지켜야 할 선'으로 설정함으로써 정확도 손실 없이(오히려 향상시키며) 추론의 신뢰성을 확보한다. 학습 시 AdamW 옵티마이저, bf16 정밀도, 8개의 H100 GPU 환경에서 효율적인 분산 학습이 가능하도록 구현되었다.

한계점

공간적 근거 보상(RG)을 계산하기 위해서는 학습 데이터에 객체의 Bounding Box 주석이 포함되어 있어야 하므로, 주석이 없는 일반 데이터셋에는 적용이 제한적일 수 있다. 또한, 일관성과 근거를 평가하기 위해 온라인 VLM/LLM 판독기를 호출하는 과정에서 추가적인 계산 비용이 발생한다.

실무 활용

FGRPO는 멀티모달 AI의 고질적인 문제인 '환각(Hallucination)'과 '논리적 모순'을 강화학습 단계에서 직접 제어할 수 있는 실용적인 프레임워크를 제공한다.

자율주행 및 로봇 제어: 주변 환경의 공간적 관계를 정확히 파악하고 논리적으로 일관된 판단이 필요한 시스템
의료 영상 분석: 진단 결과뿐만 아니라 그 근거가 되는 영상 내 특징을 정확히 지칭해야 하는 보조 도구
법률/보안 관제: 영상 증거를 바탕으로 사건의 인과관계를 설명할 때 논리적 모순이 없어야 하는 분석 서비스

코드 공개 여부: 비공개

키워드

FGRPO(제약 조건 정책 최적화)Multimodal(멀티모달)CoT(사고의 사슬)Visual-Reasoning(시각적 추론)Reinforcement-Learning(강화학습)

용어 해설

그룹 상대 정책 최적화(GRPO): — DeepSeek-R1에서 제안된 강화학습 기법으로, 별도의 가치 모델(Critic) 없이 동일 프롬프트에서 생성된 여러 응답(그룹)의 상대적 보상을 비교하여 정책을 업데이트하는 방식이다. 계산 효율성이 높고 추론 능력 강화에 효과적이다.
라그랑주 쌍대 상승법(Lagrangian Dual Ascent): — 제약 조건이 있는 최적화 문제를 해결하기 위한 수학적 기법이다. 제약 조건을 위반할 때마다 '라그랑주 승수'라는 가중치를 높여 모델이 해당 조건을 만족하도록 강제하며, 이를 통해 여러 목표 간의 균형을 자동으로 조절한다.
시각적 근거 제시(Visual Grounding): — 멀티모달 모델이 텍스트 응답을 생성할 때, 이미지 내의 구체적인 객체나 영역(Bounding Box)과 연결 짓는 능력이다. 모델이 단순히 짐작해서 답하는 것이 아니라 실제 시각적 증거에 기반해 추론하고 있음을 보장한다.
사고의 사슬(Chain-of-Thought): — 모델이 최종 정답을 내놓기 전에 단계적인 추론 과정을 텍스트로 생성하도록 유도하는 기법이다. 복잡한 논리적 문제를 해결하는 데 도움을 주지만, 생성된 추론 과정이 정답과 모순되거나 이미지 내용과 다를 수 있는 '불성실성' 문제가 발생하기도 한다.

코드 예제

python

A_FGRPO(o_i_j) = A_task(o_i_j) + sum_{k in {C,S,G}} lambda_k * A_k(o_i_j)

FGRPO의 최종 어드밴티지(Advantage) 계산식으로, 기본 과업 보상에 논리적 일관성(C), 시각적 근거(S, G) 제약 조건의 어드밴티지를 라그랑주 승수와 결합하는 예시

Faithful GRPO: 제약 조건 정책 최적화를 통한 멀티모달 언어 모델의 시각적 공간 추론 능력 향상

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

코드 예제

관련 토론

댓글

관련 기사

Remember‑R1으로 시각적 어텐션 지속화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

Remember‑R1으로 시각적 어텐션 지속화