시각적 열화에 대응한 멀티모달 추론 강화

멀티모달 대형언어모델은 실제 세계의 노이즈가 많은 시각 입력에서 불안정하다. ROMA는 critic-free GRPO 기반 RL 파인튜닝에 시각 열화에 대한 견고한 추론을 주입하기 위해 dual-forward-pass, token-level KL invariance, adversarial 다중 뷰 정규화, 교육 보조 그래디언트를 결합한다. 이로써 깨끗한 입력 성능을 유지하면서 seen/unseen corruptions에 대한 견고함이 향상된다.

• 출발점: autoregressive MLLM의 RL 학습은 깨끗한 입력에 대해 성능이 좋지만, 시각 열화에 취약하고 reward poisoning 위험이 있다. GRPO 기반의 critic-free 설정에서 가치망의 정규화를 사용할 수 없으므로, 시각적 invariance를 정책 수준에서만 다룰 필요가 있다.
• 해결 원리: dual-forward-pass를 통해 clean 입력에서 얻은 롤아웃 경로를 고정하고, degraded 뷰를 여러 개 생성해 teacher forcing 하에 같은 시퀀스의 토큰 확률을 비교한다. stop-gradient로 clean 정책 출력을 보존하고, degraded 뷰 간의 분포 차이가 가장 큰 경우에만 Gπ(θ,f)를 적용한다.
• 달라지는 점: Worst-case multi-view 정규화(Gworstπ)로 adversarial한 시각 변화에 대한 일반화가 촉진되고, 보조 정책 그래디언트(Jaug_pg)는 degraded 입력에서도 보상 신호를 유지하게 하며, correctness-conditioning은 올바른 논리 경로에만 정합성을 강제한다.
• 기대 효과: clean 입력에서의 성능을 유지하면서 seen/unseen 교란에 대한 평균 정확도가 향상되며, Level 3와 같은 심한 교란에서도 GRPO보다 더 나은 견고성을 보여준다.

• 문제 정의: y ∼ πθ(· | v, x)로 질문 x와 시각 입력 v를 받아 논리적 사고 경로를 생성하고, 보상 R(v,x,y)로 성능을 평가한다. 기본 RL 목적은 JRL(θ) = E[R(v,x,y)]를 최대화한다.
• Correctness-Conditioned Token-Level Invariance: f(v)로 degraded 뷰를 만들고, Gπ(θ,f) = E[sum_t DKL( sg πθ(·|v,x,y<t) || πθ(·|f(v),x,y<t) )]를 적용하되, R(y) > 0인 성공 경로에만 적용한다. per-token KL은 pt log(pt) − qt log(pt) 형태로 근사한다.
• Worst-Case Multi-View Optimization: FK에서 K개의 degraded 뷰를 샘플하고, 각 Gπ(θ,fk)를 계산한 뒤 최댓값만 정규화로 사용한다. 즉, Gworstπ(θ) = max_fk∈FK Gπ(θ,fk).
• Auxiliary Policy Gradient: Jaug_pg(θ) = Ef∈FK E_y [sum_t min(ρt A, clip(ρt,1−ε,1+ε)A)], ρt = πθ(yt|f(v),x,y<t) / πold(yt|v,x,y<t). 이는 clean 롤아웃의 advantages A(v,x,y)에 고정된 학습 신호를 제공한다.
• 총 목적: Jtotal(θ) = JRL(θ) + α Jaug_pg(θ) − β E [Gworstπ(θ) · I[R(v,x,y) > 0]]. 이 구조는 clean 입력 성능 유지와 함께 robust한 시각 인지 능력을 강화한다.

• 메인 벤치마크: 8B에서 ROMA는 clean 입력에서 GRPO와 동등한 수준의 성능(약 68.7%대)을 유지하면서, seen degradations에서 61.6%, unseen degradations에서 56.3%의 평균 정확도를 달성한다. GRPO의 해당 구간은 각각 약 59.2%와 54.0%였다. Level 3 심화 교란에서도 ROMA가 +2.3%/+2.4%의 개선을 보였고, clean-to-degraded 간 격차를 감소시켰다.
• 4B 모델 ablation: ROMA의 성능은 멀티-뷰 최적화의 worst-case 버전이 mean penalty보다 약 1.6%p(Seen) 및 1.8%p(Unseen) 더 우수함을 보여준다.
• Auxiliary PG ablation: Auxiliary PG를 제거하면 Seen 평균 60.5%, Unseen 평균 55.4%로 감소, 전체적으로 약 1.0–1.1%p의 하락이 관찰된다.
• Correctness conditioning: Unconditional penalty를 적용하면 Seen 59.4%, Unseen 54.1%로 감소하므로 correctness-conditioning은 평균 약 2.2%p의 이득을 제공한다.
• K 값 영향: K=3이 기본값으로 제시되며, K=1/2/4에 비해 더 높은 Robustness를 보인다. 최적의 β 값은 0.10으로, 0.05/0.15보다 더 나은 성능을 보인다.

• 아키텍처: autoregressive MLLM에 대한 critic-free GRPO 기반 RL 파인튜닝에서 Dual-forward-pass를 도입해, clean 롤아웃 경로를 고정하고 degraded 뷰에 대해 token-level 확률을 재평가한다. 이때 Gπ(θ,f) 토큰-레벨 KL 발산을 도입하되, stop-gradient를 통해 clean 출력을 보호한다.
• 수학적 기반: Gπ(θ,f) = E[Σ_t DKL( sg πθ(yt|v,x,y<t) || πθ(yt|f(v),x,y<t) )], DKL은 pt log pt − qt log qt와 근사한다. Worst-case는 Gworstπ(θ) = max_fk∈FK Gπ(θ,fk)로 정의된다.
• 학습 전략: Jtotal(θ) = JRL(θ) + α Jaug_pg(θ) − β Gworstπ(θ) I[R>0]. Jaug_pg은 ρt를 이용한 clipped surrogate를 clean advantages에 고정된 상태에서 계산한다.
• 구현상 세부: multi-view 수 K=3, α=0.10, β=0.10를 기본값으로 설정하고 EasyR1 프레임워크를 사용하여 120 스텝 학습을 수행한다.