V-Zero: 대조적 증거 게이팅을 이용한 답 라벨 없는 온-폴리시 증류로 세부 시각 추론 향상

세부 시각 추론은 이미지의 작은 영역에서 증거를 찾아 문맥화해야 하는데, 기존 RL 기반 방법은 탐색 비용이 크고 SFT는 대규모 정답 라벨에 의존한다. V-Zero는 정답 텍스트 라벨 없이 학생이 샘플한 롤아웃을 교사 쪽의 양/음성 시각 뷰로 평가해 학습 게이트를 조정함으로써 효율적으로 세부 증거 기반 추론 능력을 강화한다.

출발점과 기존 한계: 멀티모달 LLM(MLLM)이 세부 시각 증거에 기반한 추론을 수행하려면 모델이 이미지의 국지적 영역을 근거로 답을 생성해야 한다. Supervised Fine-tuning(SFT)은 대규모 정답 추론 라벨에 의존하고, RL 기반 agentic 방법은 탐색 비용과 검증 규칙 설계 비용이 크다. On-Policy Distillation(OPD)은 학생이 실제 방문한 상태들에서 교사의 밀집 토큰 신호로 학습해 비용적으로 유리하지만, 표준 OPD는 각 접두(prefix)에 대한 토큰 수준 정렬만 수행해 전체 롤아웃이 올바른 경로인지 판별하지 못한다.

전체 접근과 핵심 아이디어: V-Zero는 학생이 전체 이미지에서 G개의 sibling rollouts를 샘플링하도록 유지하면서, 교사는 동일 토큰 시퀀스를 원본(full image) 외에 양성(positive)과 음성(negative) 시각 뷰와 함께 재생한다. 각 토큰 k에 대해 교사는 양성·음성 뷰에서의 로그확률 ℓ_{+,k}, ℓ_{-,k}를 계산하고 그 차이 Δ_k = ℓ_{+,k} − ℓ_{-,k}를 구한다. 토큰별 Δ_k를 롤아웃 평균 p^{(g)}로 집계한 뒤, sibling 그룹 내 정규화(μ,σ)로 a^{(g)}를 얻고 w^{(g)} = stop-gradient(clip(1 + a^{(g)}, w_min, w_max))로 게이트를 만든다. 최종적으로 음성 뷰는 게이팅 산출에만 사용되고 positive-view OPD(교사 분포는 π_t(·|x,z^+,...))가 학습 타깃이 된다.

메인 벤치마크 결과: V-Zero-4B는 여러 fine-grained visual reasoning 벤치마크에서 Qwen3.5-4B 대비 평균 +3.1점 향상을 보고했다. 개별 향상치는 VStar +4.7, HR-4K +3.4, HR-8K +2.0, ZoomBench +5.5이다(Table 1). 비교군에는 Qwen3-VL/Qwen3.5(다양한 스케일) 및 DeepEyes, ZwZ, Pixel-Reasoner 등 visually grounded reasoning 시스템이 포함된다.

아키텍처 및 학습 흐름: 학생 정책 π_s는 전체 이미지와 질문을 입력받아 G개의 sibling 롤아웃 y^{(g)}을 autoregressive하게 생성한다. 교사 π_t는 각 학생 접두(y_{<k}^{(g)})에 대해 원본 컨텍스트에 양성 크롭 z^{+} 또는 음성 크롭 z^{-}을 추가해 샘플된 토큰의 로그확률 ℓ_{+,k}, ℓ_{-,k}를 계산한다. 음성 크롭은 원본 이미지를 2×로 다운샘플한 뒤 질문 관련 영역 외부에서 동일 사이즈로 무작위 샘플링한다(학습 전용).

논문 명시 한계: HR-8K 벤치마크에서는 gating 효과가 작게 관찰되며(원문은 8K 설정에서 전체 이미지 정보가 충분하다고 명시), 서로 다른 백본·설계 차이로 인한 교차 시스템 비교는 엄격한 컨트롤이 아님을 경고한다. 또한 학습에 교사 모델과 paired crops가 필요해 학습 단계에서는 추가 데이터(크롭) 구성이 요구된다.