학생 이미지만 약화한 시각 자기 증류

왜 중요한가

시각 언어 모델의 On-Policy Distillation은 더 강한 교사나 정답 관심 영역처럼 외부에서 얻은 privileged information에 의존하는 경우가 많습니다. S 2 VOPD는 교사에게 정보를 추가하지 않고 학생의 이미지에만 변형을 적용해 예측 비대칭을 만들며, Qwen3.5-4B의 6개 세밀한 지각 벤치마크 평균 정확도를 70.68%에서 77.44%로 높였습니다. 동일한 학습 데이터로 235B 규모의 Qwen3-VL-Instruct보다 높은 점수를 기록하고 수학 추론도 함께 개선했다는 점에서, 주석·보상·별도 강한 교사 없이 시각 지각을 후학습하는 경로를 마련합니다.

핵심 기여

학생 입력만 약화하는 자기 증류

교사는 원본 이미지를 보고 학생은 같은 이미지의 강한 변형본을 보도록 입력 비대칭을 구성합니다. 학생이 자신의 변형 입력으로 생성한 궤적에서 교사의 토큰분포와 학생 분포 사이의 발산을 줄여 학습합니다. 이 구조는 정답 영역, 보상, 별도 강한 교사 없이도 교사와 학생 사이의 정보 차이를 학습 신호로 전환합니다.

시각 변형 공간의 체계적 비교

정보 감소, 기하학적 변형, 광도 변형, 가림의 네 계열을 독립적으로 비교합니다. 네 계열 모두 비변형 자기 증류보다 높은 성능을 내지만, 변형 강도가 너무 낮거나 높으면 성능이 떨어집니다. 특히 질문과 관련된 증거를 보존하는 중간 정도의 정보 차이가 유용한 감독 신호를 형성합니다.

Downscaling과 Gaussian noise 조합

기본 변형은 이미지를 원래 크기로 되돌리지 않고 0.3–0.6배로 축소한 뒤 0.5 확률로 Gaussian noise를 추가합니다. 축소는 학생 입력의 visual token 수와 rollout 및 forward-pass 비용을 함께 줄이고, noise는 신호 대 잡음비를 낮춰 교사와 학생의 예측 차이를 만듭니다. 이 조합은 여섯 개 지각 벤치마크에서 가장 안정적인 기본 설정으로 사용됩니다.

지각과 수학 추론의 동시 개선

FineVision 12K 학습 데이터로 Qwen3.5-4B의 지각 평균 정확도를 70.68%에서 77.44%로 높였습니다. Vision-OPD-6K 조건에서는 4B와 9B 모델의 전체 평균이 각각 75.33%와 76.35%로 올라가, 비교한 privileged-supervision 및 self-rewarding RL 방법을 앞섰습니다. 4B 모델에서 fine-grained perception은 +5.7%, math reasoning은 +3.7% 개선됐습니다.

핵심 아이디어 이해하기

On-Policy Distillation은 학생이 실제로 생성한 접두부에서 교사의 다음 토큰 분포를 제공하므로, 학습 중 모델이 방문하는 상태와 추론 중 상태가 어긋나는 문제를 줄입니다. 하지만 교사가 학생보다 더 나은 예측을 하려면 더 큰 모델이나 정답 답안 같은 정보 우위가 필요합니다. 외부 감독이 없으면 두 모델의 입력과 능력이 같아져 증류할 이유가 약해집니다.

S 2 VOPD는 교사에게 정보를 더 주는 대신 학생의 시각 입력을 약화합니다. 이미지 $x$ 와 질문 $q$ 가 주어질 때 교사는 원본 $x$ 를 보고 학생은 변환된 이미지 $\tilde{x}=T(x)$ 를 보며, 학생이 $\tilde{x}$ 에서 생성한 접두부 $y_{<t}$ 를 두 모델이 함께 평가합니다. 그러면 교사는 보존된 시각 증거를 이용해 분포 $p_t^\tau$ 를 만들고 학생은 제한된 증거로 분포 $p_t^s$ 를 만들기 때문에, 같은 접두부에서도 예측 차이가 발생합니다.

이 차이를 학습에 사용하려면 학생이 방문한 각 토큰 위치에서 두 분포의 발산을 계산하고 학생 분포를 교사 분포 쪽으로 이동시킵니다. 단순히 이미지를 심하게 훼손하면 차이는 커지지만 질문에 필요한 물체나 공간 정보가 사라져 학생이 답할 수 없는 상태가 됩니다. 실제로 cropping 강도를 높이면 정확도가 71.53%에서 68.76%, 67.44%로 연속 하락했으므로, 정보 차이의 크기와 의미가 모두 과제와 맞아야 합니다.

가장 효과적인 설정은 이미지를 0.3–0.6배로 축소하고 Gaussian noise를 추가하는 방식입니다. 이 변형은 세부 정보를 일부 줄이지만 질문의 핵심 증거를 완전히 없애지 않으며, 입력 해상도 감소로 학생 rollout 비용도 낮춥니다. 교사와 학생의 평균 token-level JS divergence가 약 0.014까지 커질 때 성능이 증가하고 그 이상에서는 감소해, 중간 정도의 비대칭이 가장 유용한 학습 신호가 됐습니다.

방법론

이미지–질문 쌍 $(x,q)\sim\mathcal{D}$ 에서 학생 정책은 $\pi_\theta$ , 교사 정책은 학생 가중치의 EMA인 $\pi_\phi$ 입니다. EMA 갱신은 $\phi\leftarrow(1-\eta)\phi+\eta\theta$ 이며, 논문 실험의 기본값은 $\eta=0.05$ 입니다. 각 샘플에서 변환 $T\sim\mathcal{T}$ 를 뽑아 학생 입력을 $\tilde{x}=T(x)$ 로 만들고 교사 입력은 원본 $x$ 로 유지합니다.

학생은 $y^{(1)},\ldots,y^{(n)}\sim\pi_\theta(\cdot\mid\tilde{x},q)$ 로 자신의 rollout을 생성합니다. 생성된 접두부 $y_{<t}$ 에서 교사 분포는 $p_t^\tau=\pi_\phi(\cdot\mid x,q,y_{<t})$ , 학생 분포는 $p_t^s=\pi_\theta(\cdot\mid\tilde{x},q,y_{<t})$ 가 됩니다. 손실은 학생 rollout의 각 위치에서 계산한 평균 발산이며, 입력과 처리 순서는 원본 이미지와 변형 이미지를 각각 인코딩하고, 동일한 접두부에서 다음 토큰 분포를 산출한 뒤, 두 분포를 비교해 학생 가중치를 갱신하는 흐름입니다.

논문의 손실은 $\mathcal{L}(\theta)=\mathbb{E}_{(x,q)\sim\mathcal{D}}\mathbb{E}_{y\sim\pi_\theta(\cdot\mid\tilde{x},q)}[\frac{1}{|y|}\sum_{t=1}^{|y|}D(\pi_\phi(\cdot\mid x,q,y_{<t})\|\pi_\theta(\cdot\mid\tilde{x},q,y_{<t}))]$ 입니다. 여기서 $x$ 는 원본 이미지, $q$ 는 질문, $y$ 는 학생이 생성한 응답, $t$ 는 토큰 위치, $D$ 는 어휘 전체의 두 확률분포 사이의 발산입니다. 학생이 실제 추론에서 방문할 접두부를 입력으로 사용하므로, 오프폴리시 정답 시퀀스가 아니라 학생의 현재 행동에 직접 감독이 걸립니다.

$D$ 에는 일반화된 Jensen–Shannon 발산을 사용하고 $\alpha=0.5$ 로 설정합니다. 혼합분포는 $m_t=\alpha\pi_\phi(\cdot\mid x,q,y_{<t})+(1-\alpha)\pi_\theta(\cdot\mid\tilde{x},q,y_{<t})$ 이며, 최종 발산은 교사와 혼합분포 사이의 KL 발산 및 학생과 혼합분포 사이의 KL 발산을 각각 가중합한 값입니다. 예를 들어 두 분포가 동일하면 두 KL 항과 JSD가 0이 되고, 서로 다른 토큰에 확률을 집중할수록 값이 커져 학생 업데이트가 강해집니다. 계산은 교사 상위 $k$ 개 토큰으로 지지집합을 제한하고 재정규화해 어휘의 긴 꼬리 확률이 손실을 불안정하게 만드는 현상을 줄입니다.

변환 $T$ 는 전역 적용 여부 $z\sim\operatorname{Bernoulli}(p)$ , 연산자별 적용 여부 $b_j\sim\operatorname{Bernoulli}(\rho_j)$ , 연산 강도 $\lambda_j\sim P_j$ 로 구성됩니다. $z=0$ 이면 학생도 원본 이미지를 받고, $z=1$ 이면 선택된 연산자를 정해진 순서로 합성해 변형 이미지를 받습니다. 기본 조합에서는 $p=1$ 이고 Downscaling을 먼저 적용한 뒤 Gaussian noise를 독립적으로 $\rho_{noise}=0.5$ 확률로 추가하며, noise는 DDPM forward step $t=200$ 에 해당하는 표준편차 약 0.11을 사용합니다.

주요 결과

FineVision 12K로 학습한 S 2 VOPD는 Qwen3.5-4B의 여섯 개 fine-grained perception 벤치마크 평균을 70.68%에서 77.44%로, 6.76%포인트 높였습니다. 이 점수는 Qwen3-VL-Instruct-235B의 75.75%와 Qwen3.5-397B의 77.44%에 해당하며, 표에 포함된 GPT-5 계열보다 높고 Gemini-3-Flash의 77.67%와 비슷합니다. 학습 과정에서 ground-truth region이나 answer를 사용하지 않았는데도 privileged-supervision 방법인 ZwZ, Vision-OPD, Opsd의 표에 기록된 평균을 모두 넘었습니다.

동일한 Vision-OPD-6K 학습 데이터와 65 optimizer steps를 사용한 비교에서 S 2 VOPD의 평균은 Qwen3.5-4B에서 75.33%, Qwen3.5-9B에서 76.35%였습니다. 4B에서는 가장 강한 self-rewarding RL 기준보다 2.0%포인트 높았고, 9B에서는 0.7%포인트 높았으며, 4B 기준 Vision-OPD의 74.77%도 앞섰습니다. 9B에서는 Vision-OPD의 76.56%에 이어 두 번째였지만 privileged annotation 없이 근접한 성능을 냈습니다.

분해 실험에서 변형을 제거한 대칭 자기 증류는 평균 70.52%로 base model의 70.68%보다 낮았고, EMA 교사를 고정해도 75.95%에 도달해 기본 S 2 VOPD의 76.35%에서 0.40%포인트만 줄었습니다. 네 변형 계열의 평균은 정보 감소 75.65%, 광도 74.40%, 기하학 74.30%, 가림 72.44%였으며, 변형 강도에 따른 성능은 대체로 중간에서 정점을 이뤘습니다. 서로 다른 발산 비교에서는 JSD 평균 76.05%, reverse KL 75.49%, forward KL 74.74%로 JSD가 가장 높았습니다.

기술 상세

학생 정책 $\pi_\theta$ 와 교사 정책 $\pi_\phi$ 는 같은 base model 계열에서 출발하지만 입력 이미지가 다릅니다. 교사는 clean view $x$ 에서 응답 접두부별 다음 토큰 분포를 계산하고, 학생은 $\tilde{x}=T(x)$ 에서 생성한 자기 rollout을 다시 사용해 같은 위치의 분포를 계산합니다. 교사와 학생이 동일한 $y_{<t}$ 를 평가하므로 이미지 변형의 영향이 토큰 수준의 predictive gap으로 측정됩니다.

변형 연산자는 정보 감소, 기하학, 광도, 가림으로 나뉩니다. 정보 감소에는 Downscale, Gaussian blur, spectral band-stop filtering, Gaussian noise, local pixelation, visual-token drop이 포함되고, 기하학 계열에는 Rotation, Translation, Crop, Zoom-out이 포함됩니다. Photometric 계열은 brightness, contrast, saturation, hue, gamma, sharpness, histogram equalization을 바꾸며, Occlusion 계열은 random erasing과 GridMask로 국소 영역을 지웁니다.

기본 recipe는 Downscaling과 additive Gaussian noise의 합성입니다. Downscaling 강도는 $s\sim\mathcal{U}(0.3,0.6)$ 이고 이미지를 축소한 뒤 원래 해상도로 resize-back하지 않아 학생에게 들어가는 visual token 수가 줄어듭니다. Gaussian noise는 DDPM forward step $t=200$ 에서 $x\mapsto\sqrt{\bar{\alpha}_t}x+\sqrt{1-\bar{\alpha}_t}\varepsilon$ 로 추가되며, 표준편차 약 0.11과 거의 무시할 수 있는 신호 감쇠에 해당합니다.

학습 실험은 Qwen3.5-4B와 Qwen3.5-9B를 사용하고 vLLM으로 rollout을 실행했습니다. 기본 설정은 prompt batch 96, 프롬프트당 rollout 8개, learning rate $2\times10^{-6}$ , warmup 10 steps, 6K 또는 12K 샘플에 대한 65 또는 130 optimizer steps, 최대 prompt length 8,192 tokens, response length 1,024 tokens입니다. 지각 평가에는 greedy decoding과 최대 4,096 tokens를 사용하고, 수학 추론에는 24,576-token budget, temperature 0.3, top-p 0.95, top-k 20, presence penalty 1.5를 적용했습니다.

실험은 V*Bench, ZoomBench, HR-Bench 4K·8K, MME-RealWorld와 중국어 subset, MathVista, MathVerse, MathVision에서 이뤄졌습니다. 최종 답안을 먼저 추출해 near-exact matching을 적용하고, 이 규칙으로 판정되지 않는 경우에만 Qwen2.5-72B-Instruct를 LLM judge로 사용했습니다. 초기 10 training steps의 평균 token-level JS divergence가 약 0.014를 넘으면 성능이 하락했으며, forward KL과 reverse KL보다 $alpha=0.5$ JSD가 평균 정확도에서 우세했습니다.

실무 활용

S 2 VOPD는 원본 이미지와 학생용 변형 이미지를 분리해 사용하는 시각 언어 모델 후학습 방식입니다. FineVision의 자연 이미지 질문을 사용해 학습할 때 별도 정답 영역, 정답 답안, 외부 보상 없이 학생이 생성한 토큰별 분포를 교사의 원본 이미지 분포와 맞춥니다. 논문 수치상 지각과 수학 추론을 함께 개선했으므로, 시각적 세부 인식과 추론을 동시에 유지해야 하는 후학습 파이프라인에 적용할 근거가 있습니다.

Fine-grained perception 벤치마크에서 원본 이미지와 0.3–0.6배 Downscaling 및 Gaussian noise를 적용한 학생 입력을 이용해 시각 지각 후학습을 구성하는 경우
정답 region annotation이나 별도 강한 teacher model 없이 이미지–질문 데이터로 On-Policy Distillation을 수행하는 경우
rollout과 학생 forward-pass에서 낮은 해상도 입력을 사용해 학생 측 처리 비용을 줄이면서 원본 이미지를 본 EMA 교사의 토큰분포를 전달하는 경우
시각 지각과 MathVista·MathVerse·MathVision 같은 수학 추론 성능을 함께 평가하며 후학습 효과를 비교하는 경우

코드 공개 여부: 미확인

키워드

S 2 VOPD(자기 지도 시각 온폴리시 증류)Visual On-Policy Distillation(시각 온폴리시 증류)Teacher–Student Asymmetry(교사–학생 비대칭)Asymmetric Augmented Views(비대칭 증강 뷰)Fine-Grained Perception(세밀한 시각 지각)Jensen–Shannon Divergence(Jensen–Shannon 발산)

용어 해설

온폴리시 지식 증류(On-Policy Distillation): — 학생 모델이 실제 추론 과정에서 직접 생성한 토큰 시퀀스를 따라 교사 모델의 다음 토큰 분포를 학습하는 방법입니다. 학습 데이터의 정답만 모방하는 대신 학생이 방문한 상태에서 토큰별 예측 차이를 줄여 학습과 추론 사이의 불일치를 낮추는 데 의미가 있습니다.
지수 이동 평균(Exponential Moving Average): — 현재 학생 모델의 가중치와 이전 교사 가중치를 결합해 교사 모델을 점진적으로 갱신하는 방식입니다. 논문에서는 $phi \leftarrow (1-\eta)\phi+\eta\theta$ 로 표현하며, 학생의 순간적인 변화보다 안정적인 예측 분포를 교사 신호로 사용하기 위해 적용합니다.
Jensen–Shannon 발산(Jensen–Shannon Divergence): — 두 확률분포와 이들의 혼합분포 사이의 KL 발산을 평균해 분포 차이를 측정하는 지표입니다. S 2 VOPD는 교사와 학생의 토큰분포를 가중치 $alpha=0.5$ 로 결합한 뒤 양쪽의 KL 발산을 모두 계산해, 한쪽 분포에만 과도하게 맞추는 문제를 줄입니다.
온폴리시 자기 증류(On-Policy Self-Distillation): — 별도의 강한 교사 모델 없이 하나의 모델에서 교사와 학생 역할을 나누어 자기 생성 궤적을 학습하는 방법입니다. 기존 방식은 정답 답안, 환경 보상, 관심 영역처럼 교사에게만 주어지는 privileged information으로 비대칭을 만들지만, 이 논문은 학생 입력에서 시각 정보를 제거하는 방식으로 같은 목적을 달성합니다.
EMA 교사 모델(EMA Teacher): — 학생 모델 가중치의 지수 이동 평균으로 유지되는 교사 네트워크입니다. S 2 VOPD에서는 교사가 원본 이미지를 보고 학생은 변형 이미지를 보도록 입력을 분리하며, 교사는 학생이 생성한 동일한 접두부에서 더 많은 시각 정보에 기반한 토큰분포를 계산합니다.

학생 이미지만 약화한 시각 자기 증류

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

서로 다른 토크나이저로 장문 증명을 증류하는 SimpleOPD

OPD는 정말 교사 지식을 증류하는가

다수결로 정답을 만드는 비지도 Self-Distillation

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

서로 다른 토크나이저로 장문 증명을 증류하는 SimpleOPD

OPD는 정말 교사 지식을 증류하는가

다수결로 정답을 만드는 비지도 Self-Distillation