Visual Contrastive Self-Distillation (VCSD): 이미지 대비 신호로 구동되는 온폴리시 자기 증류

비전-언어 모델은 언어적 사전확률에 의존해 시각 증거를 무시하는 경향이 있으며, 기존 온폴리시 자기 증류는 보통 외부 정답이나 추가 시각 증거를 필요로 했다. VCSD는 원본 이미지와 내용 제거된 컨트롤 간의 동일 모델 예측 차이를 교사 신호로 활용해 별도의 정답이나 검증 파이프라인 없이 시각적 근거를 강화한다. 이 접근은 외부 교사 없이도 이미지 의존성을 높이며 다양한 Qwen3 모델과 벤치마크에서 일관된 개선을 보였다.

문제로 삼은 출발점은 비전-언어 모델이 텍스트 우선 편향을 갖고 있어 이미지에 의존해야 할 순간에도 언어적 사전확률로 답을 치우칠 수 있다는 점이다. 기존 온폴리시 자기 증류는 동일 모델로부터 타깃을 구성하되 교사-학생 간 정보 비대칭을 외부 정답이나 추가 증거로 만들어야 했으며, 이는 주석·추론 자취·외부 검증기 등을 요구해 실용성을 제한했다. 본문은 이 비대칭을 오직 입력 조건의 변화를 통해 만들 수 있다는 관점을 취한다.

핵심 동작 원리는 동일한 EMA 교사에 대해 원본 이미지와 내용 제거 컨트롤을 조건으로 같은 학생 생성 prefix에서 두 번 평가를 수행하는 것이다. 두 평가의 토큰별 로그확률 차이 Δ_t(v)는 그 토큰이 인스턴스 특이적 시각 정보에 의해 얼마나 더 지지되는지를 측정한다. 원본 분포는 가능성 있는 후보를 앵커로 제공하고, 로그확률 차이는 그 후보들 사이의 상대적 선호를 시각적으로 조정하는 역할을 한다.

이 조합은 보수적인 시각 근거 강화로 작동한다. 원본 분포로 후보 지지체를 제한함으로써 희박한 언어적 토큰이 대비값으로 인해 과도하게 부각되는 것을 억제하고, α와 β의 설정을 통해 대비 강도와 지지체 크기를 조절한다. 결과적으로 학생은 언어적 유창성을 잃지 않으면서 인스턴스별 이미지 증거를 더 잘 반영하는 다음 토큰 분포를 학습하게 된다.

전체 접근은 온폴리시 롤아웃 구조 위에서 EMA 교사를 두 번 평가하는 형태로 구성된다. 학습 데이터는 프롬프트-이미지 쌍 (P,J)이며 학생 π_θ는 자신의 정책으로 응답 y를 샘플링한다. 각 생성 단계 t에서 학생과 EMA 교사는 동일한 prefix y_{<t} 아래에서 다음 토큰 분포를 계산하지만 교사는 원본 이미지 J와 내용 제거 컨트롤 J_ctrl에 대해 별도로 평가된다.

대비 신호는 토큰 단위 로그확률 차이 Δ_t(v)=log p_φ(v|P,J,y_{<t}) − log p_φ(v|P,J_ctrl,y_{<t})로 정의된다. 이 값을 원본 이미지 분포의 plausibility 지지체 S_t(β)= {v: p_φ^J(v) ≥ β·max_u p_φ^J(u)} 위에서 지수 가중치 exp(α·Δ̃_t(v))로 곱해 q_t^(v)로 정규화한다. 최종 손실은 학생 분포 p_{θ,t}와 stop-gradient한 q_t^ 사이의 forward KL 평균으로 계산되며, 학습 후에는 EMA teacher가 학생 파라미터의 지수이동평균으로 갱신된다.

구현상 세부는 α(대비 강도), β(지지체 임계), T_KD(온도), EMA 계수 μ, 그리고 순방향 KL의 사용 여부에 따라 성능과 안정성이 달라진다. 본문 실험은 α=1.0, β=0.1, T_KD=2, EMA ρ=0.05 설정을 기본값으로 사용했으며 배치 및 최적화 스케줄과 함께 약정된 최적화 예산 내에서 비교를 수행했다.

주요 비교는 Qwen3-VL와 Qwen3.5 각 2B9B 규모에서 베이스 모델, 답안 힌트 기반 OPSD, 그리고 VCSD를 동일한 ViRL39K 데이터로 학습해 일곱 개 벤치마크의 평균 정확도를 측정한 것이다. Qwen3-VL에서는 2B에서 Acc.이 62.27%에서 67.04%로, 4B에서 71.30%에서 73.16%로, 8B에서 72.51%에서 76.26%로 향상했고 Qwen3.5 계열에서도 모든 규모에서 +2.9%+4.3% 수준의 개선을 보였다. 표로 제시된 개별 벤치마크(예: BLINK, MMStar, MathVista, HRBench 등)에서도 대체로 OPSD보다 우수하거나 동등한 성능을 기록했다.

제거 대조(control) 유형에 대한 소실험에서는 검은색 이미지, 가우시안 노이즈, 블러, 무이미지 등 서로 다른 컨트롤이 유사한 성능을 낳아 컨트롤의 세부 구성보다 인스턴스 특이 정보의 제거 자체가 핵심임이 드러났다. 대비 강도 α의 민감도 실험에서는 α≈1 범위에서 성능이 최적이고 너무 작거나 크면 성능이 저하되었으며, plausibility 지지체 β를 도입하지 않으면 장기적 자기증류 과정에서 성능이 점진적으로 악화되는 현상이 확인되었다.

증류 발산 비교에서는 forward KL이 JSD와 reverse KL보다 평균 정확도 면에서 우수해 전체 분포의 커버리지를 유지하는 mode-covering 성향이 본 방법의 타깃을 효과적으로 전이하는 데 유리함이 관찰되었다. 학습 동적 추적에서는 VCSD가 OPSD보다 후반부 열화에 덜 민감했고 여러 체크포인트에서 더 좁은 성능 변동을 보였다.

전체 아키텍처는 학생 π_θ와 EMA 교사 π_φ의 동일한 모델 구조를 기반으로 하며, multimodal 입력 경로와 전처리 파이프라인은 두 평가에서 공유된다. 학습 데이터는 (P,J) 쌍이며 학생은 자신의 정책으로 응답을 생성해 각 생성 단계의 prefix에서 교사 분포들을 평가한다. 교사는 학습 중에 stop-gradient 대상이며 최종적으로는 EMA 갱신만 수행되어 추론 시 별도 교사 모듈이 필요 없다.

수식적 핵심은 토큰별 로그확률 대비 Δ_t(v)와 대비 기반 재정렬 q_t^*(v)에 있다. 원문 수식 Δ_t(v)=log p_φ(v|P,J,y_{<t})−log p_φ(v|P,J_ctrl,y_{<t})이다. 변수 의미는 다음과 같다: v는 어휘 토큰, p_φ(·|·)는 EMA 교사의 다음 토큰 확률, J는 원본 이미지, J_ctrl는 내용 제거 컨트롤, y_{<t}은 학생이 생성한 prefix이다. 계산 흐름은 두 조건의 확률을 계산해 로그를 취하고 차이를 구하는 것으로, 예컨대 p_φ^J(v)=0.20 및 p_φ^{ctrl}(v)=0.05이면 Δ=log(0.20)−log(0.05)=log(4)≈1.386이 된다. 이 값은 해당 토큰이 원본 이미지에 의해 상대적으로 얼마나 더 지지되는지 해석된다.

q_t^(v)의 수학적 구성은 q_t^(v) ∝ 1[v∈S_t(β)]·p_φ^J(v)·exp(α·Δ̃_t(v))이다. 여기서 S_t(β)={v: p_φ^J(v)≥β·max_u p_φ^J(u)}는 plausibility 지지체이고 Δ̃_t는 종료 토큰에 대해 대비를 0으로 처리한 버전이다. 계산 흐름은 원본 분포로 후보를 제한한 뒤 각 후보에 대해 p_φ^J(v)와 exp(α·Δ̃) 곱을 계산해 전체 후보로 정규화하는 것이다. 예시로 p_φ^J(v)=0.2, Δ̃=1.386, α=1이면 unnorm score=0.2·exp(1.386)=0.2·4=0.8이 되고 다른 후보와 정규화해 q* 확률을 얻는다. 해석상 q*는 원본 분포를 plausibility 앵커로 삼아 이미지 의존 증거에 따라 후보 간 상대 확률을 재분배한 보수적 개선 분포다.

증류 손실은 순방향 KL로 표현되며 L_VCSD = T_KD^2 · E_{(P,J),y∼π_θ}[ (1/|y|) Σ_t D_KL( sg[q_t^*] ∥ p_{θ,t} ) ]. 변수 의미는 q_t^*가 stop-gradient 대상이고 p_{θ,t}는 학생의 다음 토큰 분포이며 T_KD는 지식 증류 온도다. 계산 흐름은 각 생성 위치마다 q_t^*를 고정 타깃으로 두고 학생 분포가 이를 커버하도록 KL을 최소화하는 방식으로, 순방향 KL 선택은 전체 타깃 분포의 커버리지를 보존해 mode-covering 성향을 유지한다.

이론적 관점에서 q_t^*는 제한된 확률 단순체 상에서 α·E_q[r_t^{vis}]−D_KL(q∥p̄_φ^J)를 최대로 하는 닫힌형 해로 도출된다. 여기서 r_t^{vis}(v)=Δ̃_t(v)는 이미지 의존 보상으로 해석되며 p̄_φ^J는 원본 분포의 지지체 정규화 버전이다. 이 최적화 관점은 q_t^*가 plausibility 앵커에 KL 정규화를 적용한 보상 기반 정책 개선의 한 스텝 닫힌형 해임을 의미한다.

논문은 plausibility 지지체를 도입하지 않으면 반복적 자기증류 과정에서 타깃 분포의 왜곡이 누적되어 성능이 악화되는 현상을 관찰했다. 대비 강도 α가 너무 크면 원본 분포를 압도해 성능이 저하되고, α가 너무 작으면 대비 효과가 사라져 개선폭이 줄어드는 민감성이 존재한다. 언어 드리프트는 앵커 계수λ를 제거할 때 증가하며, 따라서 본 방법은 앵커와 지지체 설정에 의존해 언어 일관성·안정성을 확보할 필요가 있다.