DOPD: 특권 입력을 고려한 이중 온-정책 증류

온-정책 증류는 학생이 생성한 토큰 궤적에 대해 교사가 토큰 단위로 촘촘한 감독 신호를 제공해 분포 불일치 문제를 완화하며 효율적인 능력 전이를 가능하게 한다. 그러나 특권 입력을 도입하면 교사와 학생 간 정보 비대칭 때문에 학생이 실제 전이 가능한 능력 대신 특권에 의존한 출력을 모방하는 특권 환상이 발생할 위험이 높아진다. DOPD는 토큰별로 교사와 학생의 특권 우위 격차와 예측 확률을 계산해 감독 원천과 강도를 동적으로 분배함으로써 전이 가능한 신호만 선택적으로 전달하고 훈련 안정성을 유지했다.

온-정책 증류는 학생 정책으로부터 직접 샘플된 토큰 궤적에 대해 교사가 토큰 단위 확률 분포를 제공함으로써 분포 불일치 문제를 완화하고 촘촘한 감독을 통해 전이 효율을 높인다. 그러나 특권 입력을 교사나 학생에 추가하면 교사의 향상된 예측이 실제로는 특권 정보의 단순 활용에서 비롯될 수 있으므로 학생이 학습해야 할 내재적 능력과 정보 비대칭으로 인한 단기적 이득이 혼재한다. 이 혼재 현상이 특권 환상(privilege illusion)이다.

특권 환상을 피하려면 어떤 토큰이 진짜 전이 가능한 능력 신호를 포함하는지를 식별해야 한다. 논문은 특권 입력을 준 상태에서 교사와 학생의 로그확률 차이의 절대값을 privilege advantage gap으로 계산하고, 이 값이 크면 교사가 학생보다 진짜로 우수한 예측 경향을 가진 것으로 해석한다. 반대로 격차가 작으면 교사와 학생이 특권에 대해 유사하게 반응하거나 둘 다 불확실한 영역으로 판단할 수 있다.

이 정보를 이용해 토큰별로 감독원천과 손실 형태를 달리하면 불필요한 모방을 줄이면서 핵심 능력은 집중적으로 전이할 수 있다. 구체적으로 우위 격차가 크고 교사 확률이 높은 경우에는 full-vocabulary JS로 강한 전이를 수행하고, 우위 격차가 작고 양쪽 확률이 높은 경우에는 Top-K reverse KL로 보수적 전이를 적용한다. 이처럼 토큰 수준에서 신호의 출처와 강도를 달리하면 특권 환상을 완화하고 학습 안정성을 확보할 수 있다.

전체 접근은 학생 정책으로부터 온-정책 샘플을 생성한 뒤 각 샘플 토큰에 대해 특권 입력을 포함한 추가 순전파를 두 번 수행하는 것이다. 첫 번째 순전파는 특권을 포함한 학생 정책(privileged student)이고 두 번째는 특권을 포함한 교사 정책(privileged teacher)이다. 두 분포에서 해당 토큰의 확률 q_S, q_T와 로그확률 ℓ_S, ℓ_T를 산출한 뒤 그 차이의 절대값을 privilege advantage gap A로 정의한다.

배치 내 안정성을 위해 A 및 확률값들의 평균을 구할 때 상위 5% 이상치 제거와 정규화를 적용한다. 각 토큰은 A와 q_S+q_T의 상대값에 따라 네 가지 규칙(LH, LL, HT, HS) 중 하나로 분류된다. LH는 낮은 A와 높은 확률의 케이스로 보수적 교사 전이(Top-K reverse KL)를 적용하고 LL은 낮은 A와 낮은 확률의 케이스로 privileged-student 기반의 약한 정규화를 적용한다.

HT는 큰 A와 교사 확률이 높을 때 full-vocabulary JS를 단위 가중치로 적용해 풍부한 분포 정보를 전이한다. HS는 큰 A이지만 학생 확률이 높을 때 privileged student를 목표로 하는 Top-K reverse KL를 가벼운 강도로 적용해 학생의 탐색을 억제하지 않도록 구성한다. 최종 손실은 네 가지 토큰별 손실을 마스크로 합산한 형태이며 배치 평균을 취해 파라미터를 갱신한다.

구현상 세부값은 Top-K는 K=128을 사용하고, 약한 정규화와 가벼운 전이의 강도 계수는 각각 β_w=0.3, β_l=0.6으로 설정되었다. 교사는 훈련 중 고정(frozen) 상태이며 학생만 AdamW로 최적화하고 cosine 스케줄러를 사용했다. LLM 실험은 배치 크기 128, VLM은 배치 크기 64, 각각 4개의 롤아웃 샘플을 사용하고 최대 200~300 스텝으로 훈련을 진행했다.

주요 결과에서 DOPD는 LLM 기반 설정에서 Vanilla OPD 대비 평균 7.5점의 절대 성능 향상을 달성했으며 VLM 기반 설정에서는 평균 6.0점 향상을 보였다. 다수의 벤치마크별로 보면 DOPD는 reasoning과 coding 계열에서 특히 큰 개선을 보였고 몇몇 어려운 벤치마크에서는 학생이 교사 성능에 근접하거나 초과하는 결과를 얻었다. 또한 다섯 개의 서로 다른 교사-학생 모델 페어에 걸쳐 DOPD는 일관되게 Vanilla OPD를 크게 상회해 모델 규모 차이가 커질 때도 성능 이득이 유지되었다.

안정성 측면에서 DOPD는 학습 초중반부터 더 빠르게 성능을 끌어올렸고 엔트로피 추이가 급격히 붕괴하지 않아 건전한 탐색-수렴 패턴을 보였다. 연속 학습 시나리오에서는 새로운 도메인을 순차적으로 학습할 때 이전 도메인의 성능 유지가 우수해 파라미터 덮어쓰기에 의한 망각이 적었다. 도메인 밖 일반화 실험에서도 DOPD는 다른 데이터 영역으로의 전이 성능에서 대표적 기준 방법들보다 3~4점 이상 우수한 결과를 보였다.

설계 구성요소의 기여를 보인 소거 실험에서 특권 입력은 본 방법의 핵심 기반으로 확인되었고, 교사와 학생 양쪽 신호를 적절히 조합하는 적응적 라우팅이 전체 성능 향상과 학습 안정성에 결정적 영향을 미쳤다. 또한 토큰 단위로 우위 격차가 큰 토큰을 중점적으로 정합했을 때 성능이 크게 저하됨을 통해 해당 토큰들이 전이 핵심임이 수치적으로 확인되었다.

전체 아키텍처는 세 가지 정책 구성요소로 이해할 수 있다: 배포되는 학생 정책(온-정책 샘플링용), 특권 입력을 받는 파라미터 공유의 privileged student, 그리고 고정된 privileged teacher이다. 학습 루프는 학생 정책으로 토큰 궤적을 샘플링한 뒤 각 토큰에 대해 privileged student와 privileged teacher의 확률을 추가로 계산해 토큰별 지표를 얻는다. privileged student는 배포 학생과 파라미터를 공유하되 특권 입력을 주입해 별도 순전파만 수행한다.

핵심 수학적 요소는 privilege advantage gap A로, 특정 토큰 y_n에 대해 A=|log Π_T(y_n|x,p,y_{<n}) − log Π_S(y_n|x,p,y_{<n})|로 정의된다. 이 값과 두 정책의 확률 합(q_S+q_T)의 배치 평균과 비교해 네 가지 토큰 분류 마스크(𝕀_LH, 𝕀_LL, 𝕀_HT, 𝕀_HS)를 생성한다. 마스크에 따라 손실은 Top-K reverse KL, full-vocabulary JS, 또는 privileged-student를 대상으로 한 stop-gradient 포함 reverse KL 등의 형태로 계산되며 이들을 마스크 합으로 결합해 최종 손실을 얻는다.

연산 선택은 실용적 고려를 반영했다. Top-K 정합은 K=128로 설정해 계산과 신호 밀도 사이의 균형을 맞추었고 full-vocabulary JS는 우위 격차가 큰 토큰에만 적용해 계산 오버헤드를 제한했다. β_w와 β_l은 각각 0.3과 0.6으로 조정해 약한 정규화와 가벼운 교사 전이의 기여도를 제어했다. 교사는 훈련 중 고정한 채 학생만 AdamW로 업데이트하며 GPU 자원으로는 논문 실험에서 8장 H200 141GB 환경을 사용했다.

정규화와 안정성 조치로는 배치 내 상위 5% 아웃라이어 제거, 배치-단위 정규화, privileged student에 대한 stop-gradient 적용이 포함되며 이로써 타깃 드리프트를 방지하고 라우팅의 안정성을 확보했다. 또한 실험에서 Top-K 대상과 full-vocabulary 대상의 성능·메모리 트레이드오프를 분석해 다양한 합리적 설정을 권장하고 있다.

논문에서 명시한 제약은 세 가지이다. 첫째, DOPD는 고품질의 특권 입력을 필요로 하며 해당 입력을 생성하거나 주석하는 비용이 추가로 발생한다. 둘째, privileged student의 추가 순전파로 인해 Vanilla OPD 대비 계산 비용과 메모리 부담이 증가한다. 셋째, 현재의 라우팅 규칙은 휴리스틱에 기반해 설계되어 있으며 더 원리적이거나 학습 가능한 라우팅 기법으로 개선할 여지가 남아 있다.