검증 후 증류하는 프롬프트별 교사 게이팅

왜 중요한가

Vanilla OPD는 교사의 신뢰도를 확인하지 않고 모든 프롬프트에 토큰별 distillation 신호를 적용하므로, 교사가 확신에 찬 오답을 내는 프롬프트에서 오류를 학생에게 전파할 수 있습니다. TGOPD는 verifier로 교사 답변을 먼저 확인해 신뢰도가 기준을 넘을 때만 OPD를 적용하고, 그렇지 않으면 GRPO로 전환합니다. 4B 단일 도메인 실험에서 교사 GPU 사용률은 9.8%에서 78.9%로 증가했습니다.

핵심 기여

교사 probe 기반 프롬프트 게이트

같은 프롬프트에 대해 교사가 생성한 K_T개의 probe를 verifier로 채점하고 통과율을 계산해 교사 신뢰도를 추정합니다. 신뢰도 기준을 통과한 프롬프트에는 dense OPD를 적용하고, 실패한 프롬프트에는 교사 신호를 차단합니다.

OPD와 GRPO의 배타적 라우팅

게이트가 열린 프롬프트는 토큰별 reverse-KL 신호만 사용하고, 닫힌 프롬프트는 verifier 보상에 기반한 GRPO 신호만 사용합니다. 두 학습 신호를 같은 프롬프트에서 더하거나 보간하지 않습니다.

교사 유휴 계산 자원의 probe 활용

비동기 OPD에서 교사 노드가 학생 rollout을 기다리는 동안 probe 생성을 실행합니다. 측정된 4B 단일 도메인 설정에서 교사 노드 사용률이 9.8%에서 78.9%로 증가하고, 5% 미만 유휴 샘플 비율이 59%에서 0%로 감소했습니다.

다양한 규모와 도메인에서의 검증

4B 및 35B 학생 모델을 수학, 코드, instruction following 도메인에서 평가했습니다. TGOPD는 여섯 개 단일 도메인·모델 규모 조합 모두에서 Vanilla OPD보다 높은 결과를 기록했고, 다중 도메인 7개 벤치마크 평균을 각각 1.14점과 0.95점 높였습니다.

핵심 아이디어 이해하기

OPD는 학생이 직접 생성한 답변의 각 토큰에 교사와 학생의 log-likelihood 차이를 부여합니다. 학생이 생성한 토큰, 해당 위치의 교사 확률, 학생 확률을 비교해 교사가 더 높게 평가한 토큰의 확률을 키우는 방식이므로, 궤적 전체에 하나의 보상만 주는 RLVR보다 촘촘한 학습 신호를 얻습니다. 그러나 이 신호에는 답변의 정오를 판정하는 verifier 값이 직접 들어가지 않습니다.

Reverse KL은 학생 분포를 교사의 높은 확률 영역으로 집중시키므로 교사가 해당 프롬프트에서 안정적으로 맞히면 학습을 빠르게 진행시킵니다. 반대로 교사가 높은 confidence로 오답을 생성하면 학생은 그 오답의 토큰별 확률까지 따라갈 수 있습니다. 논문은 코드 도메인에서 교사 confidence가 정답 여부를 거의 구분하지 못했으며, 낮은 신뢰도 영역에서 가장 confidence가 높은 답변도 84%가 오답이었다고 측정했습니다.

TGOPD는 이 문제를 학생 rollout을 학습하기 전에 교사 자체를 같은 프롬프트에서 검사하는 방식으로 처리합니다. 교사가 만든 여러 probe를 verifier에 통과시키고 통과율이 기준 이상이면 OPD를 유지하지만, 기준 미달이면 교사 확률을 제거하고 학생 rollout의 verifier 보상으로 GRPO를 수행합니다. 따라서 프롬프트마다 dense한 교사 지도를 받을지, 결과 기반의 학생 비교 학습을 할지가 달라집니다.

이 구조는 교사 신호를 모든 프롬프트에서 약화시키지 않는 점이 중요합니다. 신뢰도 검사를 통과한 프롬프트에서는 OPD의 방향과 크기를 그대로 보존하고, 실패한 프롬프트에서만 위험한 신호를 차단합니다. 닫힌 게이트에서 학생 rollout 그룹의 보상이 서로 다르면 상대적으로 나은 시도에는 양의 advantage, 나쁜 시도에는 음의 advantage가 부여됩니다.

방법론

프롬프트 x마다 학생 정책이 G개의 on-policy rollout을 생성하고, 별도의 verifier가 각 답변의 정답 여부를 0 또는 1로 채점합니다. Vanilla OPD에서는 교사가 학생 rollout의 모든 토큰에 대해 log-probability 차이를 계산해 dense advantage를 만들지만, 이 계산은 교사 답변이 실제로 맞았는지를 확인하지 않습니다. TGOPD는 학생 rollout과 병렬로 같은 프롬프트에 대한 교사 probe를 추가 생성합니다.

교사 신뢰도는 $q_T(x)=\frac{1}{K_T}\sum_{k=1}^{K_T}r(x,\hat{y}^k)$ 로 계산합니다. 여기서 x는 프롬프트, $K_T$ 는 probe 개수, $\hat{y}^k$ 는 교사가 생성한 k번째 답변, r은 verifier 통과 여부인 0 또는 1입니다. 각 probe를 verifier에 입력해 통과 여부를 더한 뒤 probe 개수로 나누면 0에서 1 사이의 통과율이 출력됩니다. 예를 들어 $K_T=3$ 이고 세 probe 중 두 개가 통과하면 $q_T(x)=2/3$ 입니다. 값이 높을수록 해당 프롬프트에서 교사의 답변이 맞을 가능성이 높다는 뜻입니다.

게이트는 $g(x)=1[q_T(x)\geq\tau]$ 로 결정합니다. 논문의 주 설정은 $K_T=3$ , $\tau=2/3$ 이므로 세 probe 중 두 개 이상이 통과해야 OPD가 선택됩니다. 게이트가 열리면 학생 rollout의 각 토큰에 교사-학생 log-likelihood 차이로 계산한 OPD advantage를 적용하고, 닫히면 각 rollout의 verifier 보상에서 그룹 평균 보상을 뺀 GRPO advantage를 모든 토큰에 적용합니다. 후자의 경우 같은 rollout 안의 토큰은 동일한 scalar advantage를 공유하며, 그룹의 모든 보상이 같으면 평균과의 차이가 0이 되어 업데이트가 발생하지 않습니다.

두 신호는 계산 과정에서 모두 준비할 수 있지만 최종 업데이트에는 하나만 들어갑니다. 게이트가 1이면 OPD advantage를, 0이면 GRPO advantage를 선택한 뒤 PPO-clipped surrogate에 입력하고 학생 파라미터를 갱신합니다. probe는 학생의 autoregressive rollout과 동시에 교사 노드의 유휴 시간에 실행되며, 논문의 구현은 asynchronous train-inference mismatch를 줄이기 위해 IcePop을 공통으로 사용합니다.

임계값의 효과를 확인하기 위해 $K_T=5$ 로 늘리고 1/5부터 5/5까지 통과 기준을 바꿨습니다. 세 수학 벤치마크는 3/5에서 최고점을 기록했으며, AIME 2026 73.1, AIME 2025 64.4, HMMT-Feb 58.0을 얻었습니다. 기준이 너무 낮으면 낮은 신뢰도의 교사 신호가 남고, 너무 높으면 유용한 OPD 신호까지 차단되므로 단순한 다수결 근처에서 성능이 가장 높았습니다.

주요 결과

4B와 35B 학생을 수학, 코드, instruction following에서 비교한 결과 TGOPD는 여섯 개 단일 도메인·규모 설정 모두에서 Vanilla OPD보다 높은 평균을 기록했습니다. 개선 폭은 코드에서 4B 기준 +3.0, 35B 기준 +2.9로 가장 컸고, instruction following에서는 각각 +1.6과 +1.9, 수학에서는 +1.5와 +1.2였습니다. 전체 14개 in-domain 벤치마크 열 가운데 TGOPD는 distillation 방법 중 7개에서 1위를 차지했습니다.

35B 코드 실험에서 LiveCodeBench는 Base Model 61.0, Vanilla OPD 60.2, TGOPD 64.0이었습니다. 다른 distillation 방법은 모두 Base Model보다 낮았지만 TGOPD는 Base Model보다 +3.0, 교사보다 +1.3 높은 점수를 기록했습니다. 교사 신뢰도 검사를 통과하지 못한 프롬프트에서 dense 교사 신호를 철회하고, 학생 rollout의 보상 차이가 있을 때 GRPO fallback을 적용한 결과와 일치하는 패턴입니다.

다중 도메인 OPD에서는 7개 벤치마크 평균이 4B에서 53.40에서 54.54로 +1.14, 35B에서 60.99에서 61.94로 +0.95 상승했습니다. 4B에서는 7개 열 중 6개, 35B에서는 5개 열에서 TGOPD가 우세했습니다. 4B의 대표적인 상승폭은 AIME 2026 +3.85와 IFBench +2.94였고, 35B에서는 OJBench가 +4.31 상승했습니다.

계산 효율성 측면에서 4B 단일 도메인 설정의 교사 노드 사용률은 9.8%에서 78.9%로 증가했고, 클러스터 전체 사용률은 51.5%에서 69.5%로 상승했습니다. 네 가지 설정에서 교사 노드의 기본 사용률은 5.0%에서 9.8%였으며 5% 미만 샘플 비율은 57%에서 78%였습니다. probe를 추가한 뒤 교사 노드의 유휴 비율은 0%에서 2%로 낮아졌고, 35B 코드 실행에서는 평균 step time이 5.9% 증가했습니다.

게이트가 닫힌 프롬프트에서 GRPO fallback 대신 업데이트를 완전히 생략하는 mask-only 정책도 비교했습니다. 네 가지 설정에서 mask-only는 Vanilla OPD보다 평균 +1.08, GRPO fallback은 +1.20 개선되어 TGOPD 이득의 약 90%가 신뢰할 수 없는 신호를 차단하는 데서 발생했습니다. GRPO fallback은 네 설정 중 세 곳에서 mask-only보다 높았지만, 두 정책의 차이는 0.15에서 0.60점으로 작았습니다.

기술 상세

학생 정책은 프롬프트 x에서 G개의 rollout을 샘플링하고, OPD advantage는 각 토큰의 교사 log-probability와 학생 log-probability 차이에 β를 곱해 계산합니다. 이 값은 verifier를 사용하지 않으므로 교사와 학생의 분포 차이는 측정하지만 교사 답변의 정답 여부는 판정하지 않습니다. GRPO advantage는 각 rollout 보상에서 같은 그룹의 평균 보상을 뺀 값이며, 논문 구현에서는 표준편차 정규화를 생략했습니다.

교사 reliability의 실제 기대값은 교사 정책에서 샘플한 답변이 verifier를 통과할 확률로 정의됩니다. 유한한 probe로 계산한 통과율은 이 기대값의 unbiased estimator이며, probe 수가 $K_T$ 일 때 분산은 $R_T(x)(1-R_T(x))/K_T$ 입니다. 따라서 probe 수를 늘리면 추정 변동은 줄지만 추가 decoding 비용이 증가합니다. 논문은 주 실험에서 $K_T=3$ 을 사용했고, threshold ablation에서는 $K_T=5$ 를 사용했습니다.

운영 가능한 게이트는 연속적인 τ 자체보다 통과해야 하는 probe 수로 결정됩니다. $K_T=3$ , $\tau=2/3$ 이면 최소 두 개의 probe가 통과해야 하며, $K_T=5$ , $\tau=3/5$ 이면 최소 세 개가 통과해야 합니다. 이산적인 pass count 때문에 같은 $K_T$ 에서는 여러 연속 threshold가 동일한 라우팅 결과를 만들 수 있습니다.

최종 advantage는 게이트에 따라 OPD 또는 GRPO 중 하나를 선택한 뒤 PPO clipping 목적함수에 입력됩니다. 현재 정책과 rollout 시점의 정책 확률 비율을 $\rho$ 로 계산하고, 이를 1-ε과 1+ε 사이로 clipping해 큰 정책 변화를 제한합니다. 게이트 값이 0 또는 1이므로 두 advantage의 가중합 형태를 쓰더라도 실제 동작은 interpolation이 아니라 selector입니다.

시스템에서는 학생 rollout 생성, 교사 probe 생성, 교사 scoring, verifier 평가를 비동기 파이프라인으로 배치합니다. 교사 scoring은 이미 생성된 학생 토큰에 대한 단일 forward pass라 autoregressive probe 생성보다 짧고 학생 배치가 준비된 뒤에야 시작되므로, probe는 이 대기 구간에 겹쳐 실행됩니다. MOPD에서는 하나의 교사 노드가 code 4 GPU, math 2 GPU, IF 2 GPU의 세 domain-specialist engine으로 나뉘어 특정 시점에 한 engine만 활성화될 수 있어 사용률 상승폭이 SOPD보다 낮습니다.

현재 구조는 자동 verifier가 필요하고 게이트가 이진 선택만 수행합니다. 논문은 open-ended task에서 정답 verifier를 구성하는 문제와 불확실성을 연속적으로 반영하는 게이트를 후속 과제로 남겼으며, $K_T=3$ 의 유한 probe가 모든 프롬프트에서 충분한 판정을 보장한다고 주장하지 않습니다.

한계점

자동 verifier가 있어야 교사 probe의 정답 여부를 판정할 수 있으며, open-ended task에 적용할 때는 이러한 verifier를 별도로 구성해야 합니다. 또한 TGOPD는 교사 신뢰도를 이진 게이트로 처리하고, 닫힌 게이트의 정책을 domain별로 조정할 필요성은 후속 과제로 남아 있습니다.

실무 활용

자동 verifier로 답변의 정오를 판정할 수 있는 수학·코드·instruction following 학습 파이프라인에서 프롬프트별 교사 신뢰도에 따라 distillation 신호를 선택할 수 있습니다. 특히 교사가 일부 프롬프트에서 높은 confidence로 오답을 내거나, 비동기 배치에서 교사 GPU가 학생 rollout을 기다리는 구조에 적합합니다.

코드 unit test나 규칙 기반 수학 judge로 교사 probe를 채점한 뒤 OPD와 GRPO를 프롬프트별로 라우팅하는 post-training 파이프라인
비동기 OPD에서 교사 노드의 유휴 시간에 추가 probe를 생성해 신뢰도 추정과 GPU 활용을 함께 수행하는 학습 시스템
여러 domain-specialist teacher를 사용하는 multi-domain OPD에서 각 프롬프트와 담당 교사 조합별로 dense supervision을 허용할지 결정하는 구조
교사가 틀린 프롬프트에서 교사 신호를 차단하고 학생 rollout 간 verifier 보상 차이를 이용해 fallback 업데이트를 수행하는 설정

코드 공개 여부: 비공개

키워드

TGOPD(Teacher-Gated On-Policy Distillation)OPD(On-Policy Distillation)GRPO(Group Relative Policy Optimization)Reverse KL교사 신뢰도VerifierPrompt-level GatingAsynchronous Training

용어 해설

On-Policy Distillation: — 학생 모델이 직접 생성한 rollout을 학습 자료로 사용하면서 교사 모델의 토큰별 확률 정보를 학습 신호로 전달하는 방법입니다. 전체 궤적에 하나의 보상만 부여하는 강화학습보다 촘촘한 피드백을 제공하지만, 교사가 틀린 답을 높은 확률로 생성하면 그 오류도 학생에게 강하게 전달될 수 있습니다.
Reverse KL: — 학생 분포를 교사 분포에 맞추는 방향의 KL 발산입니다. 교사의 높은 확률 행동에 학생의 확률을 집중시키는 mode-seeking 특성이 있어 신뢰할 수 있는 교사에서는 빠른 학습을 돕지만, 교사가 확신에 찬 오답을 내면 해당 오류를 증폭할 수 있습니다.
교사 신뢰도(Teacher Reliability): — 특정 프롬프트에서 교사가 생성한 답이 verifier의 정답 판정을 통과할 확률입니다. TGOPD는 교사의 자체 confidence나 entropy 대신 같은 프롬프트에서 여러 probe를 생성하고 verifier 통과율을 계산해 신뢰도를 추정합니다.
Verifier 채점 Probe(Verifier-Scored Probe): — 교사가 특정 프롬프트에 대해 생성한 추가 답변을 자동 verifier로 채점하는 샘플입니다. 통과한 probe 수를 전체 probe 수로 나누면 해당 프롬프트에서 교사 답변이 맞을 가능성을 추정할 수 있으며, 이 값이 기준을 넘을 때만 dense distillation을 허용합니다.
비동기 OPD(Asynchronous OPD): — 학생의 rollout 생성과 교사의 확률 계산을 서로 다른 노드에서 겹쳐 수행하는 OPD 배치 방식입니다. 교사의 forward scoring은 학생이 토큰을 모두 생성한 뒤에야 시작되고 계산 시간이 짧아 대기 시간이 길어집니다. TGOPD는 이 유휴 구간에 reliability probe를 실행합니다.

검증 후 증류하는 프롬프트별 교사 게이팅

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

약한 Teacher의 정책 변화를 강한 Student의 학습 가속 신호로 바꾸는 OPRD

서로 다른 토크나이저로 장문 증명을 증류하는 SimpleOPD

OPD는 정말 교사 지식을 증류하는가

학생 이미지만 약화한 시각 자기 증류

레이블 없이 테스트 타임에 학습하는 TTPO: 비대칭 목적 함수를 통한 LLM 성능 최적화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

약한 Teacher의 정책 변화를 강한 Student의 학습 가속 신호로 바꾸는 OPRD

서로 다른 토크나이저로 장문 증명을 증류하는 SimpleOPD

OPD는 정말 교사 지식을 증류하는가

학생 이미지만 약화한 시각 자기 증류

레이블 없이 테스트 타임에 학습하는 TTPO: 비대칭 목적 함수를 통한 LLM 성능 최적화