서로 다른 토크나이저로 장문 증명을 증류하는 SimpleOPD

왜 중요한가

긴 문맥을 처리하는 교사 모델의 증명 추론 능력을 더 짧은 문맥과 다른 토크나이저를 가진 학생 모델로 옮기려면 토큰 대응과 응답 길이 제어를 동시에 해결해야 합니다. SimpleOPD는 공유 텍스트 구간만 이용한 정렬, 학생 초기 정책을 붙잡는 KL 정규화, 종료 토큰 마스킹을 결합해 이 문제를 다뤘고, Intern-S2-OPD의 ProofBench 점수를 평가 설정에 따라 34.0에서 55.2로 21.2포인트 높였습니다.

핵심 기여

공유 텍스트 기반 토큰 정렬

학생이 생성한 응답 문자열을 교사 토크나이저로 다시 인코딩하고, 두 토크나이저가 같은 응답 접두사를 소비하면서 동일한 텍스트 구간을 차지하는 토큰만 대응시킵니다. 부분적으로 겹치는 토큰은 한쪽 확률을 여러 토큰에 배분할 수 없어 제외하며, 두 포인터 선형 스캔으로 정렬을 계산합니다.

학생 초기 정책을 보존하는 정규화

학생 정책과 학습 전 초기 학생 정책 사이에 reference KL 손실을 추가해 교사의 긴 응답 분포를 무제한으로 따라가는 정책 이동을 제한합니다. Intern-S2-Preview에서 이 항의 계수를 0.5로 설정했을 때 잘림 비율이 거의 0에 가까워졌고, ProofBench@4는 21.70에서 38.50으로 상승했습니다.

종료 토큰 어드밴티지 마스킹

`</think>`와 `<|im_end|>`에 대한 OPD 손실을 마스킹해 교사가 학생의 종료 행동을 직접 억제하지 못하게 합니다. 이 방법만으로는 후반부 길이 확장을 완전히 제거하지 못했지만, reference KL 손실과 결합했을 때 응답 길이 폭증과 잘림을 줄이는 안정화 장치로 작동했습니다.

이종 모델 간 증명 추론 전달

Qwen3 계열의 동일 토크나이저 모델뿐 아니라 Qwen3.5, Intern-S2-Preview, GLM-4.7-Flash, Gemma-4-26B-A4B처럼 토크나이저와 모델 계열이 다른 학생에도 SimpleOPD를 적용했습니다. Intern-S2-OPD는 ProofBench@4에서 21.70에서 44.50으로 상승했고, GLM-4.7-OPD는 30.8에서 39.7로 높아졌습니다.

핵심 아이디어 이해하기

학생 모델과 교사 모델이 같은 문장을 생성하더라도 토크나이저가 다르면 하나의 단어가 여러 토큰으로 쪼개지거나 여러 글자가 하나의 토큰에 묶입니다. 따라서 학생 토큰 하나에 교사 토큰 확률을 무리하게 대응시키면 실제로 같은 텍스트를 평가하지 않는 확률 비교가 생깁니다. SimpleOPD는 학생 응답을 먼저 문자열로 복원한 뒤 교사가 같은 문자열을 자신의 토크나이저로 읽게 하여, 두 모델이 동일한 시작 위치와 끝 위치를 공유하는 경우에만 감독 신호를 전달합니다.

기존 OPD의 또 다른 문제는 긴 문맥 교사의 생성 습관이 짧은 문맥 학생에게 그대로 전달된다는 점입니다. 학생이 자신의 정책으로 응답을 생성하고 교사가 그 응답의 토큰 확률을 평가하면, 학생은 더 긴 추론을 계속하는 방향으로 업데이트될 수 있으며 종료 토큰을 내지 못해 응답이 잘립니다. 실제로 Intern-S2-Preview와 Qwen3.5-35B-A3B에서 학습이 진행될수록 평균 응답 길이와 잘림·반복 비율이 함께 증가했습니다.

학생 기준 KL 손실은 학생의 현재 분포와 초기 분포의 차이를 벌점으로 넣어 교사의 신호를 받아들이는 범위를 제한합니다. 종료 토큰은 교사와 정확히 같은 분포를 맞출 필요가 없는 구조 토큰이므로 어드밴티지를 마스킹하고, 나머지 정렬 토큰에는 교사 로그 확률을 사용합니다. 그 결과 학생은 긴 증명에 필요한 추론 패턴은 학습하면서도 자신의 종료 동작과 문맥 한도를 완전히 잃지 않습니다.

방법론

입력 대화는 학생과 교사의 각 채팅 템플릿으로 따로 변환하며, 학생 정책 $pi_{\theta_{roll}}$ 가 학생 토크나이저로 응답 토큰 $y_{1:n}$ 을 샘플링합니다. 학생 토큰을 디코딩한 응답 문자열 $s$ 를 교사 템플릿 뒤에 붙인 뒤 교사 토크나이저가 같은 문자열을 $z_{1:m}$ 으로 다시 분절합니다. 이 절차는 두 모델의 대화 형식은 달라도 교사가 학생이 실제로 생성한 동일한 텍스트를 평가하게 만듭니다.

각 학생 토큰과 교사 토큰에 대해 해당 토큰이 응답 문자열에 추가하는 텍스트 구간을 기록합니다. 누적 접두사와 현재 구간이 모두 같을 때만 $(i,t)$ 쌍을 정렬 집합에 넣으며, 부분적으로만 겹치는 구간은 확률을 유일하게 배정할 수 없어 제외합니다. 정렬되지 않은 학생 위치는 학생의 이전 정책 로그 확률을 유지하고, 정렬된 위치는 교사의 로그 확률을 학생 길이에 맞춘 목표값으로 사용합니다.

학생 토큰 $y_t$ 의 이전 정책 확률과 목표 로그 확률의 차이는 $hat{A}_t=\widetilde{\ell}^{\phi}_t-\log\pi_{\theta_{old}}(y_t\mid c_\theta,y_{<t})$ 로 계산합니다. 여기서 $hat{A}_t$ 는 교사 신호가 이전 학생 정책보다 해당 토큰을 얼마나 선호하는지 나타내며, $r_t=\pi_\theta/\pi_{\theta_{old}}$ 는 업데이트 전후 학생 확률의 비율입니다. PPO clipping은 $r_t$ 를 $1-\epsilon$ 과 $1+\epsilon$ 사이에서 제한해 한 번의 업데이트가 학생 정책을 급격히 바꾸지 않도록 합니다.

종료 토큰 </think>와 <|im_end|>에는 OPD 어드밴티지를 적용하지 않고, 학생 정책과 초기 학생 정책 사이의 KL 손실을 추가합니다. 실험은 100회 rollout, rollout batch size 64, 프롬프트당 4개 응답, 학습률 1e-6, PPO clipping 계수 0.2, rollout별 4회 정책 업데이트로 진행했습니다. Qwen 계열의 최대 rollout 길이는 32K 토큰, GLM-4.7과 Gemma-4는 6K 토큰으로 설정했습니다.

주요 결과

직접 OPD에서는 Intern-S2-Preview와 Qwen3.5-35B-A3B의 평균 응답 길이가 빠르게 늘고 잘림과 반복이 증가했습니다. 종료 토큰 마스킹만 적용하면 길이 관련 불안정성이 완화되지만 후반부 잘림 비율의 급증은 남았습니다. 학생 기준 KL 손실을 추가한 Intern-S2-Preview에서는 잘림 비율이 거의 0까지 낮아졌고, ProofBench@4가 21.70에서 38.50으로, AnswerBench@8이 76.03에서 79.10으로, AIME25@8이 88.33에서 95.80으로 상승했습니다.

동일 토크나이저 설정에서 Qwen3-4B-OPD의 ProofBench@4는 11.42에서 23.72로 12.30포인트 상승했고, Qwen3-30B-A3B-OPD는 13.80에서 36.47로 22.67포인트 상승했습니다. 교차 토크나이저 설정에서도 Qwen3.5-4B-OPD는 ProofBench@4에서 15.90에서 28.61로, Qwen3.5-35B-A3B-OPD는 26.78에서 42.39로 상승했습니다. Intern-S2-OPD는 21.70에서 44.50으로 올라 교사 SU-01의 45.00에 근접했고, AnswerBench@8과 AIME25@8에서는 각각 80.10과 95.00을 기록해 SU-01보다 높았습니다.

Gemini-2.5-Pro를 judge로 사용한 별도 ProofBench 평가에서는 Intern-S2-OPD가 34.0에서 55.2로 21.2포인트 상승했습니다. 이 점수는 Gemini-2.5-Pro와 GPT-5를 넘어섰지만 SU-01과 DeepSeek-V3.2-Speciale에는 미치지 못했습니다. GLM-4.7-OPD도 ProofBench에서 30.8에서 39.7로, AnswerBench에서 69.6에서 72.0으로 개선됐으며, Gemma-4-26B-A4B-OPD는 ProofBench에서 25.5에서 34.2로 상승했지만 AnswerBench는 68.8에서 67.5로 하락했습니다.

수학 증명 데이터만으로 학습했음에도 과학 추론 성능이 유지되거나 개선됐습니다. Intern-S2-OPD는 FrontierScience Research에서 1.7에서 5.0으로, HiPhO에서 38.6에서 41.1로 상승했으며, HLE는 19.6에서 20.5로 높아졌습니다. 증명 데이터에 검증 가능한 수학 데이터를 추가하면 AnswerBench는 80.10에서 81.10으로 소폭 증가했지만 ProofBench는 44.50에서 38.50으로 낮아져 자연어 증명 전달에는 증명 중심 데이터가 더 유리했습니다.

증류 길이를 6K에서 32K로 늘리면 안정적인 조건에서 장문 증명 성능이 개선됐습니다. Intern-S2-OPD의 ProofBench@4는 38.80에서 44.50으로, AnswerBench@8은 77.25에서 80.10으로 상승했고, Qwen3.5-35B-A3B-OPD의 ProofBench@4는 40.07에서 42.39로 높아졌습니다. 이는 여러 단계의 자연어 증명 과정을 전달할 때 긴 학생 생성 궤적이 더 많은 교사 신호를 보존한다는 점을 뒷받침합니다.

기술 상세

SimpleOPD의 입력은 대화 목록 $mathbf{x}$ 이며, 학생과 교사는 각각 $mathcal{C}_\theta$ 와 $mathcal{C}_\phi$ 라는 채팅 템플릿을 사용합니다. 학생은 $y_{1:n}\sim\pi_{\theta_{roll}}(\cdot\mid c_\theta)$ 로 응답을 샘플링하고, 디코딩 결과 문자열 $s=\mathcal{D}_\theta(y_{1:n})$ 를 얻습니다. 교사는 자신의 문맥 $c_\phi$ 에 동일한 $s$ 를 연결한 $u_\phi=c_\phi\oplus s$ 를 입력받아 교사 토큰 $z_{1:m}$ 과 각 토큰의 로그 확률을 계산합니다.

토큰 정렬은 각 토큰이 응답 문자열에 추가하는 증분 구간 $tau_\theta(y_t)$ 와 $tau_\phi(z_i)$ 를 비교하는 방식입니다. 정렬 조건은 $mathcal{M}=\{(i,t):P_\phi(i)=P_\theta(t)\land\tau_\phi(z_i)=\tau_\theta(y_t)\}$ 이며, $P$ 는 현재 토큰 직전까지 소비한 응답 접두사입니다. 두 포인터가 응답 문자열을 왼쪽에서 오른쪽으로 이동하면서 접두사와 현재 구간이 일치하면 교사 로그 확률을 연결하고, 불일치하면 더 적은 텍스트를 소비한 쪽을 전진시킵니다.

학생 위치 $t$ 의 정렬 여부는 $a_t=\mathbf{1}[\exists i:(i,t)\in\mathcal{M}]$ 로 표시합니다. $a_t=1$ 이면 목표 로그 확률은 교사 값 $log\pi_\phi(z_i\mid c_\phi,z_{<i})$ 이고, $a_t=0$ 이면 학생의 현재 로그 확률을 사용해 교사 확률을 억지로 배정하지 않습니다. 정렬 비율은 $rho=|\mathcal{M}|/n$ 으로 계산하며, 학생 응답 토큰 중 교사 감독을 받은 비율을 나타냅니다.

동일 토크나이저라면 모든 학생 토큰이 대응되어 이 목적함수는 학생 분포와 교사 분포 사이의 reverse KL인 $D_{KL}(\pi_\theta\parallel\pi_\phi)$ 로 축약됩니다. 토크나이저가 다르면 부분 정렬만 유지한 근사 목적을 사용하고, 여러 번 정책을 갱신하기 위해 정렬되지 않은 위치의 목표값을 $log\pi_{\theta_{old}}$ 로 고정합니다. PPO 손실은 $-\mathbb{E}[\sum_t\min(r_t\u0005hat{A}_t,\operatorname{clip}(r_t,1-\epsilon,1+\epsilon)\u0005hat{A}_t)]$ 로 계산하며, $r_t$ 가 허용 범위를 넘을 때 업데이트 효과를 잘라 정책 급변을 억제합니다.

학생 기준 KL 계수는 모델 간 차이가 클수록 강하게 설정할 필요가 있습니다. GLM-4.7-Flash에서는 계수 0.5, 1.0, 1.2 중 1.0이 ProofBench@4를 30.75에서 39.71로, AnswerBench@8을 69.59에서 71.97로 높여 가장 균형적인 결과를 냈습니다. 반면 0.5는 정규화가 부족했고 1.2는 교사 능력을 흡수하는 학생 정책의 이동을 지나치게 제한했습니다.

한계점

논문은 Gemma-4처럼 교사와 토크나이저의 분절 방식이 크게 다른 경우 성능 전달이 더 어려워진다고 명시합니다. Gemma-4-26B-A4B-OPD는 ProofBench에서는 25.5에서 34.2로 개선됐지만 AnswerBench에서는 68.8에서 67.5로 하락했습니다. 또한 종료 토큰 마스킹만으로는 길이 확장 문제를 완전히 해결하지 못하며, 안정적인 장문 증류에는 학생 기준 KL 손실과 적절한 증류 길이가 필요합니다.

실무 활용

SimpleOPD는 장문 추론 교사의 응답을 별도 teacher trajectory 데이터로 정제하지 않고, 학생이 직접 생성한 응답에 교사 확률을 부여하는 방식으로 증류합니다. 서로 다른 토크나이저를 사용할 때는 문자열 구간이 완전히 일치하는 위치만 학습하므로 모델 계열이 다른 학생에도 적용할 수 있습니다. 다만 장문 추론 학습에서는 종료 토큰 마스킹과 학생 기준 KL 계수 조정이 함께 필요합니다.

장문 수학 증명 능력을 짧은 문맥의 학생 모델로 전달하는 증류 파이프라인
서로 다른 토크나이저와 모델 계열 사이에서 학생 생성 응답을 공유 텍스트로 정렬하는 학습
응답 길이 폭증과 종료 토큰 누락을 줄이는 OPD 안정화 실험
증명 데이터 중심의 교사-학생 추론 능력 전달 및 ProofBench·AnswerBench 평가

코드 공개 여부: 공개

코드 저장소 보기

키워드

On-Policy Distillation(온폴리시 증류)Tokenizer Mismatch(토크나이저 불일치)Student Reference KL Loss(학생 기준 KL 손실)Termination Token Masking(종료 토큰 마스킹)Long-Context Reasoning(장문 추론)Proof Reasoning(증명 추론)Distribution Mismatch(분포 불일치)

용어 해설

온폴리시 증류(On-Policy Distillation): — 학생 모델이 직접 생성한 응답 궤적을 기준으로 교사 모델이 각 토큰의 확률을 평가하고, 그 차이를 이용해 학생 정책을 갱신하는 지식 전달 방식입니다. 고정된 교사 생성 데이터만 학습하는 방식과 달리 학생의 현재 행동 분포에 맞춘 촘촘한 토큰 단위 감독을 제공합니다.
토크나이저 불일치(Tokenizer Mismatch): — 교사와 학생이 같은 문장을 서로 다른 토큰 경계와 어휘로 나누면서 토큰별 확률을 직접 대응하기 어려워지는 문제입니다. SimpleOPD는 두 모델이 공유하는 응답 문자열에서 시작·끝 텍스트 구간이 완전히 같은 토큰만 연결해 부정확한 확률 대응을 피합니다.
학생 기준 KL 손실(Student Reference KL Loss): — 학습 중인 학생 정책이 학습 시작 시점의 초기 학생 정책에서 지나치게 멀어지지 않도록 제한하는 정규화 항입니다. 교사의 긴 추론 분포를 따라가면서도 학생의 원래 종료 능력과 일반 능력을 보존해 응답 길이 폭증과 잘림을 줄이는 역할을 합니다.
종료 토큰 어드밴티지 마스킹(Termination-Token Advantage Masking): — `</think>`와 `<|im_end|>`처럼 사고 과정이나 최종 응답을 끝내는 구조 토큰의 OPD 어드밴티지를 학습에서 제외하는 기법입니다. 긴 응답을 선호하는 교사의 신호가 학생의 종료 확률을 계속 낮추는 현상을 막아, 학생이 자신의 문맥 예산 안에서 생성 과정을 끝낼 수 있도록 합니다.
ProofBench: — 자연어 수학 증명 능력을 평가하는 벤치마크입니다. 논문에서는 SU-01에서 학생 모델로 증명 추론 능력이 전달됐는지 확인하는 핵심 지표로 사용했으며, Intern-S2-OPD는 평가 설정에 따라 34.0에서 55.2로 21.2포인트 상승했습니다.

서로 다른 토크나이저로 장문 증명을 증류하는 SimpleOPD

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

OPD는 정말 교사 지식을 증류하는가

학생 이미지만 약화한 시각 자기 증류

다수결로 정답을 만드는 비지도 Self-Distillation

AgentOPSD: 로그오즈 기반 재귀적 자기증류로 턴 신용 복원

온-폴리시 자기 증류(On-Policy Self-Distillation) 연구 및 최신 동향 분석.

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

OPD는 정말 교사 지식을 증류하는가

학생 이미지만 약화한 시각 자기 증류

다수결로 정답을 만드는 비지도 Self-Distillation

AgentOPSD: 로그오즈 기반 재귀적 자기증류로 턴 신용 복원

온-폴리시 자기 증류(On-Policy Self-Distillation) 연구 및 최신 동향 분석.