Crosslingual On-Policy Self-Distillation for Multilingual Reasoning

다국어 대형언어모델의 수학 추론은 일반적으로 고자원 언어에서만 우수하다. COPSD는 같은 모델을 학생과 교사로 사용하되, 교사에게 영어 등 고자원 언어의 privileged 정보를 제공해 저자원 언어에서의 추론 성능을Dense하게 향상시킨다. 이로써 저자원 언어에서도 더 나은 문제해결 흐름을 얻도록 한다.

출발점: 대형 언어모델은 수학적 추론에서 뛰어나도 다국어 환경에서의 표현에는 한계가 있다. 특히 저자원 언어에서의 추론 traces가 충분히 표현되지 않는 문제가 있다. 중간 추론 트레이스의 품질은 최종 정답 여부보다 더 중요하며, dense한 피드백이 필요하다. 해결 원리: COPSD는 한 모델을 두 역할으로 사용한다. 학생은 x(L)로 제한된 문제를 해결하고, 교사는 x(L), x(H), y∗의 privileged 정보를 사용해 다음 토큰 분포를 평가한다. 두 정책 간의 per-token 분포 차이를 최소화하는 학습(signal)을 통해 영어에서 학습한 추론 전략이 저자원 언어로 전이되도록 한다. 달라지는 점: target language에 맞춘 프롬프트-제어와 온-정책 자기증류의 결합으로, target 언어의 표현 제약 속에서도 영어 기반의 추론 패턴을 활용하게 된다. 이는 저자원 언어에서의 추론 정확도와 형식 준수(formatted answer) 모두를 향상시키고, 더 큰 추론 버전에서도 효과를 유지한다.

전체 접근 방식: D = {(x(L), x(H), y∗)} 형태의 다국어 수학 추론 데이터에서 COPSD를 적용한다. 학생(pS) 정책은 x(L)만 관찰하고, 교사(pT) 정책은 x(L), x(H), y∗를 조건으로 한다. 두 정책은 같은 LLM에서 파라미터 θ를 공유하지만, 교사 분포는 privileged 정보를 이용해 더 강한 추론 분포를 유도한다. 학습 목표: DCOPSD(ˆy(L)|x(L)) = 1/|y(L)| ∑n D(pTn ∥ pSn) 형태의 토큰-수준 분포 차이를 최소화한다. COPSD의 전체 손실은 E( x(L),x(H),y∗ ) [ E( ŷ(L) ∼ pS(·|x(L)) [ DCOPSD(ŷ(L)|x(L)) ] ) ]. 훈련 구현: 프롬프트-컨트롤로 Swahili를 예로 들어 학생/교사 프롬프트를 구성하고, English 번역과 reference solution을 교사에 제공한다. 수식은 KL-발산을 사용하며, 교사는 고정된 분포(target)로 동작한다. 2048 토큰 최대 완성 길이, LoRA 기반 파라메터 효율화, Gemini-3-Flash를 사용한 문제 번역, OpenThoughts에서 영어 문제를 0.5K 샘플만 발췌하여 17개 저자원 언어로 번역한다.

주요 벤치마크: AfriMGSM에서 COPSD는 모든 모델 규모에서 기본 모델과 GRPO 대비 평균적으로 우수한 성능을 달성했다. 예를 들어 Qwen3-1.7B에서 Base 9.11에서 COPSD 15.53으로 증가했고, Qwen3-4B는 Base 19.20에서 COPSD 20.61로, Qwen3-8B는 Base 19.41에서 COPSD 23.55로 상승했다. 1.7B에서 GRPO의 개선은 미미하며, 4B와 8B에서도 GRPO의 증가 폭은 작다. 테스트-타임 확장(1,024→4,096 토큰)에서 COPSD의 이득은 모델 크기가 커질수록 뚜렷해지며, Qwen3-8B의 경우 1,024 -> 4,096에서 Pass@12가 18.12에서 23.55로 상승한다. PolyMath 벤치마크에서도 Swahili(스와힐리)와 Telugu의 중간 난이도에서 각각 +32.0, +32.8의 큰 이득이 관찰되며, 고자원 언어의 이득은 작다. 이 결과는 COPSD가 저자원 언어에서 latent reasoning 능력을 효과적으로 전이시키는 것을 시사한다.

COPSD의 아키텍처는 동일 모델에서 student와 teacher를 구현한다. student는 x(L)만 입력으로 사용하고, teacher는 x(L), x(H), y∗를 입력으로 사용한다. 두 정책의 다음 토큰 분포는 pSn = pθ(·|x(L), yˆ(L))이고 pTn = pθ(·|x(L), x(H), y∗, yˆ(L))이다. 학습 과정에서 gradient는 오직 student의 파라미터에만 전파된다. loss는 DCOPSD(ŷ(L)|x(L)) = 1/|ŷ(L)| ∑n D(pTn ∥ pSn)으로 정의되고, 전체 기대값 하에서 LO PSD(θ) = E[ D(pT ∥ pS) ]가 최소화된다. 번역/번들링에 사용하는 데이터는 OpenThoughts의 영어 문제와 해설을 privileged 정보로 사용하며, 0.5K 샘플을 17개 저자원 언어로 번역한다. LoRA로 파라미터를 조정하며 최대 완성 길이를 2048 토큰으로 고정한다. 언어 제어를 위해 토큰 뒤에 목표 언어 프롬프트를 삽입하는 프롬프트-해킹을 적용한다.

논문은 COPSD의 한계로 영어-고자원 언어를 privileged 정보로 가정하므로 영어 supervision이 불가능한 경우 적용이 제한될 수 있음을 지적한다. 번역 artefacts가 학습 품질에 영향을 줄 수 있으며, 같은 모델이 교사 분포에 과적합될 수 있어 특정 언어에서 성능이 포화되거나 감소할 수 있다.