MOPD: LLM 포스트트레이닝에서 능력 통합을 위한 다중 교사 온-폴리시 증류

왜 중요한가

여러 도메인에 특화된 RL 교사들을 하나의 모델로 통합하는 작업은 실무에서 빈번하게 필요하지만 기존 방식들은 효율성과 안정성 간의 트레이드오프를 보였다. MOPD는 학생의 자체 롤아웃에서 도메인별 교사가 토큰 수준의 확률 신호를 제공하는 방식으로 통합을 수행해 노출 바이어스를 제거했다. 이로 인해 도메인별 개발을 병렬화할 수 있고 산업 규모 모델인 MiMo-V2-Flash에 적용해 실무적 가치가 확인되었다.

핵심 기여

MOPD라는 정책 공간 기반의 다중 교사 통합 파이프라인 제시

MOPD는 도메인별로 독립적인 RL 교사를 생성한 뒤 학생을 학생의 자체 롤아웃에서 해당 도메인 교사로 온-폴리시 증류해 능력을 통합하는 파이프라인이다. 이 접근은 능력 통합을 weight-space가 아닌 policy-space에서 수행해 병합 불안정을 회피한다. 파이프라인은 세 단계(SFT, 도메인 RL, MOPD 증류)로 구성되어 병렬 개발과 리스크 격리를 지원한다.

토큰 단위의 밀집 신호와 노출 바이어스 제거를 통한 효율적 학습

교사가 각 토큰에서 확률분포를 제공하므로 보상 기반의 궤적 레벨 신호보다 훨씬 촘촘한 그래디언트를 얻는다. 학생의 자체 롤아웃에서 학습하므로 학습 시 분포와 추론 시 분포가 일치해 노출 바이어스가 제거된다. 결과적으로 Qwen3-30B-A3B 실험에서 더 빠른 샘플 효율성과 균일한 도메인 성능을 확보했다.

정책-그래디언트 구현과 Top-K 증류 두 가지 실무적 구현 제시

정책-그래디언트 형태는 per-token log 차이를 advantage로 사용해 기존 PPO/GRPO 프레임워크에 바로 적용되도록 설계되었다. Top-K 증류는 교사의 상위 k개 토큰만 전송해 통신·인프라 비용을 줄이고, 잘라내기 편향을 보정하는 항을 추가해 최적화의 일관성을 유지한다. 두 방식은 같은-origin 교사 환경에서 성능이 유사하게 나타났다.

산업 규모 모델 적용과 반복적 학생-교사 진화 검증

Qwen3-30B-A3B에서 정규화 점수 0.937을 기록하며 Mix-RL 등 기존 방법보다 우수함을 보였다. MiMo-V2-Flash에 전체 파이프라인을 적용해 대부분의 벤치마크에서 교사 성능을 재현하거나 초과하는 결과를 확인했다. 또한 MOPD 후 재학습으로 생성한 Iter-2 교사로 추가 MOPD를 수행하면 추가 성능 향상이 가능함이 검증되었다.

핵심 아이디어 이해하기

기본 문제는 여러 도메인에 특화된 RL 파이프라인들이 각각 우수한 교사를 만들어내지만 이를 하나의 학생 모델에 통합할 때 학습 신호 간섭, 순차적 학습에서의 소실, 또는 weight-space 병합의 불안정성으로 인해 성능 보존이 어려워진다는 것이다. 기존 Mix-RL은 서로 다른 도메인 신호의 상호 간섭으로 'see-saw' 효과를 보였고 Cascade RL은 순차 학습으로 인해 초기 도메인의 성능이 손실될 위험이 있었다. Off-Policy Finetune은 교사 롤아웃을 오프라인으로 모방하면서 학생-교사 분포 불일치에서 기인한 노출 바이어스를 겪었다.

방법론

MOPD는 세 단계 파이프라인으로 구성된다. 첫 단계에서 광범위한 데이터로 SFT를 수행해 공통 초기화 체크포인트를 만든다. 두 번째 단계에서 각 도메인별로 해당 도메인에 적합한 RL 레시피로 독립적인 도메인 교사들을 생성한다. 세 번째 단계에서는 학생을 SFT 초기화로 두고, 학생의 자체 롤아웃을 생성한 뒤 각 롤아웃을 도메인에 대응하는 교사에게 라우팅해 토큰 수준의 교사 확률을 얻는다. 학생은 각 토큰에서 역 KL(reversed KL) 또는 Top-K 기반 손실을 최소화하도록 업데이트되어 교사 분포에 수렴하도록 학습한다. 역 KL 형태는 수식적으로 π_theta(v) log(π_theta(v)/π_phi(v))를 평균해 사용하며, 정책-그래디언트 구현은 이 항의 그래디언트를 advantage 형태로 변환해 기존 PPO/GRPO 루틴에 삽입한다.

주요 결과

주요 실험에서 Qwen3-30B-A3B에 대해 Math, Instruction, SWE 세 도메인을 대상으로 정규화 점수를 비교했고 MOPD는 정규화 점수 0.937을 달성해 다음으로 좋은 Mix-RL의 0.882보다 0.055 높았다. 세 도메인에서 MOPD의 개별 정규화 점수는 약 0.91에서 0.95 범위에 있어 도메인 간 균형성이 가장 좋았다. 표준 베이스라인들( Mix-RL, Cascade RL, Off-Policy Finetune, Param-Merge)과 비교해 MOPD는 샘플 효율성에서도 우수하여 IF 및 SWE 도메인에서 수만 건의 샘플만으로 교사 수준에 도달하는 경향을 보였다.

기술 상세

아키텍처 측면에서 MOPD는 별도의 아키텍처 변경 없이 기존 SFT 초기화와 RL 파이프라인을 활용한다. 학생과 도메인 교사들은 동일한 초기 SFT 체크포인트에서 시작해 분포적 근접성을 유지하도록 설계되어 초기 per-token KL이 낮게 시작한다. 손실 함수는 역 KL의 per-token 평균으로 정의되며 이것의 그래디언트를 취하면 식(2)의 정책-그래디언트 형태가 도출되어 기존 PPO/GRPO 코드를 거의 그대로 재사용할 수 있다. 수식 관점에서 역 KL은 각 토큰 v의 π_theta(v)와 π_phi(v)를 입력으로 받아 π_theta(v) log(π_theta(v)/π_phi(v))를 계산하고 토큰별로 평균화해 최종 손실을 만든다.

한계점

논문은 동일 출처(same-origin) 교사를 사용하는 것이 최적화의 안정성에 중요하다고 보고해, 외부의 더 강력하지만 분포가 다른 교사를 그대로 교체할 경우 초기 per-token KL이 크게 증가해 학습이 불안정하거나 발산할 수 있다고 밝혔다. 일부 대형 모델 실험(MiMo-V2-Flash)에서는 몇몇 벤치마크에서 교사를 완전히 재현하지 못한 소폭의 회귀가 관찰되어 모든 벤치마크에서 항상 우수한 것은 아님이 드러났다. 또한 완전한 능력 흡수를 위해서는 다중 라운드의 학생-교사 재학습이 필요할 수 있어 추가 계산 비용과 파이프라인 복잡도가 존재한다.

실무 활용

MOPD는 도메인별 RL 팀이 병렬로 특화 교사를 개발한 뒤 그 결과를 학생에 통합하는 워크플로를 제공하므로 대규모 조직에서 도메인별 개발을 독립적으로 운영할 때 유용하다. 교사 프리필을 별도 서비스로 운영하면 학생 샘플링과 중첩되어 전체 벽시계 시간이 크게 증가하지 않는다. 대형 모델 실무 배포에서 반복적 학생-교사 진화를 통해 추가 능력 흡수가 가능하다.

대형 LLM의 수학·코드·대화 등 다중 도메인 능력을 하나의 모델로 안정적으로 통합해야 하는 경우
도메인별로 서로 다른 RL 레시피와 하이퍼파라미터를 유지하면서 병렬 개발 체계를 운영하려는 조직
인프라 비용을 줄이기 위해 교사 분포의 상위 토큰만 전송하는 Top-K 증류를 적용하려는 대규모 서비스

코드 공개 여부: 미확인

키워드

MOPD(다중 교사 온-폴리시 증류)On-Policy Distillation(온-폴리시 증류)Exposure Bias(노출 바이어스)Top-K Distillation(Top-K 증류)Qwen3-30B-A3B(Qwen3-30B-A3B)

용어 해설

온-폴리시 증류(On-Policy Distillation): — 학생 모델의 자체 롤아웃에서 생성된 토큰 경로를 이용해 교사의 토큰 확률분포로 학생을 맞추는 방법이다. 학생이 실제 추론 분포 상에서 학습하므로 노출 바이어스가 제거되고 토큰 수준의 촘촘한 신호가 제공된다. MOPD는 이를 여러 도메인 교사로 확장해 도메인별 라우팅을 적용한다.
노출 바이어스(Exposure Bias): — 오프폴리시 학습에서 발생하는 분포 불일치 문제로, 학습 시 사용한 교사 롤아웃과 학생의 추론 시 상태 분포가 달라 성능 저하가 발생한다. 학생이 교사 분포에만 적응하면 실제 추론에서 잘못된 토큰을 만나 오류가 누적된다. MOPD는 학생의 자체 롤아웃에서 학습해 이 문제를 구조적으로 제거한다.
역 KL(Reverse KL): — 학생 분포 π_theta를 기준으로 π_theta log(π_theta/π_phi) 형태로 측정하는 KL로, 학생이 교사 분포에 수렴하도록 확률 분포 전체를 조정하는 목적함수이다. 토큰 수준으로 적용하면 각 시점에서 학생이 교사 확률을 따라가도록 밀도 차이를 줄인다. MOPD는 이 값을 평균해 per-token 손실로 최적화한다.
Top-K 증류(Top-K Distillation): — 교사의 전체 어휘 분포 대신 상위 k개의 토큰만 고려해 학생을 갱신하는 방법이다. 전송할 로그 확률·로짓의 양을 줄여 인프라 비용을 낮추는 한편, 잘라내기 편향을 보정하는 항을 추가해 수렴점의 일관성을 유지한다. MOPD는 k=64 등 실무적 설정으로 비교 실험을 수행했다.
교사 프리필(Teacher Prefill): — 학생이 생성한 롤아웃을 교사 모델에 전달해 각 토큰의 로그확률 또는 상위 k개 토큰의 로짓을 계산하는 연산이다. 이 연산을 별도 서비스로 분리하면 학생 샘플링과 병렬로 처리되어 전체 벽시계 시간 부담이 크게 증가하지 않는다. MOPD에서는 교사 프리필을 비동기 서비스로 배치해 오버헤드를 숨겼다.

MOPD: LLM 포스트트레이닝에서 능력 통합을 위한 다중 교사 온-폴리시 증류

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드