MOPD: LLM 포스트트레이닝에서 능력 통합을 위한 다중 교사 온-폴리시 증류

여러 도메인에 특화된 RL 교사들을 하나의 모델로 통합하는 작업은 실무에서 빈번하게 필요하지만 기존 방식들은 효율성과 안정성 간의 트레이드오프를 보였다. MOPD는 학생의 자체 롤아웃에서 도메인별 교사가 토큰 수준의 확률 신호를 제공하는 방식으로 통합을 수행해 노출 바이어스를 제거했다. 이로 인해 도메인별 개발을 병렬화할 수 있고 산업 규모 모델인 MiMo-V2-Flash에 적용해 실무적 가치가 확인되었다.

기본 문제는 여러 도메인에 특화된 RL 파이프라인들이 각각 우수한 교사를 만들어내지만 이를 하나의 학생 모델에 통합할 때 학습 신호 간섭, 순차적 학습에서의 소실, 또는 weight-space 병합의 불안정성으로 인해 성능 보존이 어려워진다는 것이다. 기존 Mix-RL은 서로 다른 도메인 신호의 상호 간섭으로 'see-saw' 효과를 보였고 Cascade RL은 순차 학습으로 인해 초기 도메인의 성능이 손실될 위험이 있었다. Off-Policy Finetune은 교사 롤아웃을 오프라인으로 모방하면서 학생-교사 분포 불일치에서 기인한 노출 바이어스를 겪었다.

MOPD는 세 단계 파이프라인으로 구성된다. 첫 단계에서 광범위한 데이터로 SFT를 수행해 공통 초기화 체크포인트를 만든다. 두 번째 단계에서 각 도메인별로 해당 도메인에 적합한 RL 레시피로 독립적인 도메인 교사들을 생성한다. 세 번째 단계에서는 학생을 SFT 초기화로 두고, 학생의 자체 롤아웃을 생성한 뒤 각 롤아웃을 도메인에 대응하는 교사에게 라우팅해 토큰 수준의 교사 확률을 얻는다. 학생은 각 토큰에서 역 KL(reversed KL) 또는 Top-K 기반 손실을 최소화하도록 업데이트되어 교사 분포에 수렴하도록 학습한다. 역 KL 형태는 수식적으로 π_theta(v) log(π_theta(v)/π_phi(v))를 평균해 사용하며, 정책-그래디언트 구현은 이 항의 그래디언트를 advantage 형태로 변환해 기존 PPO/GRPO 루틴에 삽입한다.

주요 실험에서 Qwen3-30B-A3B에 대해 Math, Instruction, SWE 세 도메인을 대상으로 정규화 점수를 비교했고 MOPD는 정규화 점수 0.937을 달성해 다음으로 좋은 Mix-RL의 0.882보다 0.055 높았다. 세 도메인에서 MOPD의 개별 정규화 점수는 약 0.91에서 0.95 범위에 있어 도메인 간 균형성이 가장 좋았다. 표준 베이스라인들( Mix-RL, Cascade RL, Off-Policy Finetune, Param-Merge)과 비교해 MOPD는 샘플 효율성에서도 우수하여 IF 및 SWE 도메인에서 수만 건의 샘플만으로 교사 수준에 도달하는 경향을 보였다.

아키텍처 측면에서 MOPD는 별도의 아키텍처 변경 없이 기존 SFT 초기화와 RL 파이프라인을 활용한다. 학생과 도메인 교사들은 동일한 초기 SFT 체크포인트에서 시작해 분포적 근접성을 유지하도록 설계되어 초기 per-token KL이 낮게 시작한다. 손실 함수는 역 KL의 per-token 평균으로 정의되며 이것의 그래디언트를 취하면 식(2)의 정책-그래디언트 형태가 도출되어 기존 PPO/GRPO 코드를 거의 그대로 재사용할 수 있다. 수식 관점에서 역 KL은 각 토큰 v의 π_theta(v)와 π_phi(v)를 입력으로 받아 π_theta(v) log(π_theta(v)/π_phi(v))를 계산하고 토큰별로 평균화해 최종 손실을 만든다.

논문은 동일 출처(same-origin) 교사를 사용하는 것이 최적화의 안정성에 중요하다고 보고해, 외부의 더 강력하지만 분포가 다른 교사를 그대로 교체할 경우 초기 per-token KL이 크게 증가해 학습이 불안정하거나 발산할 수 있다고 밝혔다. 일부 대형 모델 실험(MiMo-V2-Flash)에서는 몇몇 벤치마크에서 교사를 완전히 재현하지 못한 소폭의 회귀가 관찰되어 모든 벤치마크에서 항상 우수한 것은 아님이 드러났다. 또한 완전한 능력 흡수를 위해서는 다중 라운드의 학생-교사 재학습이 필요할 수 있어 추가 계산 비용과 파이프라인 복잡도가 존재한다.