LLM 포스트 트레이닝 레시피의 진화: InstructGPT에서 MOPD까지

섹션별 상세

InstructGPT는 SFT, 보상 모델, PPO를 결합한 초기 표준 레시피를 정립했으나, 현재는 대규모 RLVR이 중심이 된 복잡한 다단계 과정으로 대체됐다.

DeepSeek-R1은 추론 중심의 RL을 핵심으로 삼아, SFT를 단순 콜드 스타트용으로 활용하고 DPO를 배제하는 새로운 표준을 제시했다.

MOPD는 여러 도메인 전문가 모델을 학습시킨 뒤, 학생 모델이 자신의 궤적을 샘플링하고 전문가 분포와 KL 발산을 최소화하며 지식을 증류하는 기법이다.

이 방식은 단일 RL 단계의 복잡성을 줄이고, 도메인별 전문가 모델을 병렬로 학습시켜 조직적 확장성을 확보할 수 있게 한다.

최신 모델들은 MOPD를 통해 추론, 코드, 수학 등 다양한 도메인 지식을 하나의 모델로 통합하며 성능을 극대화한다.