LLM 포스트 트레이닝 레시피의 진화: InstructGPT에서 MOPD까지

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

LLM 포스트 트레이닝 레시피는 지난 4년간 InstructGPT의 3단계 파이프라인에서 복잡한 다단계 강화학습으로 발전했다. 최근 frontier 모델들은 단일 RL 단계 대신 여러 도메인 전문가 모델을 활용하는 MOPD(Multi-teacher On-Policy Distillation) 패턴을 채택한다. 이 방식은 개별 도메인 학습의 효율성을 높이고, 온-정책 증류를 통해 전문가 지식을 일반 학생 모델로 통합한다. DeepSeek-R1과 같은 모델들이 이 흐름을 주도하며, 대규모 RLVR과 다중 전문가 증류가 핵심 경쟁력으로 자리 잡았다.

대상 독자

LLM 포스트 트레이닝 및 모델 정렬 연구자

의미 / 영향

이러한 레시피의 변화는 모델 학습이 단순한 데이터 주입에서 복잡한 다단계 강화학습과 전문가 증류 공정으로 이동하고 있음을 의미한다. 특히 MOPD는 대규모 모델 학습의 조직적 복잡성을 해결하고 성능을 높이는 핵심적인 방법론으로 자리 잡고 있다.

섹션별 상세

InstructGPT는 SFT, 보상 모델, PPO를 결합한 초기 표준 레시피를 정립했으나, 현재는 대규모 RLVR이 중심이 된 복잡한 다단계 과정으로 대체됐다.

DeepSeek-R1은 추론 중심의 RL을 핵심으로 삼아, SFT를 단순 콜드 스타트용으로 활용하고 DPO를 배제하는 새로운 표준을 제시했다.

MOPD는 여러 도메인 전문가 모델을 학습시킨 뒤, 학생 모델이 자신의 궤적을 샘플링하고 전문가 분포와 KL 발산을 최소화하며 지식을 증류하는 기법이다.

이 방식은 단일 RL 단계의 복잡성을 줄이고, 도메인별 전문가 모델을 병렬로 학습시켜 조직적 확장성을 확보할 수 있게 한다.

최신 모델들은 MOPD를 통해 추론, 코드, 수학 등 다양한 도메인 지식을 하나의 모델로 통합하며 성능을 극대화한다.

실무 Takeaway

단순 SFT-DPO 파이프라인에서 벗어나, 검증 가능한 보상(RLVR)과 다중 전문가 증류(MOPD)를 결합한 복잡한 RL 레시피가 frontier 모델의 핵심이다.
도메인별 전문가 모델을 개별적으로 학습시키고 이를 온-정책 증류로 통합하면, 단일 거대 RL 단계보다 효율적이고 확장 가능한 학습이 가능하다.
DPO는 초기 부트스트래핑에는 유용할 수 있으나, 고도로 최적화된 산업적 포스트 트레이닝 공정에서는 RLVR과 증류 기법으로 대체되는 추세다.

언급된 리소스

논문DeepSeek R1 Paper

논문MiMo Flash V2 Paper

논문Nemotron-3 Ultra Paper

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

대상 독자

LLM 포스트 트레이닝 및 모델 정렬 연구자

의미 / 영향

섹션별 상세

InstructGPT는 SFT, 보상 모델, PPO를 결합한 초기 표준 레시피를 정립했으나, 현재는 대규모 RLVR이 중심이 된 복잡한 다단계 과정으로 대체됐다.

DeepSeek-R1은 추론 중심의 RL을 핵심으로 삼아, SFT를 단순 콜드 스타트용으로 활용하고 DPO를 배제하는 새로운 표준을 제시했다.

MOPD는 여러 도메인 전문가 모델을 학습시킨 뒤, 학생 모델이 자신의 궤적을 샘플링하고 전문가 분포와 KL 발산을 최소화하며 지식을 증류하는 기법이다.

이 방식은 단일 RL 단계의 복잡성을 줄이고, 도메인별 전문가 모델을 병렬로 학습시켜 조직적 확장성을 확보할 수 있게 한다.

최신 모델들은 MOPD를 통해 추론, 코드, 수학 등 다양한 도메인 지식을 하나의 모델로 통합하며 성능을 극대화한다.

실무 Takeaway

단순 SFT-DPO 파이프라인에서 벗어나, 검증 가능한 보상(RLVR)과 다중 전문가 증류(MOPD)를 결합한 복잡한 RL 레시피가 frontier 모델의 핵심이다.
도메인별 전문가 모델을 개별적으로 학습시키고 이를 온-정책 증류로 통합하면, 단일 거대 RL 단계보다 효율적이고 확장 가능한 학습이 가능하다.
DPO는 초기 부트스트래핑에는 유용할 수 있으나, 고도로 최적화된 산업적 포스트 트레이닝 공정에서는 RLVR과 증류 기법으로 대체되는 추세다.

언급된 리소스

논문DeepSeek R1 Paper

논문MiMo Flash V2 Paper

논문Nemotron-3 Ultra Paper

LLM 포스트 트레이닝 레시피의 진화: InstructGPT에서 MOPD까지

핵심 요약

대상 독자

의미 / 영향

섹션별 상세

실무 Takeaway

언급된 리소스

LLM 포스트 트레이닝 레시피의 진화: InstructGPT에서 MOPD까지

핵심 요약

대상 독자

의미 / 영향

섹션별 상세

실무 Takeaway

언급된 리소스

관련 토론

댓글

관련 피드

관련 토론

댓글

관련 피드