Miles, RadixArk의 대규모 LLM RL 포스트트레이닝 프레임워크

대규모 LLM의 RL post-training은 모델 확장과 MoE, 다양한 하드웨어·저정밀도 환경으로 인해 분산 시스템 문제로 확장되었다. Miles는 SGLang을 통한 고처리량 롤아웃, Megatron-LM 기반의 확장형 훈련, Ray 오케스트레이션, PyTorch 수치 계층을 결합한 오픈소스 프레임워크로서 작은 코어와 플러그형 엣지로 사용자 확장을 허용한다. 통합된 저정밀도 레시피와 MoE-aware rollout/training 정합성, NCCL/RDMA 기반의 빠른 가중치 동기화, 관측성 및 내결함성 기능을 포함해 대규모 LLM RL 작업의 재현성과 운영성을 개선하도록 설계되었다. 다만 본문은 구체적 벤치마크 수치나 구현 예제 대신 아키텍처 구성요소와 설계 목표를 중심으로 기술하였다.