핵심 포인트

• depth 파라미터 하나로 모델 크기에 따른 최적의 하이퍼파라미터를 자동 설정한다.
• 8개의 H100 GPU 노드에서 약 2시간 만에 GPT-2급 성능인 DCLM CORE 점수 0.2565 이상을 달성한다.
• COMPUTE_DTYPE 설정을 통해 torch.amp.autocast 없이 하드웨어별 최적 정밀도를 명시적으로 제어한다.
• 사전 학습된 모델에 정체성을 부여하는 합성 데이터 생성 및 SFT와 RL 과정을 통합 제공한다.