메모리 효율이 극대화된 새로운 PyTorch 옵티마이저 'Rose' 공개

작성자의 개인적인 동기와 기술적 성취에 대해 대체로 긍정적이고 격려하는 반응이며, 실제 성능 검증을 위해 직접 테스트해보려는 사용자들이 많습니다.

• VRAM이 부족한 환경에서 대형 모델을 학습할 때 AdamW의 대안으로 Rose를 적용하여 메모리 부하를 줄일 수 있다.
• Rose 적용 시 학습 손실(Training Loss)보다는 검증 손실(Validation Loss)의 추이를 중심으로 성능을 평가해야 한다.

• Rose는 상태 비저장 구조를 통해 AdamW 대비 메모리 사용량을 획기적으로 줄이면서도 빠른 수렴 속도를 유지한다.
• OpenAI 벤치마크 테스트에서 Adam 대비 더 낮은 검증 손실(val_loss)과 비트당 바이트(bpb)를 기록하며 성능을 입증했다.
• Muon과 달리 파라미터 차원 제한이 없어 다양한 모델 아키텍처에 즉시 적용 가능한 범용성을 갖추고 있다.