메모리 효율이 극대화된 새로운 PyTorch 옵티마이저 'Rose' 공개

작성자의 개인적인 동기와 기술적 성취에 대해 대체로 긍정적이고 격려하는 반응이며, 실제 성능 검증을 위해 직접 테스트해보려는 사용자들이 많습니다.

• VRAM이 부족한 환경에서 대형 모델을 학습할 때 AdamW의 대안으로 Rose를 적용하여 메모리 부하를 줄일 수 있다.
• Rose 적용 시 학습 손실(Training Loss)보다는 검증 손실(Validation Loss)의 추이를 중심으로 성능을 평가해야 한다.

Stateless Optimizer

— 모멘텀이나 분산과 같은 이전 그래디언트의 통계량을 저장하지 않는 최적화 알고리즘이다. 추가적인 메모리 오버헤드 없이 파라미터 업데이트를 수행하므로 VRAM 사용량을 획기적으로 줄일 수 있다.

Gradient Centralization

— 그래디언트 벡터의 평균을 0으로 맞추는 정규화 기법이다. 손실 함수의 표면을 더 매끄럽게 만들어 학습을 안정화하고 수렴 속도를 높이는 효과가 있다.

Weight Decay

— 학습 과정에서 가중치의 크기에 비례하는 페널티를 주어 모델의 복잡도를 제한하는 규제 기법이다. 과적합을 방지하고 모델의 일반화 성능을 높이는 데 필수적이다.

VRAM

— GPU가 그래픽 처리 및 AI 연산을 위해 사용하는 전용 메모리이다. 모델의 파라미터와 옵티마이저 상태가 이곳에 저장되므로, 옵티마이저의 메모리 효율성은 학습 가능한 모델 크기를 결정하는 핵심 요소이다.