제한된 자원에서의 LLM 학습 최적화 기술 보고서 및 arXiv 추천 요청

작성자가 arXiv 등록을 위한 추천을 요청하고 있으며, 정리된 기술들의 범위와 체계성에 대해 긍정적인 관심이 예상된다.

• VRAM이 부족한 경우 Activation Checkpointing을 적용하여 연산량을 조금 늘리는 대신 메모리 점유율을 대폭 낮출 수 있다.
• 최신 Hopper 아키텍처 GPU를 사용한다면 Flash Attention과 같은 커널 융합 기술을 통해 IO 효율을 극대화해야 한다.

ZeRO

— Zero Redundancy Optimizer의 약자로, 분산 학습 시 각 GPU가 모델 상태의 일부만 보유하도록 하여 메모리 중복을 제거하는 기술이다. 이를 통해 단일 GPU 메모리 한계를 초과하는 거대 모델 학습이 가능해진다.

Activation Checkpointing

— 순전파 시 모든 활성화 값을 저장하는 대신 일부만 저장하고 역전파 시 필요한 값을 재계산하는 메모리 관리 기법이다. 계산량은 소폭 증가하지만 메모리 사용량을 획기적으로 줄여 더 큰 배치 크기를 사용할 수 있게 한다.

NF4

— NormalFloat 4-bit의 약자로, 가중치가 정규 분포를 따른다는 가정하에 최적화된 양자화 데이터 타입이다. QLoRA와 함께 사용되어 모델의 정밀도 손실을 최소화하면서 메모리 요구량을 대폭 절감한다.

FSDP

— Fully Sharded Data Parallel의 약자로, 모델 파라미터, 그래디언트, 옵티마이저 상태를 모든 GPU에 걸쳐 샤딩하는 기술이다. ZeRO-3와 유사한 메커니즘을 통해 대규모 클러스터에서 메모리 효율성을 극대화한다.