제한된 자원에서의 LLM 학습 최적화 기술 보고서 및 arXiv 추천 요청

작성자가 arXiv 등록을 위한 추천을 요청하고 있으며, 정리된 기술들의 범위와 체계성에 대해 긍정적인 관심이 예상된다.

• VRAM이 부족한 경우 Activation Checkpointing을 적용하여 연산량을 조금 늘리는 대신 메모리 점유율을 대폭 낮출 수 있다.
• 최신 Hopper 아키텍처 GPU를 사용한다면 Flash Attention과 같은 커널 융합 기술을 통해 IO 효율을 극대화해야 한다.

• ZeRO, FSDP, QLoRA 등 20가지 이상의 LLM 최적화 기법을 메모리 파티셔닝, 양자화, 활성화 관리 등으로 범주화하여 체계적으로 정리했다.
• Turing, Ampere, Hopper 등 하드웨어 아키텍처에 따른 최적화 기술의 적용 효과와 VRAM 절감 수치를 비교 테이블로 명시했다.
• 이론적 배경뿐만 아니라 단일 GPU 및 대규모 GPU 클러스터에서의 실제 설정 예시를 포함하여 실무 적용 가능성을 높였다.