챕터별 상세
대규모 학습의 도전 과제와 트렌드
최근 LLM은 1조 개의 파라미터와 15조 개의 토큰을 사용하는 수준으로 확장되었으며 지능과 모델 크기 사이에 강한 상관관계가 있음이 확인됐다. 이러한 규모의 모델을 학습시키려면 15조 개의 토큰을 저장소에서 지속적으로 로드하고 1초 내외의 반복 학습 시간을 유지해야 하는 인프라적 압박이 발생한다. 단일 GPU의 VRAM 용량(예: 80GB)은 모델 가중치, 그래디언트, 옵티마이저 상태를 모두 담기에 턱없이 부족하여 분산 학습이 강제된다.
Data Parallelism과 ZeRO 옵티마이저
Data Parallelism은 데이터를 여러 GPU에 나누어 처리하고 그래디언트를 AllReduce 연산으로 동기화하는 방식이다. PyTorch의 DDP는 연산과 통신을 겹치기 위해 그래디언트 버킷팅 기법을 사용하여 GPU 유휴 시간을 최소화한다. ZeRO(Zero Redundancy Optimizer) 단계에 따라 옵티마이저 상태(ZeRO-1), 그래디언트(ZeRO-2), 파라미터(ZeRO-3)를 GPU 간에 샤딩하여 메모리 점유율을 획기적으로 낮춘다. ZeRO-3는 레이어 연산 직전에 필요한 파라미터를 AllGather로 가져오고 연산 후 즉시 해제하는 방식으로 작동한다.
ZeRO는 DeepSpeed 라이브러리에서 처음 제안된 기술로, 현재는 PyTorch의 FSDP(Fully Sharded Data Parallel)로도 널리 사용된다.
Tensor Parallelism과 Sequence Parallelism
Tensor Parallelism은 단일 행렬 곱셈 연산 자체를 여러 GPU에 분할하여 실행하는 기법이다. MLP 레이어에서 가중치 행렬을 열(Column)과 행(Row) 단위로 나누어 계산한 뒤 AllReduce로 결과를 합쳐 수학적 동일성을 유지한다. Sequence Parallelism은 LayerNorm이나 Dropout처럼 Tensor Parallelism이 적용되지 않는 영역의 활성화 함수를 시퀀스 길이에 따라 분할하여 메모리를 추가 절감한다. 이 방식은 노드 내 빠른 NVLink 통신을 전제로 하며 통신량이 많아 보통 8개 이하의 GPU 그룹에서 사용된다.
Tensor Parallelism은 Megatron-LM 연구에서 대중화되었으며 모델의 너비(Width) 방향 확장에 유리하다.
Pipeline Parallelism과 버블 최적화
Pipeline Parallelism은 모델의 레이어를 수직으로 나누어 서로 다른 GPU에 배치하는 방식이다. 초기 단계 GPU가 연산을 마칠 때까지 후속 GPU가 대기하는 '파이프라인 버블' 문제를 해결하기 위해 1F1B(One Forward, One Backward) 스케줄링을 적용한다. 최근 DeepSeek은 DualPipe 스케줄러를 통해 양방향에서 마이크로 배치를 주입하여 버블을 거의 제로에 가깝게 줄이는 기법을 선보였다. 이 기법은 통신 비용이 저렴하지만 마이크로 배치 관리가 복잡하고 활성화 함수 저장을 위한 메모리 관리가 까다롭다.
Context Parallelism과 Expert Parallelism
Context Parallelism은 매우 긴 시퀀스를 처리하기 위해 시퀀스 차원을 GPU 간에 샤딩하고 Ring Attention 알고리즘을 통해 어텐션 연산을 수행한다. Expert Parallelism은 MoE(Mixture of Experts) 아키텍처에서 각 전문가(Expert)를 GPU에 분산 배치하고 라우터가 토큰을 해당 전문가에게 보내는 방식이다. MoE 학습 시에는 특정 전문가에게 토큰이 몰리는 부하 불균형 문제를 해결하기 위해 Load Balancing Loss를 추가하거나 하드웨어 가속(RDMA)을 활용한 All-to-All 통신 최적화가 필수적이다. 최종적으로 이 5가지 병렬 처리 기법을 직교적으로 조합하여 5D 병렬 처리를 구현할 수 있다.
MoE는 연산량 대비 파라미터 수를 극대화할 수 있어 최근 GPT-4나 Mixtral 등 최신 모델에서 핵심 기술로 쓰인다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 05. 12.수집 2026. 05. 12.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
