통합 시퀀스 병렬 처리(USP) 가이드: GPU에서 100만 토큰 컨텍스트의 70B 모델 실행하기

섹션별 상세

NVIDIA A100 GPU의 80GB HBM 메모리는 대규모 LLM 추론의 절대적인 하드웨어 제약 사항이다. 메모리 대역폭은 2.0TB/s에 달하지만, 70B 모델 추론 시 가중치를 읽어오는 속도가 연산 속도보다 느려 메모리 대역폭 병목(Memory-bound) 현상이 발생한다. 실제 계산 결과 8192 크기의 행렬 곱셈에서 연산 시간은 3.5μs인 반면 메모리 읽기 시간은 134μs로 약 38배의 차이가 나타난다.

Llama-3-70B 모델의 가중치는 BF16 정밀도 기준 약 140GB의 메모리를 점유한다. 이는 단일 A100 GPU 용량인 80GB를 1.75배 초과하므로 모델을 로드하는 것조차 불가능하다. 4비트 양자화를 적용하더라도 활성화 함수와 KV 캐시를 위한 추가 공간이 필요하기 때문에 단일 GPU로는 긴 컨텍스트 처리가 어렵다.

근거

Llama-3-70B 모델 가중치는 BF16 기준 140GB이며, 100만 토큰 KV 캐시는 GQA 적용 시에도 328GB가 필요하다. — 1.2.3 Weight Memory Calculation 및 1.3.4 The KV Cache 섹션

100만 토큰 입력 시 발생하는 활성화 함수(Q, K, V) 메모리는 단일 레이어 기준 20.5GB에 달한다. 레이어별로 메모리를 재사용하더라도 이는 전체 GPU 용량의 26%를 차지하는 상당한 부담이다. 특히 KV 캐시는 모든 레이어에서 유지되어야 하며, GQA를 적용해 8배 절감했음에도 불구하고 80개 레이어 전체에서 328GB의 공간을 요구한다.

표준 어텐션 메커니즘의 메모리 복잡도는

O(n^2)

으로, 100만 토큰 시 어텐션 점수 행렬만 128TB가 필요하다. 이는 A100 메모리의 1,600배에 해당하는 수치로, 시퀀스 길이가 10배 증가할 때마다 메모리 요구량은 100배씩 폭발적으로 증가한다. 이러한 기하급수적 증가는 긴 컨텍스트 모델 구현의 가장 큰 기술적 장벽으로 작용한다.

근거

표준 어텐션 연산 시 100만 토큰에 필요한 메모리는 128TB에 달한다. — 1.4.2 Memory Calculation 섹션

FlashAttention은 타일링과 온라인 소프트맥스 기법을 통해 거대 행렬을 생성하지 않고 어텐션을 계산한다. 1024 크기의 타일 단위로 연산하고 중간 통계량만 유지함으로써 메모리 요구량을 128TB에서 128MB로 약 100만 배 감소시킨다. 이 알고리즘 덕분에

O(n^2)

메모리 문제는 해결되지만, 여전히 선형적으로 증가하는 KV 캐시와 고정된 모델 가중치 문제는 남는다.

근거

FlashAttention은 타일링 기법을 통해 어텐션 메모리 요구량을 128TB에서 128MB로 줄인다. — 1.4.7 Memory Savings 섹션

세 가지 핵심 병목을 해결하기 위해 통합 시퀀스 병렬 처리(USP) 전략이 필요하다. 가중치 분산은 FSDP, 활성화 함수 분산은 Ulysses(시퀀스 샤딩), KV 캐시 분산은 Ring Attention이 담당한다. 8장의 GPU를 USP로 결합하면 가중치 17.5GB, 활성화 함수 2.6GB 수준으로 분산되어 80GB 메모리 내에서 100만 토큰 추론이 가능해진다.

용어 해설

키-값 캐시(KV Cache): — LLM 추론 시 이전 토큰들의 Key와 Value 행렬을 저장해 재계산을 방지하는 기술이다. 시퀀스 길이가 길어질수록 메모리 점유율이 선형적으로 증가하며, 100만 토큰 수준에서는 수백 GB의 메모리를 차지하는 핵심 병목 지점이 된다.
그룹화 쿼리 어텐션(GQA): — 여러 개의 Query 헤드가 하나의 Key/Value 헤드 쌍을 공유하도록 설계된 어텐션 메커니즘이다. 표준 멀티 헤드 어텐션 대비 KV 캐시 크기를 8배가량 줄여 긴 컨텍스트 추론 효율성을 극대화한다.
온라인 소프트맥스(Online Softmax): — 전체 데이터를 한 번에 보지 않고 타일 단위로 처리하면서 소프트맥스 통계량(최댓값, 합계)을 점진적으로 업데이트하는 알고리즘이다. FlashAttention의 핵심 요소로, 거대한 어텐션 행렬을 메모리에 올리지 않고도 정확한 결과를 계산하게 한다.
완전 샤딩 데이터 병렬 처리(FSDP): — 모델의 가중치, 그래디언트, 옵티마이저 상태를 여러 GPU에 분산 저장하는 기법이다. 단일 GPU 메모리를 초과하는 거대 모델을 로드할 수 있게 하며, 연산 시에만 필요한 가중치를 통신으로 모아 사용한다.
링 어텐션(Ring Attention): — GPU들을 고리 형태로 연결하여 KV 블록을 순차적으로 전달하며 어텐션을 계산하는 방식이다. $O(n^2)$ 의 메모리 폭발 없이 시퀀스 길이를 GPU 개수에 비례하여 무한히 확장할 수 있게 한다.

기술

NVIDIA A100
Llama-3-70B
NVLink
FlashAttention
FSDP
Ring Attention

활용 사례

100만 토큰 이상의 긴 문서 분석
대규모 코드베이스 전체 컨텍스트 추론
장기 대화 이력을 유지하는 AI 에이전트

언급된 리소스

문서The Illustrated Guide to Unified Sequence Parallelism

통합 시퀀스 병렬 처리(USP) 가이드: GPU에서 100만 토큰 컨텍스트의 70B 모델 실행하기

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 기사

원리 기반 LLM 추론 성능 모델링

Grouped Query Attention의 작동 원리와 KV cache 최적화

LLM 컨텍스트 길이가 늘어날 때 연산 비용이 제곱으로 증가하는 이유.

FlashAttention이 거대한 어텐션 행렬을 메모리에 저장하지 않고 계산하는 원리.