섹션별 상세
전통적 ML은 단일 포워드 패스로 결과를 도출하지만, LLM은 이전 토큰을 입력으로 받아 다음 토큰을 생성하는 순차적 과정을 반복한다.
디코드 단계에서는 매 토큰 생성마다 전체 모델 가중치를 메모리에서 읽어야 하므로, GPU 메모리 대역폭이 추론 속도를 결정하는 하드웨어적 한계로 작용한다.
프리필 단계는 입력 토큰을 병렬 처리하여 연산 장치를 최대한 활용할 수 있는 컴퓨팅 집약적 구간이다.
디코드 단계는 토큰 단위의 순차적 처리로 인해 GPU 활용률이 극도로 낮아지며, 이는 메모리 대역폭에 의해 성능이 제한되는 메모리 집약적 구간이다.
근거
- 디코드 단계에서 GPU 활용률은 약 0.005%에 불과하다. — THE DECODE BOTTLENECK 섹션
루프라인 모델(Roofline Model) 분석 결과, 디코드 작업은 메모리 대역폭 제한 영역에 위치하여 연산 성능보다 데이터 전송 속도가 성능을 결정한다.
용어 해설
- 자기회귀(Autoregressive)
- — 이전 토큰을 입력으로 사용하여 다음 토큰을 순차적으로 생성하는 방식. LLM의 생성 원리이며, 토큰 간의 의존성으로 인해 병렬 처리를 어렵게 만드는 핵심 요인이다.
- 프리필(Prefill)
- — 입력 프롬프트를 한 번에 처리하여 KV 캐시를 생성하는 LLM 추론의 첫 번째 단계. 연산 집약적(compute-bound)인 특성을 가진다.
- 디코드(Decode)
- — 생성된 토큰을 기반으로 다음 토큰을 하나씩 생성하는 LLM 추론의 두 번째 단계. 매 토큰마다 가중치를 메모리에서 읽어야 하므로 메모리 대역폭 집약적(memory-bound)이다.
- 메모리 대역폭(Memory Bandwidth)
- — GPU 메모리에서 데이터를 읽어오는 속도. 디코드 단계에서 모델 가중치를 로드하는 속도가 추론 성능의 병목이 되는 주요 원인이다.
- 루프라인 모델(Roofline Model)
- — 컴퓨팅 성능과 메모리 대역폭을 기준으로 알고리즘의 성능 한계를 시각화하는 분석 도구. 프리필과 디코드의 병목 차이를 설명하는 데 사용된다.
근거 모음
근거
- LLM 추론 비용은 전통적 ML 대비 100배 높다. — The Uncomfortable Truth 섹션
기술
- Llama 3.1
- ResNet
- NVIDIA A100
활용 사례
- LLM 서빙 최적화
- 추론 비용 절감
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 05. 28.수집 2026. 05. 28.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
