섹션별 상세
단일 사용자 LLM 추론 속도는 하드웨어의 연산 속도가 아닌 메모리 대역폭에 의해 상한선이 결정된다. 토큰 생성 시마다 모델 가중치와 KV 캐시 전체를 메모리에서 불러와야 하므로 대역폭이 좁을수록 병목 현상이 발생한다. 이론적 속도 천장은 '대역폭 ÷ 토큰당 읽기 바이트 수'로 계산할 수 있으며 이는 하드웨어 구매 전 성능 예측의 핵심 지표가 된다.
근거
- LLM 추론 속도는 대역폭을 토큰당 읽기 바이트 수로 나눈 값으로 결정된다. — How this is calculated 섹션 첫 문단
- 실제 추론 스택은 이론적 한계치의 60~90% 성능을 낸다. — A few things worth saying about the output 섹션 첫 번째 항목
모델의 크기와 양자화 수준은 메모리에서 읽어와야 하는 데이터 양을 결정하여 직접적으로 속도에 영향을 미친다. Dense 모델은 전체 파라미터를 읽어야 하지만 MoE 모델은 활성 파라미터만 읽으면 되므로 동일 전체 크기 대비 속도가 빠르다. 예를 들어 int4 양자화는 fp16 대비 모델 크기를 1/4로 줄여 이론적으로 4배 빠른 추론 속도를 가능하게 한다.
KV 캐시는 컨텍스트 길이에 따라 증가하며 추론 시 가중치와 함께 매번 읽혀야 하는 필수 데이터이다. Llama 3 70B fp16 기준 토큰당 약 320KB의 KV 캐시가 발생하며 이는 메모리 점유와 대역폭 소모의 큰 축을 담당한다. llama.cpp와 같은 엔진은 KV 캐시를 가장 빠른 메모리 계층에 고정하여 성능 저하를 최소화하는 전략을 사용한다.
근거
- Llama 3 70B fp16의 KV 캐시는 토큰당 약 320KB이다. — KV cache estimates are rough 섹션
메모리 계층 구조에 따라 모델 가중치가 VRAM에서 시스템 RAM이나 SSD로 넘칠 경우 성능이 급격히 저하된다. VRAM 용량이 부족하면 가중치 일부를 느린 시스템 RAM에서 읽어와야 하므로 대역폭 페널티가 발생하지만 KV 캐시가 VRAM에 있다면 성능 하락폭을 일부 완화할 수 있다. MoE 모델은 일부 가중치만 RAM에서 읽으면 되므로 밀집 모델보다 이러한 계층 구조에서 더 실용적인 속도를 유지한다.
용어 해설
- 메모리 대역폭(Memory Bandwidth)
- — 단위 시간당 메모리에서 데이터를 읽거나 쓸 수 있는 양을 의미하며, 단일 사용자 LLM 추론 속도를 결정하는 가장 핵심적인 하드웨어 제약 사항임
- KV 캐시(KV Cache)
- — 이전 토큰들의 Key와 Value 행렬을 저장하여 중복 계산을 방지하는 기술로, 컨텍스트 길이가 길어질수록 메모리 점유율과 대역폭 요구량이 증가함
- 양자화(Quantization)
- — 모델의 가중치를 낮은 비트(예: fp16에서 int4)로 변환하여 모델 크기를 줄이고 메모리 대역폭 요구량을 낮춰 추론 속도를 높이는 최적화 기법임
- 전문가 혼합(MoE)
- — 전체 파라미터 중 일부(활성 파라미터)만 사용하여 토큰을 처리하는 구조로, 모델 크기 대비 연산량과 메모리 대역폭 사용을 효율화함
- 그룹화된 쿼리 주의집중(GQA)
- — 여러 쿼리 헤드가 키-값 헤드를 공유하여 KV 캐시 크기를 줄이는 기법으로, 메모리 사용량을 절감하고 추론 효율을 높임
기술
- llama.cpp
- vLLM
- MLX
- Llama 3
- Mistral
- Apple Silicon
활용 사례
- 로컬 LLM 서버 구축 시 하드웨어 사양 결정
- 양자화 수준에 따른 추론 속도 변화 예측
- MoE 모델의 시스템 RAM 활용 가능성 검토
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 05. 11.수집 2026. 05. 11.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
